开始使用

YOLOv9 与 RTDETRv2

近年来,实时目标检测领域发生了显著变化。目前有两种截然不同的架构路线处于领先地位:高效的卷积神经网络(CNN)和实时检测 Transformer(DETR)。YOLOv9 和 RTDETRv2 分别是这两种路线的代表模型。

本指南将比较这两种模型,分析它们的架构创新、性能指标和理想部署场景,帮助你为计算机视觉流水线选择合适的模型。

执行摘要#

这两种模型都表现出色,但分别适用于不同的部署限制和开发生态系统。

  • 选择 YOLOv9 的情况:你需要高效利用参数,并在边缘设备上实现快速推理。YOLOv9 专注于 CNN 参数效率,因此非常适合计算资源受到严格限制的环境。
  • 选择 RTDETRv2 的情况:你需要 Transformer 提供的全局上下文建模能力,尤其是在存在严重遮挡或复杂物体关系的场景中,而且你具备支持稍重架构的硬件。
  • 选择 YOLO26(推荐)的情况:你希望获得兼具 CNN 效率的无 NMS 推理。作为 Ultralytics Platform 上最新一代的模型,YOLO26 采用可选的端到端无 NMS 设计(nms=False,与 DETR 模型类似),消除了后处理瓶颈;YOLO26n 的 CPU 推理速度比 YOLO11n 最高快 43%。

技术规格与作者信息#

了解这些模型的起源和设计初衷,有助于理解它们的架构选择。

YOLOv9#

了解有关 YOLOv9 的更多信息

RTDETRv2#

进一步了解 RTDETRv2

架构创新#

YOLOv9:解决信息瓶颈#

YOLOv9 引入了两项重大创新,旨在解决数据在深度神经网络中传递时出现的信息丢失问题:

  1. 可编程梯度信息 (PGI):这一辅助监督框架有助于生成可靠的梯度来更新网络权重,并在非常深的网络层中保留关键特征信息。
  2. 通用高效层聚合网络 (GELAN):一种结合 CSPNet 和 ELAN 优势的架构。GELAN 优化了参数效率,使 YOLOv9 能够以比传统 CNN 更少的 FLOPs 获得更高的准确率。

RTDETRv2:增强实时 Transformer#

在原始 RT-DETR 的基础上,RTDETRv2 采用基于 Transformer 的架构,从根本上避免了使用非极大值抑制 (NMS)的需求。其改进包括:

  1. 免费增益策略:v2 版本加入了额外的训练技术和数据增强,在不增加推理延迟的情况下提升准确率。
  2. 高效混合编码器:RTDETRv2 通过解耦的尺度内和跨尺度注意力机制处理多尺度特征,从而解决了视觉 Transformer传统上较高的计算成本。
原生端到端检测

RTDETRv2 使用 Transformer 实现无 NMS 检测,而更新的 YOLO26 架构则在高效 CNN 结构中通过可选的一对一检测头(nms=False)实现这一点,在提供同样精简的部署体验的同时,加快了边缘推理速度。

性能对比#

在评估用于生产环境的模型时,准确率与计算需求之间的权衡至关重要。下表概述了不同模型尺寸在标准基准测试中的性能。

模型尺寸
(像素)
mAPval50-95速度
CPU ONNX
(毫秒)
速度
T4 TensorRT10
(ms)
参数
(M)
FLOPs
(B)
YOLOv9t64038.3-2.32.07.7
YOLOv9s64046.8-3.547.226.7
YOLOv9m64051.4-6.4320.176.8
YOLOv9c64053.0-7.1625.5102.8
YOLOv9e64055.6-16.7758.1192.5
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259

分析#

数据表明,YOLOv9 在参数效率方面具有明显优势。YOLOv9c 模型仅用 25.5M 个参数就达到了 53.0 mAP。

相较之下,RTDETRv2 在中型到大型模型类别中竞争力很强,RTDETRv2-s 的准确率也高于 YOLOv9s。不过,这需要付出参数量更多、FLOPs 更高的代价,这也是 Transformer 模型的典型特点。这种架构差异也会影响内存用量:与 Transformer 模型相比,YOLO 模型在训练和推理期间通常需要少得多的 CUDA 内存。

Ultralytics 的优势:生态系统与多功能性#

纯粹的架构指标固然重要,但软件生态系统往往决定了 AI 项目的成败。通过 Ultralytics Python API使用这些模型具有实际优势。

简化训练与部署流程#

训练检测 Transformer 通常需要复杂的配置文件和高端 GPU。借助 Ultralytics 框架,开发者可以使用相同的简单语法训练 YOLOv9 和 RT-DETR 模型,并受益于高效的训练流水线和随时可用的预训练权重。

from ultralytics import RTDETR, YOLO

# 训练 YOLOv9 模型
model_yolo = YOLO("yolov9c.pt")
model_yolo.train(data="coco8.yaml", epochs=100, imgsz=640)

# 使用完全相同的 API 训练 RTDETR 模型
model_rtdetr = RTDETR("rtdetr-l.pt")
model_rtdetr.train(data="coco8.yaml", epochs=100, imgsz=640)

# 将模型导出为 OpenVINO 或 TensorRT 格式
model_yolo.export(format="openvino")

任务通用性#

RTDETRv2 等专用模型的一大局限是只专注于边界框检测。相比之下,更广泛的 Ultralytics 生态系统涵盖了 YOLO11 和 YOLOv8 等模型,支持多种计算机视觉任务,包括像素级实例分割、整图分类、骨骼姿态估计,以及用于航空图像的旋转框 (OBB)检测。

实际应用#

高速边缘分析#

对于需要在边缘设备上实时识别产品的零售场景或制造产线,YOLOv9 是更好的选择。其 GELAN 架构能在 NVIDIA Jetson系列等受限硬件上实现高吞吐量,从而支持自动化质量控制,且不会产生明显延迟。

复杂场景分析#

在密集人群监控或复杂交通路口等场景中,物体经常相互遮挡,RTDETRv2 的全局注意力机制表现出色。该模型能够原生地理解整幅图像的上下文,即使物体被部分遮挡,也能保持稳健的跟踪和检测能力。

用例与建议#

在 YOLOv9 和 RT-DETR 之间做出选择,取决于你的具体项目需求、部署限制和生态系统偏好。

何时选择 YOLOv9#

YOLOv9 适用于:

  • 信息瓶颈研究:研究可编程梯度信息 (PGI) 和广义高效层聚合网络 (GELAN) 架构的学术项目。
  • 梯度流优化研究:重点研究如何理解并缓解训练期间深层网络层中的信息损失。
  • 高准确率检测基准测试:需要将 YOLOv9 在 COCO 基准测试中的出色表现作为架构对比参照的场景。

何时选择 RT-DETR#

以下情况推荐使用 RT-DETR:

  • 基于 Transformer 的检测研究:探索注意力机制和 Transformer 架构,以实现无需 NMS 的端到端目标检测。
  • 对延迟要求灵活的高精度场景:检测准确率至关重要,且可以接受略高推理延迟的应用。
  • 大型目标检测:场景中的目标以中大型为主,此时 Transformer 的全局注意力机制能够发挥天然优势。

何时选择 Ultralytics (YOLO26)#

对于大多数新项目,Ultralytics YOLO26 能提供性能与开发者体验的最佳组合:

  • 无 NMS 的边缘部署:适用于要求推理延迟稳定且较低,同时不希望增加非极大值抑制后处理复杂度的应用。
  • 仅使用 CPU 的环境: 没有专用 GPU 加速的设备中,YOLO26n 的 CPU 推理速度最高比 YOLO11n 快 43%,优势显著。
  • 小目标检测:具有挑战性的场景,例如无人机航拍图像或 IoT 传感器分析。在这些场景中,ProgLoss 和 STAL 可以提升微小目标的检测精度。

未来已来:YOLO26 登场#

YOLOv9 和 RTDETRv2 都是重要成果,但计算机视觉领域发展迅速。对于新项目,推荐使用 YOLO26。

YOLO26 于 2026 年 1 月发布,融合了 CNN 的效率与 DETR 风格的端到端推理。它采用可选的端到端、无需 NMS 的设计(nms=False),可免除 NMS 后处理;这一方案由 YOLOv10 引入 YOLO 模型。YOLO26 还移除了 Distribution Focal Loss (DFL),以提升边缘兼容性,并引入了 MuSGD 优化器。这一融合 SGD 和 Muon 的优化器受到大语言模型训练的启发(尤其是 Moonshot AI 的 Kimi K2),可提升训练稳定性并加快收敛速度。

结合 ProgLoss 和 STAL(渐进损失与小目标感知标签分配)来提升小目标检测能力后,这些改进使 YOLO26 成为现代 AI 部署的有力选择;YOLO26n 在 CPU 上的运行速度比 YOLO11n 最多快 43%。

评论

提出问题、分享结果,或帮助其他人。