YOLOv9 与 RTDETRv2
近年来,实时目标检测领域发生了显著变化。目前有两种截然不同的架构路线处于领先地位:高效的卷积神经网络(CNN)和实时检测 Transformer(DETR)。YOLOv9 和 RTDETRv2 分别是这两种路线的代表模型。
本指南将比较这两种模型,分析它们的架构创新、性能指标和理想部署场景,帮助你为计算机视觉流水线选择合适的模型。
执行摘要#
这两种模型都表现出色,但分别适用于不同的部署限制和开发生态系统。
- 选择 YOLOv9 的情况:你需要高效利用参数,并在边缘设备上实现快速推理。YOLOv9 专注于 CNN 参数效率,因此非常适合计算资源受到严格限制的环境。
- 选择 RTDETRv2 的情况:你需要 Transformer 提供的全局上下文建模能力,尤其是在存在严重遮挡或复杂物体关系的场景中,而且你具备支持稍重架构的硬件。
- 选择 YOLO26(推荐)的情况:你希望获得兼具 CNN 效率的无 NMS 推理。作为 Ultralytics Platform 上最新一代的模型,YOLO26 采用可选的端到端无 NMS 设计(
nms=False,与 DETR 模型类似),消除了后处理瓶颈;YOLO26n 的 CPU 推理速度比 YOLO11n 最高快 43%。
技术规格与作者信息#
了解这些模型的起源和设计初衷,有助于理解它们的架构选择。
YOLOv9#
- 作者:Chien-Yao Wang 和 Hong-Yuan Mark Liao
- 机构:中央研究院信息科学研究所
- 日期:2024-02-21
- arXiv: https://arxiv.org/abs/2402.13616
- GitHub: WongKinYiu/yolov9
RTDETRv2#
- 作者: Wenyu Lv、Yian Zhao、Qinyao Chang、Kui Huang、Guanzhong Wang 和 Yi Liu
- 组织: 百度
- 日期: 2024-07-24
- arXiv: https://arxiv.org/abs/2407.17140
- GitHub: lyuwenyu/RT-DETR
架构创新#
YOLOv9:解决信息瓶颈#
YOLOv9 引入了两项重大创新,旨在解决数据在深度神经网络中传递时出现的信息丢失问题:
- 可编程梯度信息 (PGI):这一辅助监督框架有助于生成可靠的梯度来更新网络权重,并在非常深的网络层中保留关键特征信息。
- 通用高效层聚合网络 (GELAN):一种结合 CSPNet 和 ELAN 优势的架构。GELAN 优化了参数效率,使 YOLOv9 能够以比传统 CNN 更少的 FLOPs 获得更高的准确率。
RTDETRv2:增强实时 Transformer#
在原始 RT-DETR 的基础上,RTDETRv2 采用基于 Transformer 的架构,从根本上避免了使用非极大值抑制 (NMS)的需求。其改进包括:
- 免费增益策略:v2 版本加入了额外的训练技术和数据增强,在不增加推理延迟的情况下提升准确率。
- 高效混合编码器:RTDETRv2 通过解耦的尺度内和跨尺度注意力机制处理多尺度特征,从而解决了视觉 Transformer传统上较高的计算成本。
RTDETRv2 使用 Transformer 实现无 NMS 检测,而更新的 YOLO26 架构则在高效 CNN 结构中通过可选的一对一检测头(nms=False)实现这一点,在提供同样精简的部署体验的同时,加快了边缘推理速度。
性能对比#
在评估用于生产环境的模型时,准确率与计算需求之间的权衡至关重要。下表概述了不同模型尺寸在标准基准测试中的性能。
| 模型 | 尺寸 (像素) | mAPval50-95 | 速度 CPU ONNX (毫秒) | 速度 T4 TensorRT10 (ms) | 参数 (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| YOLOv9t | 640 | 38.3 | - | 2.3 | 2.0 | 7.7 |
| YOLOv9s | 640 | 46.8 | - | 3.54 | 7.2 | 26.7 |
| YOLOv9m | 640 | 51.4 | - | 6.43 | 20.1 | 76.8 |
| YOLOv9c | 640 | 53.0 | - | 7.16 | 25.5 | 102.8 |
| YOLOv9e | 640 | 55.6 | - | 16.77 | 58.1 | 192.5 |
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
分析#
数据表明,YOLOv9 在参数效率方面具有明显优势。YOLOv9c 模型仅用 25.5M 个参数就达到了 53.0 mAP。
相较之下,RTDETRv2 在中型到大型模型类别中竞争力很强,RTDETRv2-s 的准确率也高于 YOLOv9s。不过,这需要付出参数量更多、FLOPs 更高的代价,这也是 Transformer 模型的典型特点。这种架构差异也会影响内存用量:与 Transformer 模型相比,YOLO 模型在训练和推理期间通常需要少得多的 CUDA 内存。
Ultralytics 的优势:生态系统与多功能性#
纯粹的架构指标固然重要,但软件生态系统往往决定了 AI 项目的成败。通过 Ultralytics Python API使用这些模型具有实际优势。
简化训练与部署流程#
训练检测 Transformer 通常需要复杂的配置文件和高端 GPU。借助 Ultralytics 框架,开发者可以使用相同的简单语法训练 YOLOv9 和 RT-DETR 模型,并受益于高效的训练流水线和随时可用的预训练权重。
from ultralytics import RTDETR, YOLO
# 训练 YOLOv9 模型
model_yolo = YOLO("yolov9c.pt")
model_yolo.train(data="coco8.yaml", epochs=100, imgsz=640)
# 使用完全相同的 API 训练 RTDETR 模型
model_rtdetr = RTDETR("rtdetr-l.pt")
model_rtdetr.train(data="coco8.yaml", epochs=100, imgsz=640)
# 将模型导出为 OpenVINO 或 TensorRT 格式
model_yolo.export(format="openvino")任务通用性#
RTDETRv2 等专用模型的一大局限是只专注于边界框检测。相比之下,更广泛的 Ultralytics 生态系统涵盖了 YOLO11 和 YOLOv8 等模型,支持多种计算机视觉任务,包括像素级实例分割、整图分类、骨骼姿态估计,以及用于航空图像的旋转框 (OBB)检测。
实际应用#
高速边缘分析#
对于需要在边缘设备上实时识别产品的零售场景或制造产线,YOLOv9 是更好的选择。其 GELAN 架构能在 NVIDIA Jetson系列等受限硬件上实现高吞吐量,从而支持自动化质量控制,且不会产生明显延迟。
复杂场景分析#
在密集人群监控或复杂交通路口等场景中,物体经常相互遮挡,RTDETRv2 的全局注意力机制表现出色。该模型能够原生地理解整幅图像的上下文,即使物体被部分遮挡,也能保持稳健的跟踪和检测能力。
用例与建议#
在 YOLOv9 和 RT-DETR 之间做出选择,取决于你的具体项目需求、部署限制和生态系统偏好。
何时选择 YOLOv9#
YOLOv9 适用于:
- 信息瓶颈研究:研究可编程梯度信息 (PGI) 和广义高效层聚合网络 (GELAN) 架构的学术项目。
- 梯度流优化研究:重点研究如何理解并缓解训练期间深层网络层中的信息损失。
- 高准确率检测基准测试:需要将 YOLOv9 在 COCO 基准测试中的出色表现作为架构对比参照的场景。
何时选择 RT-DETR#
以下情况推荐使用 RT-DETR:
- 基于 Transformer 的检测研究:探索注意力机制和 Transformer 架构,以实现无需 NMS 的端到端目标检测。
- 对延迟要求灵活的高精度场景:检测准确率至关重要,且可以接受略高推理延迟的应用。
- 大型目标检测:场景中的目标以中大型为主,此时 Transformer 的全局注意力机制能够发挥天然优势。
何时选择 Ultralytics (YOLO26)#
对于大多数新项目,Ultralytics YOLO26 能提供性能与开发者体验的最佳组合:
- 无 NMS 的边缘部署:适用于要求推理延迟稳定且较低,同时不希望增加非极大值抑制后处理复杂度的应用。
- 仅使用 CPU 的环境: 没有专用 GPU 加速的设备中,YOLO26n 的 CPU 推理速度最高比 YOLO11n 快 43%,优势显著。
- 小目标检测:具有挑战性的场景,例如无人机航拍图像或 IoT 传感器分析。在这些场景中,ProgLoss 和 STAL 可以提升微小目标的检测精度。
未来已来:YOLO26 登场#
YOLOv9 和 RTDETRv2 都是重要成果,但计算机视觉领域发展迅速。对于新项目,推荐使用 YOLO26。
YOLO26 于 2026 年 1 月发布,融合了 CNN 的效率与 DETR 风格的端到端推理。它采用可选的端到端、无需 NMS 的设计(nms=False),可免除 NMS 后处理;这一方案由 YOLOv10 引入 YOLO 模型。YOLO26 还移除了 Distribution Focal Loss (DFL),以提升边缘兼容性,并引入了 MuSGD 优化器。这一融合 SGD 和 Muon 的优化器受到大语言模型训练的启发(尤其是 Moonshot AI 的 Kimi K2),可提升训练稳定性并加快收敛速度。
结合 ProgLoss 和 STAL(渐进损失与小目标感知标签分配)来提升小目标检测能力后,这些改进使 YOLO26 成为现代 AI 部署的有力选择;YOLO26n 在 CPU 上的运行速度比 YOLO11n 最多快 43%。
评论
提出问题、分享结果,或帮助其他人。