RTDETRv2 与 YOLOv9
计算机视觉架构主要分为两类:卷积神经网络(CNN)和基于 Transformer 的模型。比较 RTDETRv2 与 YOLOv9,需要权衡全局注意力与可编程梯度信息。两者都是各自架构路线中出色的实时目标检测代表。
模型简介#
RTDETRv2:实时检测 Transformer#
RTDETRv2 由百度研究人员开发,在原始 RT-DETR的基础上引入“免费增益包”(Bag-of-Freebies),改进基线实时检测 Transformer。它解决了 Transformer 的传统瓶颈——推理速度问题,使 Transformer 能够用于实时应用。
- 作者: Wenyu Lv、Yian Zhao、Qinyao Chang、Kui Huang、Guanzhong Wang 和 Yi Liu
- 组织: 百度
- 日期: 2024-07-24
- 链接:arXiv、GitHub
RTDETRv2 的显著特点是原生的端到端无 NMS 设计。通过在后处理中移除非极大值抑制(NMS),模型可以稳定推理延迟并简化部署流程。全局注意力机制有助于模型处理复杂场景和密集人群,因为模型会同时评估整幅图像的上下文。
YOLOv9:可编程梯度信息#
YOLOv9 是一种高效的基于 CNN 的架构,旨在解决深度神经网络固有的信息瓶颈问题。它引入了可编程梯度信息(PGI)和通用高效层聚合网络(GELAN)。
- 作者:Chien-Yao Wang 和 Hong-Yuan Mark Liao
- 机构:中央研究院信息科学研究所
- 日期: 2024 年 2 月 21 日
- 链接:arXiv、GitHub
YOLOv9 基于经过验证的卷积神经网络技术,并着重提高参数效率。PGI 会在前向传播过程中保留关键信息,使梯度保持可靠,从而实现轻量而准确的模型。不过,与 RTDETRv2 不同,YOLOv9 仍依赖标准 NMS 后处理。
性能与资源效率#
下表比较了MS COCO 数据集上的平均精度均值(mAP)和计算成本。YOLOv9 的参数量少得多,但准确率相近(YOLOv9m 使用 20.1M 参数达到 51.4 mAP;RTDETRv2-m 使用 36M 参数达到 51.9 mAP),并且除了 YOLOv9e 之外,在所有尺寸下的 T4 TensorRT 速度都更快。YOLOv9e 的 mAP 最高(55.6),但也是表中速度最慢的模型(16.77 ms)。
| 模型 | 尺寸 (像素) | mAPval50-95 | 速度 CPU ONNX (毫秒) | 速度 T4 TensorRT10 (ms) | 参数 (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
| YOLOv9t | 640 | 38.3 | - | 2.3 | 2.0 | 7.7 |
| YOLOv9s | 640 | 46.8 | - | 3.54 | 7.2 | 26.7 |
| YOLOv9m | 640 | 51.4 | - | 6.43 | 20.1 | 76.8 |
| YOLOv9c | 640 | 53.0 | - | 7.16 | 25.5 | 102.8 |
| YOLOv9e | 640 | 55.6 | - | 16.77 | 58.1 | 192.5 |
内存需求与训练效率#
RTDETRv2 等 Transformer 在训练时非常耗费内存,通常需要大量 CUDA 内存。YOLOv9 等 CNN 架构以及其他 Ultralytics YOLO 模型通常占用更少内存,让开发者可以在消费级硬件上使用更大的批次大小进行训练。
若要充分利用硬件,可考虑使用 Ultralytics Platform进行云端训练。它会自动处理环境配置和批次大小设置。
Ultralytics 的优势:生态与易用性#
RTDETRv2 或 YOLOv9 的官方 GitHub 页面等独立代码库适合研究,但生产环境需要稳定性、易用性和维护完善的生态系统。通过 Ultralytics Python API使用这些模型,可以获得一致的开发者体验。
统一 API 与多功能性#
Ultralytics 框架封装了数据加载、数据增强和分布式训练的复杂流程。此外,原始 RTDETRv2 严格专注于检测,而 Ultralytics 生态系统让用户可以在目标检测、实例分割和姿态估计之间灵活切换。
from ultralytics import RTDETR, YOLO
# 使用自定义数据训练 YOLOv9 模型
model_yolo = YOLO("yolov9c.pt")
model_yolo.train(data="coco8.yaml", epochs=50, imgsz=640)
# 轻松切换到 RT-DETR,评估复杂场景
model_rtdetr = RTDETR("rtdetr-l.pt")
results = model_rtdetr.predict("https://ultralytics.com/images/bus.jpg")
# 导出为 TensorRT 等可用于生产环境的格式
model_yolo.export(format="engine")借助详尽的文档、自动实验跟踪,以及导出为 ONNX、TensorRT和 OpenVINO 等格式的功能,Ultralytics 缩短了从原型到生产的路径。
理想应用场景#
RTDETRv2 的优势领域#
得益于全局注意力机制,RTDETRv2 非常适合服务器端处理以及重视全局上下文的环境。它在以下场景中表现出色:
- 医学影像:识别细微异常,而周围上下文在此类任务中至关重要。
- 航空监控:分析高分辨率无人机影像,利用广阔的空间上下文理解场景。
- 密集人群分析:检测拥挤场景中的人员。在这类场景中,NMS 可能会抑制彼此重叠但实际存在的检测结果。
YOLOv9 的优势领域#
YOLOv9 非常适合资源受限的边缘部署。它的计算效率适用于:
- 机器人:在要求极低延迟的场景中实现实时导航和避障。
- 智慧城市物联网:部署在 NVIDIA Jetson 等边缘设备上进行交通监控。
- 工业检测:用于装配线高速运行时的质量控制,需要较高的每秒帧数 (FPS)。
未来:迎接 Ultralytics YOLO26#
YOLOv9 和 RTDETRv2 都取得了重要进展,而这一领域仍在持续演进。对于新的部署项目,Ultralytics YOLO26 于 2026 年 1 月发布,融合了两种架构路线的理念。
YOLO26 融合了 Transformer 和 CNN 的优势:
- 端到端无 NMS 设计:与 RTDETRv2 类似,YOLO26 支持原生端到端推理,通过可选的一对一检测头(
nms=False)跳过 NMS 后处理,从而实现更快、更简单且更可预测的部署流程。 - MuSGD 优化器:受大语言模型(LLM)训练技术(例如 Moonshot AI 的 Kimi K2)启发,YOLO26 使用结合 SGD 和 Muon 的优化器,提升训练稳定性并加快收敛。
- CPU 推理速度最高提升 43%:YOLO26n 的 CPU 运行速度最高可比 YOLO11n 快 43%,适用于边缘计算以及没有 GPU 的设备;在这些设备上,更庞大的 Transformer 往往难以运行。
- 移除 DFL:移除分布焦点损失可简化模型图,从而便于将模型导出到低功耗边缘设备和嵌入式神经处理单元(NPU)。
- ProgLoss + STAL:渐进式损失和小目标感知标签分配(STAL)可提升小目标识别能力,这对 IoT 和航空数据集至关重要。
对于刚开始计算机视觉项目的团队,我们建议评估 YOLO26。它像 Transformer 一样支持可选的无 NMS 推理,同时具备 YOLO 架构的速度和训练效率。
总结#
选择 RTDETRv2 还是 YOLOv9,主要取决于你的部署硬件和具体的准确率需求。RTDETRv2 为服务器支持的应用提供高准确率和上下文感知能力,而 YOLOv9 则为边缘设备带来出色的效率。
借助 Ultralytics 生态系统,开发者可以通过同一 API 使用 YOLOv9 和原始 RT-DETR 进行实验。YOLO11等较新的模型以及具备端到端能力的 YOLO26,则提供更广泛的任务支持、快速推理和较低的内存占用。
评论
提出问题、分享结果,或帮助其他人。