开始使用

RTDETRv2 与 YOLOv9

计算机视觉架构主要分为两类:卷积神经网络(CNN)和基于 Transformer 的模型。比较 RTDETRv2 与 YOLOv9,需要权衡全局注意力与可编程梯度信息。两者都是各自架构路线中出色的实时目标检测代表。

模型简介#

RTDETRv2:实时检测 Transformer#

RTDETRv2 由百度研究人员开发,在原始 RT-DETR的基础上引入“免费增益包”(Bag-of-Freebies),改进基线实时检测 Transformer。它解决了 Transformer 的传统瓶颈——推理速度问题,使 Transformer 能够用于实时应用。

  • 作者: Wenyu Lv、Yian Zhao、Qinyao Chang、Kui Huang、Guanzhong Wang 和 Yi Liu
  • 组织: 百度
  • 日期: 2024-07-24
  • 链接:arXiv、GitHub

RTDETRv2 的显著特点是原生的端到端无 NMS 设计。通过在后处理中移除非极大值抑制(NMS),模型可以稳定推理延迟并简化部署流程。全局注意力机制有助于模型处理复杂场景和密集人群,因为模型会同时评估整幅图像的上下文。

进一步了解 RTDETRv2

YOLOv9:可编程梯度信息#

YOLOv9 是一种高效的基于 CNN 的架构,旨在解决深度神经网络固有的信息瓶颈问题。它引入了可编程梯度信息(PGI)和通用高效层聚合网络(GELAN)。

YOLOv9 基于经过验证的卷积神经网络技术,并着重提高参数效率。PGI 会在前向传播过程中保留关键信息,使梯度保持可靠,从而实现轻量而准确的模型。不过,与 RTDETRv2 不同,YOLOv9 仍依赖标准 NMS 后处理。

了解有关 YOLOv9 的更多信息

性能与资源效率#

下表比较了MS COCO 数据集上的平均精度均值(mAP)和计算成本。YOLOv9 的参数量少得多,但准确率相近(YOLOv9m 使用 20.1M 参数达到 51.4 mAP;RTDETRv2-m 使用 36M 参数达到 51.9 mAP),并且除了 YOLOv9e 之外,在所有尺寸下的 T4 TensorRT 速度都更快。YOLOv9e 的 mAP 最高(55.6),但也是表中速度最慢的模型(16.77 ms)。

模型尺寸
(像素)
mAPval50-95速度
CPU ONNX
(毫秒)
速度
T4 TensorRT10
(ms)
参数
(M)
FLOPs
(B)
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259
YOLOv9t64038.3-2.32.07.7
YOLOv9s64046.8-3.547.226.7
YOLOv9m64051.4-6.4320.176.8
YOLOv9c64053.0-7.1625.5102.8
YOLOv9e64055.6-16.7758.1192.5

内存需求与训练效率#

RTDETRv2 等 Transformer 在训练时非常耗费内存,通常需要大量 CUDA 内存。YOLOv9 等 CNN 架构以及其他 Ultralytics YOLO 模型通常占用更少内存,让开发者可以在消费级硬件上使用更大的批次大小进行训练。

高效训练

若要充分利用硬件,可考虑使用 Ultralytics Platform进行云端训练。它会自动处理环境配置和批次大小设置。

Ultralytics 的优势:生态与易用性#

RTDETRv2 或 YOLOv9 的官方 GitHub 页面等独立代码库适合研究,但生产环境需要稳定性、易用性和维护完善的生态系统。通过 Ultralytics Python API使用这些模型,可以获得一致的开发者体验。

统一 API 与多功能性#

Ultralytics 框架封装了数据加载、数据增强和分布式训练的复杂流程。此外,原始 RTDETRv2 严格专注于检测,而 Ultralytics 生态系统让用户可以在目标检测、实例分割和姿态估计之间灵活切换。

from ultralytics import RTDETR, YOLO

# 使用自定义数据训练 YOLOv9 模型
model_yolo = YOLO("yolov9c.pt")
model_yolo.train(data="coco8.yaml", epochs=50, imgsz=640)

# 轻松切换到 RT-DETR,评估复杂场景
model_rtdetr = RTDETR("rtdetr-l.pt")
results = model_rtdetr.predict("https://ultralytics.com/images/bus.jpg")

# 导出为 TensorRT 等可用于生产环境的格式
model_yolo.export(format="engine")

借助详尽的文档、自动实验跟踪,以及导出为 ONNX、TensorRT和 OpenVINO 等格式的功能,Ultralytics 缩短了从原型到生产的路径。

理想应用场景#

RTDETRv2 的优势领域#

得益于全局注意力机制,RTDETRv2 非常适合服务器端处理以及重视全局上下文的环境。它在以下场景中表现出色:

  • 医学影像:识别细微异常,而周围上下文在此类任务中至关重要。
  • 航空监控:分析高分辨率无人机影像,利用广阔的空间上下文理解场景。
  • 密集人群分析:检测拥挤场景中的人员。在这类场景中,NMS 可能会抑制彼此重叠但实际存在的检测结果。

YOLOv9 的优势领域#

YOLOv9 非常适合资源受限的边缘部署。它的计算效率适用于:

  • 机器人:在要求极低延迟的场景中实现实时导航和避障。
  • 智慧城市物联网:部署在 NVIDIA Jetson 等边缘设备上进行交通监控。
  • 工业检测:用于装配线高速运行时的质量控制,需要较高的每秒帧数 (FPS)。

未来:迎接 Ultralytics YOLO26#

YOLOv9 和 RTDETRv2 都取得了重要进展,而这一领域仍在持续演进。对于新的部署项目,Ultralytics YOLO26 于 2026 年 1 月发布,融合了两种架构路线的理念。

YOLO26 融合了 Transformer 和 CNN 的优势:

  • 端到端无 NMS 设计:与 RTDETRv2 类似,YOLO26 支持原生端到端推理,通过可选的一对一检测头(nms=False)跳过 NMS 后处理,从而实现更快、更简单且更可预测的部署流程。
  • MuSGD 优化器:受大语言模型(LLM)训练技术(例如 Moonshot AI 的 Kimi K2)启发,YOLO26 使用结合 SGD 和 Muon 的优化器,提升训练稳定性并加快收敛。
  • CPU 推理速度最高提升 43%:YOLO26n 的 CPU 运行速度最高可比 YOLO11n 快 43%,适用于边缘计算以及没有 GPU 的设备;在这些设备上,更庞大的 Transformer 往往难以运行。
  • 移除 DFL:移除分布焦点损失可简化模型图,从而便于将模型导出到低功耗边缘设备和嵌入式神经处理单元(NPU)。
  • ProgLoss + STAL:渐进式损失和小目标感知标签分配(STAL)可提升小目标识别能力,这对 IoT 和航空数据集至关重要。

对于刚开始计算机视觉项目的团队,我们建议评估 YOLO26。它像 Transformer 一样支持可选的无 NMS 推理,同时具备 YOLO 架构的速度和训练效率。

总结#

选择 RTDETRv2 还是 YOLOv9,主要取决于你的部署硬件和具体的准确率需求。RTDETRv2 为服务器支持的应用提供高准确率和上下文感知能力,而 YOLOv9 则为边缘设备带来出色的效率。

借助 Ultralytics 生态系统,开发者可以通过同一 API 使用 YOLOv9 和原始 RT-DETR 进行实验。YOLO11等较新的模型以及具备端到端能力的 YOLO26,则提供更广泛的任务支持、快速推理和较低的内存占用。

评论

提出问题、分享结果,或帮助其他人。