RTDETRv2 与 YOLOv9：实时检测 Transformer 与 CNN 的比较
计算机视觉领域见证了架构哲学上的迷人分歧，主要存在于卷积神经网络 (CNN) 和基于 Transformer 的模型之间。在比较 RTDETRv2 和 YOLOv9 时，开发人员实际上是在权衡全局注意力机制与可编程梯度信息。这两个模型都代表了各自范式的巅峰，推动了实时目标检测的边界。
模型简介
RTDETRv2：实时检测 Transformer
RTDETRv2 由百度研究人员开发，它在原始 RT-DETR 的基础上引入了“免费赠品包”(Bag-of-Freebies)，以增强基准的实时检测 Transformer。它解决了 Transformer 的传统瓶颈——推理速度，使其能够应用于实时场景。
- 作者： Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang 和 Yi Liu
- 组织： 百度
- 日期： 2024-07-24
- 链接： Arxiv, GitHub
RTDETRv2 的一个定义特征是其原生的 端到端无 NMS 设计。通过在后处理过程中彻底去除非极大值抑制 (NMS)，该模型稳定了推理延迟并简化了部署流程。全局注意力机制允许模型在复杂场景理解和密集人群中表现出色，因为它能同时评估整个图像的上下文。
YOLOv9：可编程梯度信息
YOLOv9 是一种基于 CNN 的高效架构，它解决了深度神经网络中固有的信息瓶颈问题。它引入了可编程梯度信息 (PGI) 和通用高效层聚合网络 (GELAN)。
- 作者： Chien-Yao Wang 和 Hong-Yuan Mark Liao
- 组织： 中央研究院资讯科学研究所
- 日期： 2024 年 2 月 21 日
- 链接： Arxiv, GitHub
YOLOv9 依赖于久经考验的 卷积神经网络 基础，但最大化了参数效率。通过在正向传播过程中保留关键信息，它确保了可靠的权重更新，从而造就了一个极其轻量且高精度的模型。然而，与 RTDETRv2 不同的是，YOLOv9 仍然依赖于标准的 NMS 后处理。
性能与资源效率
在评估这些生产模型时，平衡平均精度均值 (mAP) 与计算成本至关重要。下表展示了它们在 MS COCO 数据集 上的表现。
| 模型 | 尺寸 (像素) | mAPval 50-95 | 速度 CPU ONNX (ms) | 速度 T4 TensorRT10 (ms) | 参数 (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
| YOLOv9t | 640 | 38.3 | - | 2.3 | 2.0 | 7.7 |
| YOLOv9s | 640 | 46.8 | - | 3.54 | 7.1 | 26.4 |
| YOLOv9m | 640 | 51.4 | - | 6.43 | 20.0 | 76.3 |
| YOLOv9c | 640 | 53.0 | - | 7.16 | 25.3 | 102.1 |
| YOLOv9e | 640 | 55.6 | - | 16.77 | 57.3 | 189.0 |
内存需求与训练效率
像 RTDETRv2 这样的 Transformer 在训练期间以内存密集型著称，通常需要大量的 CUDA 内存和更长的训练时间才能完全收敛。相反，像 YOLOv9 和其他 Ultralytics YOLO 模型 这样的 CNN 架构提供了极低的内存使用量，使开发人员能够在消费级硬件上以更大的批量大小进行训练。
为了最大化硬件利用率，考虑使用 Ultralytics 平台 进行简化的云端训练。它会自动处理环境设置和最佳批量大小选择。
Ultralytics 的优势：生态系统与易用性
虽然研究 RTDETRv2 或 YOLOv9 官方 GitHub 页面等独立仓库非常有教育意义，但生产环境需要稳定性、易用性和维护良好的生态系统。通过 Ultralytics Python API 集成这些模型可以提供流畅的开发体验。
统一 API 与多功能性
Ultralytics 框架抽象了数据加载、增强和分布式训练的复杂性。此外，虽然原始的 RTDETRv2 严格专注于检测，但 Ultralytics 生态系统允许用户轻松地在 目标检测、实例分割 和 姿态估计 之间切换。
from ultralytics import RTDETR, YOLO
# Train a YOLOv9 model on custom data
model_yolo = YOLO("yolov9c.pt")
model_yolo.train(data="coco8.yaml", epochs=50, imgsz=640)
# Easily switch to RT-DETR for complex scene evaluation
model_rtdetr = RTDETR("rtdetr-l.pt")
results = model_rtdetr.predict("https://ultralytics.com/images/bus.jpg")
# Export to production-ready formats like TensorRT
model_yolo.export(format="engine")With robust documentation, automatic experiment tracking, and seamless export capabilities to formats like ONNX, TensorRT, and OpenVINO, Ultralytics drastically reduces the time from prototype to production.
理想用例
RTDETRv2 的优势所在
得益于其全局注意力机制，RTDETRv2 是 服务端处理 以及对全局上下文要求极高的环境中的利器。它擅长于：
- 医学影像： 识别那些周围上下文至关重要的细微异常。
- 空中监视： 在高分辨率无人机影像中定位小目标，且不受传统 CNN 卷积的空间偏差限制。
- 密集人群分析： 跟踪个体，在通常会导致基于锚点模型混淆的严重遮挡情况下。
YOLOv9 的优势所在
YOLOv9 是 资源受限边缘部署 的佼佼者。其计算效率使其非常适合：
- 机器人技术： 需要极低延迟的实时导航和避障。
- 智慧城市物联网 (IoT)： 部署在如 NVIDIA Jetson 等边缘设备上进行交通监控。
- 工业检测： 需要高帧率 (FPS) 的高速装配线质量控制。
未来：走进 Ultralytics YOLO26
尽管 YOLOv9 和 RTDETRv2 代表了巨大的飞跃，但格局已迅速演变。对于现代部署，新发布的 Ultralytics YOLO26 代表了两种架构哲学的终极协同。
通过汲取 Transformer 和 CNN 的精华，YOLO26 树立了新的标准：
- 端到端无 NMS 设计： 像 RTDETRv2 一样，YOLO26 是原生的端到端模型，彻底消除了 NMS 后处理，从而实现更快、更简单且高度可预测的部署流水线。
- MuSGD 优化器： 受大语言模型 (LLM) 训练技术（例如月之暗面的 Kimi K2）启发，YOLO26 采用了 SGD 和 Muon 的混合体。这为计算机视觉带来了无与伦比的训练稳定性和快速收敛性。
- CPU 推理速度提升高达 43%： 与笨重的 Transformer 不同，YOLO26 针对边缘计算和无 GPU 设备进行了深度优化。
- 移除 DFL： 去除分布焦点损失 (Distribution Focal Loss) 极大地简化了模型图，确保可以完美地导出到低功耗边缘设备和嵌入式神经网络处理器 (NPU) 上。
- ProgLoss + STAL： 这些改进的损失函数大幅增强了对小目标的识别能力，这是物联网和航空数据集的关键特性。
对于希望启动新计算机视觉项目的团队，我们强烈建议评估 YOLO26。它兼具 Transformer 的无 NMS 优雅性与高度优化的 YOLO 架构的极致速度和训练效率。
总结
选择 RTDETRv2 还是 YOLOv9 主要取决于你的部署硬件和特定的精度需求。RTDETRv2 为服务器后端应用提供了最先进的精度和上下文感知能力，而 YOLOv9 则为边缘设备提供了卓越的效率。
然而，通过利用成熟的 Ultralytics 生态系统，开发人员可以轻松地对两者进行实验。此外，随着 YOLO11 等新模型的推出，以及原生端到端的 YOLO26，在高速推理、多任务支持和低内存消耗之间找到完美平衡变得从未如此简单。