YOLOv9 与 RTDETRv2：目标检测技术比较
选择合适的目标检测架构是计算机视觉开发中的关键决策，通常要求开发人员权衡精度、推理延迟和计算开销。本分析提供了为效率优化的基于CNN的架构YOLOv9与专为高保真detect设计的基于Transformer的模型RTDETRv2之间的全面技术比较。
YOLOv9：重新定义CNN效率
YOLOv9 代表了 You Only Look Once (YOLO) 系列的重大演进，专注于解决深度神经网络中固有的信息瓶颈问题。通过引入新颖的架构概念，它在保持 YOLO 系列轻量级特征的同时，实现了最先进的性能。
- 作者： Chien-Yao Wang, Hong-Yuan Mark Liao
- 组织：台湾中央研究院信息科学研究所
- 日期： 2024-02-21
- Arxiv:arXiv:2402.13616
- GitHub:WongKinYiu/yolov9
- 文档：Ultralytics YOLOv9 文档
核心架构
YOLOv9引入了两项主要创新：可编程梯度信息 (PGI)和广义高效层聚合网络 (GELAN)。PGI解决了数据信息在深层传播时丢失的问题，确保可靠的梯度信息得以保留，用于模型更新。GELAN优化了参数利用率，使得模型与传统卷积架构相比，能以更少的浮点运算 (FLOPs) 实现更高的准确性。
Ultralytics 生态系统集成
YOLOv9完全集成到Ultralytics生态系统，为开发者提供对训练、验证和部署工具的无缝访问。这种集成确保用户可以利用与YOLO11和YOLOv8相同的简单API，显著降低了高级计算机视觉任务的入门门槛。
RTDETRv2：Transformer 挑战者
RTDETRv2 在实时检测 Transformer (RT-DETR) 的成功基础上，改进了基线以增强动态尺度处理和训练稳定性。作为一种基于 Transformer 的模型，它利用自注意力机制捕获全局上下文，这对于在复杂场景中区分目标可能是有利的。
- 作者： Wenyu Lv、Yian Zhao、Qinyao Chang、Kui Huang、Guanzhong Wang 和 Yi Liu
- 组织：百度
- 日期：2024-07-24
- Arxiv:arXiv:2407.17140
- GitHub:RT-DETR GitHub 仓库
核心架构
与在局部区域处理图像的 CNN 不同，RTDETRv2 利用 Transformer 主干网络处理图像特征。这种方法使模型能够理解图像中远距离部分之间的关系，从而可能提高在杂乱环境中的准确性。然而，这种全局注意力机制通常会带来更高的内存和计算成本，尤其是在训练期间。
性能对比
以下数据突出了不同模型尺寸在COCO数据集上的性能指标。比较侧重于平均精度（mAP）、推理速度和计算复杂度。
| 模型 | 尺寸 (像素) | mAPval 50-95 | 速度 CPU ONNX (毫秒) | 速度 T4 TensorRT10 (毫秒) | 参数 (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| YOLOv9t | 640 | 38.3 | - | 2.3 | 2.0 | 7.7 |
| YOLOv9s | 640 | 46.8 | - | 3.54 | 7.1 | 26.4 |
| YOLOv9m | 640 | 51.4 | - | 6.43 | 20.0 | 76.3 |
| YOLOv9c | 640 | 53.0 | - | 7.16 | 25.3 | 102.1 |
| YOLOv9e | 640 | 55.6 | - | 16.77 | 57.3 | 189.0 |
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
指标分析
- 峰值精度：YOLOv9e模型实现了惊人的55.6% mAP，超越了最大的RTDETRv2-x模型（54.3% mAP）。这表明YOLOv9的架构创新有效弥合了CNN和Transformer之间的差距，甚至在顶级精度方面超越了它们。
- 效率： YOLOv9 始终提供更高的每参数性能。例如，YOLOv9c 仅用 25.3M 参数 和 102.1B FLOPs 就达到了 53.0% 的 mAP，而可与之媲美的 RTDETRv2-l 则需要 42M 参数 和 136B FLOPs 才能达到 53.4% 的 mAP。这种效率使得 YOLOv9 在存储上更轻量，执行速度更快。
- 推理速度：在实时应用中，速度至关重要。YOLOv9的较小变体，例如YOLOv9t，提供了极低的延迟（在TensorRT上为2.3毫秒），使其成为边缘AI部署的理想选择，而RTDETRv2模型可能过于笨重。
训练效率与生态系统
对开发者而言，最关键的因素之一是训练的便捷性以及在自定义数据集上微调模型所需的资源。
内存要求
基于 Transformer 的模型，如 RTDETRv2，因自注意力机制的二次方复杂度，在训练期间以高内存消耗而闻名。这通常需要配备大容量 VRAM 的高端企业级 GPU。相比之下，YOLOv9 保持了 CNN 的内存效率，支持在消费级硬件上进行训练。这种较低的入门门槛使最先进的目标检测技术得以普及。
Ultralytics 优势
在 Ultralytics 生态系统中选择模型，除了原始性能指标之外，还提供了独特的优势：
- 易用性：Ultralytics Python API 将复杂的训练循环抽象为几行代码。
- 完善的生态系统：频繁更新确保与最新的PyTorch版本、导出格式（ONNX、TensorRT、CoreML）和硬件驱动程序兼容。
- 多功能性：虽然 RTDETRv2 主要是一个目标检测器，但 Ultralytics 框架支持其模型系列中的广泛任务，包括实例分割、姿势估计和旋转框检测。
代码示例
使用 Ultralytics 包训练 YOLOv9 非常简单。以下代码片段演示了如何加载预训练模型并在自定义数据集上进行训练：
from ultralytics import YOLO
# Load a pre-trained YOLOv9 model
model = YOLO("yolov9c.pt")
# Train the model on a custom dataset
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)
# Run inference on an image
results = model("path/to/image.jpg")
导出功能
Ultralytics 模型可以轻松导出为各种格式以进行部署。例如，导出为 ONNX 以获得更广泛的兼容性：
model.export(format="onnx")
理想用例
何时选择 YOLOv9
YOLOv9是大多数计算机视觉应用的推荐选择，尤其是在需要兼顾速度、精度和资源效率的场景中。
- 边缘部署：NVIDIA Jetson或树莓派等设备受益于YOLOv9较低的FLOPs和参数量。
- 实时视频分析：安防监控和交通监控系统需要YOLOv9提供的高帧率。
- 资源受限训练：没有大规模GPU集群访问权限的团队仍然可以微调最先进的模型。
何时考虑 RTDETRv2
RTDETRv2 适用于以下小众场景：
- 全局上下文至关重要： 适用于高度遮挡或远距离像素上下文对分类至关重要的场景。
- 硬件无限制：在内存和计算限制可忽略不计的服务器级 GPU 上进行部署。
- 无锚框偏好： 专门寻找使用纯基于 Transformer 的无锚框架构进行实验的研究人员。
结论
尽管 RTDETRv2 展示了 Transformer 在目标 detect 中的潜力，但 YOLOv9 脱颖而出，成为更优的实际选择，对于大多数开发者和研究人员而言。它提供了更高的峰值精度（55.6% mAP），同时具有显著更高的效率、更低的内存使用量和更快的推理速度。结合 Ultralytics 生态系统提供的强大支持、详尽文档和易用性，YOLOv9 提供了一条从原型到生产更精简的路径。
对于那些希望探索计算机视觉技术绝对最新成果的用户，我们还推荐关注 YOLO11，它进一步突破了速度和精度的界限。
探索其他模型
- YOLO11：YOLO 系列的最新演进，针对包括分割和姿势估计在内的各种任务进行了优化。
- YOLOv8：一种非常流行且通用的模型，以其可靠性和广泛的社区支持而闻名。
- RT-DETR：探索 Ultralytics 框架内原始的 Real-Time Detection Transformer 实现。