DAMO-YOLO 与 RTDETRv2
计算机视觉研究提出了许多旨在平衡速度、精度和计算效率的架构。DAMO-YOLO和 RTDETRv2应对这些挑战的方式各不相同。虽然两者都面向实时推理,但架构理念存在根本差异。
本指南涵盖两种模型的技术规格、架构创新和实际应用场景,并介绍 Ultralytics Platform 和 YOLO26 如何简化部署。
模型概述#
了解 DAMO-YOLO#
由阿里巴巴集团的研究人员开发的 DAMO-YOLO,是一种依赖神经架构搜索 (NAS) 的快速、高精度目标检测方法。它用 NAS 生成的结构取代传统的手工设计主干网络,以实现低延迟。此外,该模型还采用高效的 RepGFPN(重参数化通用特征金字塔网络)和 ZeroHead 设计,以精简特征聚合与边界框预测。
模型主要信息:
- 作者: Xianzhe Xu、Yiqi Jiang、Weihua Chen、Yilun Huang、Yuan Zhang 和 Xiuyu Sun
- 组织: 阿里巴巴集团
- 日期: 2022-11-23
- arXiv:2211.15444v2
- GitHub:tinyvision/DAMO-YOLO
- 文档:DAMO-YOLO 文档
了解 RTDETRv2#
百度的 RTDETRv2 是实时检测 Transformer 的一项重要进展。与依赖非极大值抑制 (NMS) 的卷积神经网络 (CNN) 检测器不同,RTDETRv2 使用自注意力来建模整张图像的全局上下文。它直接输出边界框,完全跳过 NMS 后处理步骤。该模型引入了“bag of freebies”训练策略,可在不增加推理延迟的情况下提升基线精度。
模型主要信息:
- 作者: Wenyu Lv、Yian Zhao、Qinyao Chang、Kui Huang、Guanzhong Wang 和 Yi Liu
- 组织: 百度
- 日期: 2024-07-24
- arXiv:2407.17140
- GitHub:RT-DETR 仓库
- 文档: RTDETRv2 文档
虽然 Transformer 需要更多计算资源,但其处理全局上下文的能力使其能够有效理解复杂场景,这是 RTDETRv2 的一项重要优势。
性能对比#
在评估这些模型的实际部署能力时,平均精度均值 (mAP)、推理速度和内存占用等指标至关重要。与 DAMO-YOLO 等轻量级 CNN 相比,RTDETRv2 等基于 Transformer 的模型通常在训练和推理时需要更多 CUDA 内存。
下表对比了它们的性能指标。
| 模型 | 尺寸 (像素) | mAPval50-95 | 速度 CPU ONNX (毫秒) | 速度 T4 TensorRT10 (ms) | 参数 (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| DAMO-YOLOt | 640 | 42.0 | - | 2.32 | 8.5 | 18.1 |
| DAMO-YOLOs | 640 | 46.0 | - | 3.45 | 16.3 | 37.8 |
| DAMO-YOLOm | 640 | 49.2 | - | 5.09 | 28.2 | 61.8 |
| DAMO-YOLOl | 640 | 50.8 | - | 7.18 | 42.1 | 97.3 |
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
理想应用场景#
DAMO-YOLO的优势场景: 得益于经过 NAS 优化的主干网络以及较小变体(例如 DAMO-YOLOt)的低参数量,它非常适合部署在资源受限的硬件上。如果你要使用 ONNX 等运行时,或使用专用的 TensorRT 引擎构建边缘计算解决方案,DAMO-YOLO能提供响应迅速的框架。
RTDETRv2的优势场景: RTDETRv2最适合配备服务器级 GPU 且全局图像上下文至关重要的场景。其 Transformer 架构能够自然地解决重叠边界框问题,无需 NMS,因此适合用于密集的人群管理或复杂的目标跟踪,尤其是在远距离目标之间的空间关系很关键时。
Ultralytics 的优势:认识 YOLO26#
DAMO-YOLO 和 RTDETRv2 都是重要的学术成果,但要将它们转化为可扩展、可用于生产的应用并不容易。开发者经常会遇到代码库分散、不支持多任务学习以及部署流程复杂等问题。
Ultralytics 生态系统的优势正在于此。通过优先考虑易用性、维护完善的 Python API 和多任务灵活性,Ultralytics 让开发者减少调试时间,将更多精力用于构建产品。
近期发布的 Ultralytics YOLO26 模型在这些优势的基础上进一步提升,在多个方面优于 DAMO-YOLO 和 RTDETRv2:
- 端到端无 NMS 设计:基于 YOLOv10 的无 NMS 训练理念,YOLO26提供可选的端到端检测头(
nms=False)。它可移除 NMS 后处理,使部署比传统 CNN 检测器更快、更简单,同时具备与 RTDETRv2 相同的直接输出优势。 - CPU 推理速度最高提升 43%:YOLO26n 在 CPU ONNX 上的运行速度最高可比 YOLO11n 快 43%,并针对没有独立 GPU 的边缘 AI 设备进行了优化,因此比内存占用高的 Transformer 更适合物联网应用。
- MuSGD 优化器:受 Moonshot AI 的 Kimi K2 启发,这种 SGD 与 Muon 的混合方案将大语言模型 (LLM) 训练技术引入计算机视觉,实现稳定训练并加快收敛。
- ProgLoss + STAL:渐进式损失和感知小目标的标签分配策略提升了小目标识别能力,这是传统模型通常难以处理的领域。这对航空影像和无人机应用至关重要。
- 移除 DFL:已移除 Distribution Focal Loss,以简化导出格式并提升对低功耗边缘设备的兼容性。
- 多任务灵活性:与仅支持检测的竞品模型不同,YOLO26包含针对特定任务的改进,例如可提升实例分割收敛效果的语义分割损失、用于姿态估计的残差对数似然估计 (RLE),以及用于有向边界框 (OBB)的专用角度损失。
训练 RTDETRv2 等基于 Transformer 的模型需要大量 CUDA 内存,通常不得不采用昂贵的多 GPU 配置。Ultralytics YOLO 模型在训练和推理时的内存需求都低得多,让研究人员和业余爱好者也能轻松开展 AI 开发。
代码示例:统一的 Ultralytics API#
Ultralytics 生态系统的主要优势之一是统一的 API。你可以加载、训练和验证多种模型,包括 RT-DETR 的 PyTorch 实现和最新 YOLO 模型,而无需更改工作流程。
from ultralytics import RTDETR, YOLO
# 加载 RT-DETR 模型
model_rtdetr = RTDETR("rtdetr-l.pt")
# 加载 YOLO26 模型
model_yolo = YOLO("yolo26n.pt")
# 使用简单统一的接口对图像进行推理
results_rtdetr = model_rtdetr("https://ultralytics.com/images/bus.jpg")
results_yolo = model_yolo("https://ultralytics.com/images/bus.jpg")
# 显示检测到的目标
results_yolo[0].show()这种简洁性也适用于自定义数据集训练和导出。借助 Ultralytics Python 软件包,开发者只需一条命令,就能将训练好的权重导出为 CoreML 或 OpenVINO 等部署格式。
总结与进一步探索#
DAMO-YOLO和 RTDETRv2都推动了实时目标检测的发展。DAMO-YOLO提供经过优化、通过自动搜索生成的网络结构,以实现原始效率;RTDETRv2则通过消除 NMS 等传统瓶颈,证明了 Transformer 也能在实时领域竞争。
不过,对于追求性能、完善文档和生产就绪能力的开发者而言,Ultralytics YOLO 模型仍是稳妥的默认选择。使用 YOLO26,用户可以获得可选的类 Transformer 端到端检测、受 LLM 启发的训练效率,以及直观稳健生态系统中的快速 CPU 推理。
如果你正在为下一个项目评估模型,也可以阅读 EfficientDet 与 RT-DETR 对比,了解上一代模型 YOLO11,或查看 YOLOX 等学术基线。立即探索 Ultralytics 快速入门指南,开始构建。
评论
提出问题、分享结果,或帮助其他人。