开始使用

RTDETRv2 与 DAMO-YOLO

研究人员和工程师不断开发兼顾速度、准确率与效率的模型,推动计算机视觉持续发展。该领域的两种主流架构是百度开发的 RTDETRv2 和阿里巴巴集团推出的 DAMO-YOLO。两种模型都推动了实时目标检测的发展,但采用了截然不同的架构理念。

这篇技术对比介绍了它们的架构、训练方法和实际部署能力,还说明了这些模型与更广泛生态系统的对比,尤其是 Ultralytics Platform 和 YOLO26 模型系列。

架构创新#

对于负责为生产环境选择合适工具的机器学习工程师来说,了解这些模型的核心机制至关重要。

RTDETRv2:Transformer 方法#

RTDETRv2 在原版 RT-DETR 的基础上发展而来,采用混合编码器和Transformer 解码器。这种设计使模型能够有效处理全局上下文,因此非常擅长区分密集场景中彼此重叠的目标。该架构最显著的优势是原生无 NMS(非极大值抑制)设计。通过移除 NMS 后处理步骤,RTDETRv2 简化了推理流水线,并确保在不同硬件配置下都能实现更稳定的延迟。

进一步了解 RTDETRv2

DAMO-YOLO:提升 CNN 效率#

另一方面,DAMO-YOLO 仍植根于基于 CNN 的 YOLO 系列,但引入了多项显著改进。它使用神经架构搜索(NAS)优化骨干网络,以提高特征提取效率。它还采用高效的 RepGFPN(重参数化广义特征金字塔网络)和 ZeroHead 设计,以及 AlignedOTA 和知识蒸馏技术。这些创新使 DAMO-YOLO 能够实现快速推理,同时保持有竞争力的 mAPval50-95 分数。

进一步了解 DAMO-YOLO

架构差异

RTDETRv2 专注于利用注意力机制理解全局特征,无需 NMS;DAMO-YOLO 则通过 NAS 和先进的蒸馏技术最大限度地提高传统 CNN 的效率,需要标准后处理,但在某些硬件上具有独特的速度优势。

性能与指标对比#

评估部署模型时,平均精度均值 (mAP)、推理速度和参数量等性能指标至关重要。下表比较了这两个模型系列。

模型尺寸
(像素)
mAPval50-95速度
CPU ONNX
(毫秒)
速度
T4 TensorRT10
(ms)
参数
(M)
FLOPs
(B)
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259
DAMO-YOLOt64042.0-2.328.518.1
DAMO-YOLOs64046.0-3.4516.337.8
DAMO-YOLOm64049.2-5.0928.261.8
DAMO-YOLOl64050.8-7.1842.197.3

结果分析#

如表所示,RTDETRv2-x 的准确率最高,mAPval50-95 达到 54.3,体现了 Transformer 架构在 COCO 数据集等具有挑战性的基准测试中的优势。不过,这也带来了显著更多的参数(76M)和 FLOPs。

相比之下,DAMO-YOLOt(微型版)非常轻量,仅需 8.5M 个参数,适合 CUDA 显存严重受限的环境。对于较旧的边缘设备,DAMO-YOLO 通常能在速度和准确率之间实现较好的平衡。

生态系统、易用性与 Ultralytics 优势#

官方 RT-DETR 和 DAMO-YOLO GitHub 项目等独立代码库提供了训练这些模型的原始代码,但将模型集成到生产流水线中通常需要编写大量样板代码并进行手动优化。

Ultralytics 生态系统能显著简化开发体验。Ultralytics 将原版 RT-DETR 等 Transformer 检测器直接集成到统一 API 中,用户只需一行代码即可训练、验证和导出模型。与庞大的独立 Transformer 代码库相比,Ultralytics 模型在训练期间的内存需求也较低。

代码示例:集成#

下面介绍如何使用 Ultralytics Python 库进行推理。无论你使用 Transformer 模型还是现代 CNN,API 都保持一致。

from ultralytics import RTDETR, YOLO

# 加载 RT-DETR 模型以理解复杂场景
model_rtdetr = RTDETR("rtdetr-l.pt")

# 加载最新的 Ultralytics YOLO26 模型
model_yolo26 = YOLO("yolo26n.pt")

# 对示例图像运行推理
results_rtdetr = model_rtdetr("https://ultralytics.com/images/bus.jpg")
results_yolo = model_yolo26("https://ultralytics.com/images/bus.jpg")

# 显示结果
results_yolo[0].show()
导出用于生产环境的模型

使用 Ultralytics API,你可以通过 model.export(format="engine") 这样的简单命令,将训练好的模型导出为 TensorRT、ONNX 或 CoreML 等格式,大幅降低部署难度。

理想应用场景#

选择哪种架构取决于你的具体项目需求:

  • RTDETRv2 在 VRAM 充足的服务器端处理场景中表现最佳。其全局上下文感知能力适合医学影像和人群密集分析等遮挡频繁的场景。
  • DAMO-YOLO 非常适合嵌入式 IoT 应用和高速工业检测生产线,这些场景对低参数量和高 FPS 有严格要求。

未来方向:Ultralytics YOLO26#

RTDETRv2 和 DAMO-YOLO 各有优势,但计算机视觉领域发展迅速。对于新项目,最新的 Ultralytics YOLO26 兼具速度、准确率和良好的开发者体验。

YOLO26 采用端到端无 NMS 设计,无需承担庞大的计算开销即可获得 Transformer 的主要优势。它采用MuSGD 优化器,其灵感来自大语言模型训练,可实现稳定、快速的收敛。通过移除 DFL(移除分布焦点损失,以简化导出并更好地适配边缘设备和低功耗设备),YOLO26n 的 CPU 推理速度比 YOLO11n 最多快 43%,因此是边缘计算的理想选择。ProgLoss + STAL(渐进式损失和小目标感知标签分配)也显著提升了小目标识别能力,这对 IoT、机器人和航空影像至关重要。

YOLO26 系列不限于边界框检测,还支持从实例分割和姿态估计到有向边界框 (OBB)的多种任务,且都通过 Ultralytics Platform 进行管理。

模型详情与参考资料#

RTDETRv2#

  • 作者: Wenyu Lv、Yian Zhao、Qinyao Chang、Kui Huang、Guanzhong Wang 和 Yi Liu
  • 组织: 百度
  • 日期: 2024-07-24
  • arXiv:2407.17140
  • GitHub:RT-DETR 仓库

DAMO-YOLO#

如需了解其他对比,请查看 RTDETRv2 与 YOLO11 对比或 DAMO-YOLO 与 YOLOv8 对比指南,了解这些模型与 Ultralytics 系列前代模型相比的表现。

评论

提出问题、分享结果,或帮助其他人。