开始使用

DAMO-YOLO 与 RTDETRv2

计算机视觉研究提出了许多旨在平衡速度、精度和计算效率的架构。DAMO-YOLO和 RTDETRv2应对这些挑战的方式各不相同。虽然两者都面向实时推理,但架构理念存在根本差异。

本指南涵盖两种模型的技术规格、架构创新和实际应用场景,并介绍 Ultralytics Platform 和 YOLO26 如何简化部署。

模型概述#

了解 DAMO-YOLO#

由阿里巴巴集团的研究人员开发的 DAMO-YOLO,是一种依赖神经架构搜索 (NAS) 的快速、高精度目标检测方法。它用 NAS 生成的结构取代传统的手工设计主干网络,以实现低延迟。此外,该模型还采用高效的 RepGFPN(重参数化通用特征金字塔网络)和 ZeroHead 设计,以精简特征聚合与边界框预测。

模型主要信息:

进一步了解 DAMO-YOLO

了解 RTDETRv2#

百度的 RTDETRv2 是实时检测 Transformer 的一项重要进展。与依赖非极大值抑制 (NMS) 的卷积神经网络 (CNN) 检测器不同,RTDETRv2 使用自注意力来建模整张图像的全局上下文。它直接输出边界框,完全跳过 NMS 后处理步骤。该模型引入了“bag of freebies”训练策略,可在不增加推理延迟的情况下提升基线精度。

模型主要信息:

进一步了解 RTDETRv2

在视觉 AI 中采用 Transformer

虽然 Transformer 需要更多计算资源,但其处理全局上下文的能力使其能够有效理解复杂场景,这是 RTDETRv2 的一项重要优势。

性能对比#

在评估这些模型的实际部署能力时,平均精度均值 (mAP)、推理速度和内存占用等指标至关重要。与 DAMO-YOLO 等轻量级 CNN 相比,RTDETRv2 等基于 Transformer 的模型通常在训练和推理时需要更多 CUDA 内存。

下表对比了它们的性能指标。

模型尺寸
(像素)
mAPval50-95速度
CPU ONNX
(毫秒)
速度
T4 TensorRT10
(ms)
参数
(M)
FLOPs
(B)
DAMO-YOLOt64042.0-2.328.518.1
DAMO-YOLOs64046.0-3.4516.337.8
DAMO-YOLOm64049.2-5.0928.261.8
DAMO-YOLOl64050.8-7.1842.197.3
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259

理想应用场景#

DAMO-YOLO的优势场景: 得益于经过 NAS 优化的主干网络以及较小变体(例如 DAMO-YOLOt)的低参数量,它非常适合部署在资源受限的硬件上。如果你要使用 ONNX 等运行时,或使用专用的 TensorRT 引擎构建边缘计算解决方案,DAMO-YOLO能提供响应迅速的框架。

RTDETRv2的优势场景: RTDETRv2最适合配备服务器级 GPU 且全局图像上下文至关重要的场景。其 Transformer 架构能够自然地解决重叠边界框问题,无需 NMS,因此适合用于密集的人群管理或复杂的目标跟踪,尤其是在远距离目标之间的空间关系很关键时。

Ultralytics 的优势:认识 YOLO26#

DAMO-YOLO 和 RTDETRv2 都是重要的学术成果,但要将它们转化为可扩展、可用于生产的应用并不容易。开发者经常会遇到代码库分散、不支持多任务学习以及部署流程复杂等问题。

Ultralytics 生态系统的优势正在于此。通过优先考虑易用性、维护完善的 Python API 和多任务灵活性,Ultralytics 让开发者减少调试时间,将更多精力用于构建产品。

近期发布的 Ultralytics YOLO26 模型在这些优势的基础上进一步提升,在多个方面优于 DAMO-YOLO 和 RTDETRv2:

  • 端到端无 NMS 设计:基于 YOLOv10 的无 NMS 训练理念,YOLO26提供可选的端到端检测头(nms=False)。它可移除 NMS 后处理,使部署比传统 CNN 检测器更快、更简单,同时具备与 RTDETRv2 相同的直接输出优势。
  • CPU 推理速度最高提升 43%:YOLO26n 在 CPU ONNX 上的运行速度最高可比 YOLO11n 快 43%,并针对没有独立 GPU 的边缘 AI 设备进行了优化,因此比内存占用高的 Transformer 更适合物联网应用。
  • MuSGD 优化器:受 Moonshot AI 的 Kimi K2 启发,这种 SGD 与 Muon 的混合方案将大语言模型 (LLM) 训练技术引入计算机视觉,实现稳定训练并加快收敛。
  • ProgLoss + STAL:渐进式损失和感知小目标的标签分配策略提升了小目标识别能力,这是传统模型通常难以处理的领域。这对航空影像和无人机应用至关重要。
  • 移除 DFL:已移除 Distribution Focal Loss,以简化导出格式并提升对低功耗边缘设备的兼容性。
  • 多任务灵活性:与仅支持检测的竞品模型不同,YOLO26包含针对特定任务的改进,例如可提升实例分割收敛效果的语义分割损失、用于姿态估计的残差对数似然估计 (RLE),以及用于有向边界框 (OBB)的专用角度损失。
内存效率至关重要

训练 RTDETRv2 等基于 Transformer 的模型需要大量 CUDA 内存,通常不得不采用昂贵的多 GPU 配置。Ultralytics YOLO 模型在训练和推理时的内存需求都低得多,让研究人员和业余爱好者也能轻松开展 AI 开发。

代码示例:统一的 Ultralytics API#

Ultralytics 生态系统的主要优势之一是统一的 API。你可以加载、训练和验证多种模型,包括 RT-DETR 的 PyTorch 实现和最新 YOLO 模型,而无需更改工作流程。

from ultralytics import RTDETR, YOLO

# 加载 RT-DETR 模型
model_rtdetr = RTDETR("rtdetr-l.pt")

# 加载 YOLO26 模型
model_yolo = YOLO("yolo26n.pt")

# 使用简单统一的接口对图像进行推理
results_rtdetr = model_rtdetr("https://ultralytics.com/images/bus.jpg")
results_yolo = model_yolo("https://ultralytics.com/images/bus.jpg")

# 显示检测到的目标
results_yolo[0].show()

这种简洁性也适用于自定义数据集训练和导出。借助 Ultralytics Python 软件包,开发者只需一条命令,就能将训练好的权重导出为 CoreML 或 OpenVINO 等部署格式。

总结与进一步探索#

DAMO-YOLO和 RTDETRv2都推动了实时目标检测的发展。DAMO-YOLO提供经过优化、通过自动搜索生成的网络结构,以实现原始效率;RTDETRv2则通过消除 NMS 等传统瓶颈,证明了 Transformer 也能在实时领域竞争。

不过,对于追求性能、完善文档和生产就绪能力的开发者而言,Ultralytics YOLO 模型仍是稳妥的默认选择。使用 YOLO26,用户可以获得可选的类 Transformer 端到端检测、受 LLM 启发的训练效率,以及直观稳健生态系统中的快速 CPU 推理。

如果你正在为下一个项目评估模型,也可以阅读 EfficientDet 与 RT-DETR 对比,了解上一代模型 YOLO11,或查看 YOLOX 等学术基线。立即探索 Ultralytics 快速入门指南,开始构建。

评论

提出问题、分享结果,或帮助其他人。