开始使用

RTDETRv2 与 YOLOv6-3.0 对比

选择目标检测计算机视觉模型的开发者,可以从架构差异很大的模型中进行挑选。本页比较其中两种:RTDETRv2,一种实时检测 Transformer;以及 YOLOv6-3.0,一种针对工业应用优化的卷积神经网络 (CNN)。

本文介绍它们的架构、性能指标和理想部署场景,说明 Ultralytics 生态系统能为开发者提供什么,并介绍新项目的推荐模型 Ultralytics YOLO26。

RTDETRv2:视觉 Transformer 方案#

RTDETRv2 由百度研究人员开发,在原版 RT-DETR 的基础上改进了基于 Transformer 的目标检测。

架构亮点#

RTDETRv2 采用混合架构,将 CNN 特征提取器与 Transformer 解码器结合起来。它的一大特点是原生无 NMS 设计。模型通过在后处理中移除非极大值抑制 (NMS),直接预测边界框,从而简化部署并稳定推理延迟。

RTDETRv2 的“免费增益包”(Bag-of-Freebies)训练改进结合全局注意力,有助于模型处理复杂场景和重叠目标,因为注意力模型会分析整幅图像中的关系,而非局限于局部卷积窗口。

Transformer 内存用量

Transformer 擅长理解复杂场景,但训练时通常比 CNN 需要更多 CUDA 显存。这可能限制标准消费级 GPU 上的批量大小,并延长整体训练时间。

进一步了解 RTDETRv2

YOLOv6-3.0:最大化工业吞吐量#

YOLOv6-3.0 源自美团视觉 AI 部门,专为优先考虑 GPU 吞吐量的工业流水线设计。

  • 作者: Chuyi Li、Lulu Li、Yifei Geng、Hongliang Jiang、Meng Cheng、Bo Zhang、Zaidan Ke、Xiaoming Xu 和 Xiangxiang Chu
  • 组织: 美团
  • 日期: 2023-01-13
  • arXiv:2301.05586
  • GitHub: meituan/YOLOv6

架构重点#

YOLOv6-3.0 使用 EfficientRep 主干网络,旨在尽量降低 NVIDIA GPU 等硬件加速器上的内存访问成本。其颈部架构采用双向拼接 (BiC) 模块,以改进不同尺度间的特征融合。

训练期间,YOLOv6-3.0 使用辅助锚框训练 (AAT) 策略,借助基于锚框的方法,同时保留无锚框推理模式以加快执行速度。它在服务器级 GPU(如 T4、A100)上能实现高吞吐量,但其面向 GPU 的设计在仅使用 CPU 的边缘设备上效率可能较低。

详细了解 YOLOv6

性能对比#

下表比较了 COCO 验证集上的准确率 (mAP)、推理速度和计算成本 (FLOPs)。

模型尺寸
(像素)
mAPval50-95速度
CPU ONNX
(毫秒)
速度
T4 TensorRT10
(ms)
参数
(M)
FLOPs
(B)
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259
YOLOv6-3.0n64037.5-1.174.711.4
YOLOv6-3.0s64045.0-2.6618.545.3
YOLOv6-3.0m64050.0-5.2834.985.8
YOLOv6-3.0l64052.8-8.9559.6150.7

在所有可比尺寸下,YOLOv6-3.0 的 T4 TensorRT 推理速度都更快(例如,中型模型为 5.28 ms 对 7.51 ms);而 RTDETRv2 的 mAP 更高(中型模型为 51.9 对 50.0,大型模型为 53.4 对 52.8),且 RTDETRv2-x 的 mAP 可达到 54.3。两个模型都专注于检测:它们的主要版本都不支持实例分割或姿态估计。

用例与建议#

在 RT-DETR 和 YOLOv6 之间做选择,取决于你的具体项目需求、部署限制和生态系统偏好。

何时选择 RT-DETR#

以下场景适合选择 RT-DETR:

  • 基于 Transformer 的检测研究:探索注意力机制和 Transformer 架构,以实现无需 NMS 的端到端目标检测。
  • 对延迟要求灵活的高精度场景:检测准确率至关重要,且可以接受略高推理延迟的应用。
  • 大型目标检测:场景中的目标以中大型为主,此时 Transformer 的全局注意力机制能够发挥天然优势。

何时选择 YOLOv6#

推荐在以下情况下选择 YOLOv6:

  • 面向工业硬件的部署: 在这类场景中,模型面向硬件的设计和高效重参数化能针对特定目标硬件优化性能。
  • 快速单阶段检测: 优先考虑 GPU 原始推理速度、以便在受控环境中处理实时视频的应用。
  • 与美团生态系统集成: 已在 美团技术栈和部署基础设施中开展工作的团队。

何时选择 Ultralytics (YOLO26)#

对于大多数新项目,Ultralytics YOLO26 能提供性能与开发者体验的最佳组合:

  • 无 NMS 的边缘部署:适用于要求推理延迟稳定且较低,同时不希望增加非极大值抑制后处理复杂度的应用。
  • 仅使用 CPU 的环境: 没有专用 GPU 加速的设备;YOLO26 的 CPU 推理速度最高可提升 43%(YOLO26n 对比 YOLO11n),具有决定性优势。
  • 小目标检测: 在无人机航拍影像等具有挑战性的场景或物联网传感器分析中,ProgLoss 和 STAL 能提升小目标检测准确率。

Ultralytics 优势#

选择模型不能只看基准测试数据;开发者体验、部署灵活性和生态系统支持同样重要。与静态研究代码库相比,集成到 Ultralytics 生态系统中的模型具备多项优势。

  • 易用性:ultralytics Python 包提供简单易用的 API。只需几行代码即可训练、验证和导出模型。
  • 完善的生态系统:与独立的学术代码库不同,ultralytics 包和 Ultralytics Platform 都在积极维护,并支持导出为 ONNX、OpenVINO 和 CoreML 等格式。
  • 训练效率:与 RTDETRv2 等 Transformer 架构相比,Ultralytics YOLO 模型在训练期间通常占用更少的 GPU 内存,因此可以在消费级硬件上使用更大的批量大小。
  • 多功能性:与专注检测的 YOLOv6-3.0 不同,YOLO26 在单一框架中支持检测、实例分割、语义分割、深度估计、图像分类、姿态估计和有向边界框 (OBB)。
简化部署

使用 Ultralytics CLI,只需运行 yolo export model=yolo11n.pt format=tensorrt,即可轻松导出训练好的模型以部署到边缘设备。

认识 YOLO26#

RTDETRv2 和 YOLOv6-3.0 各有优势,但对于刚开始计算机视觉项目的团队,我们推荐 YOLO26。该模型由 Ultralytics 于 2026 年 1 月发布。

YOLO26 融合了工业级 CNN 和现代 Transformer 的优势:

  • 端到端无 NMS 设计:基于 YOLOv10 引入的方法,YOLO26 提供可选的无 NMS 检测头(nms=False),可跳过 NMS 后处理,在降低内存占用的同时实现类似 RTDETRv2 的可预测延迟。
  • MuSGD 优化器:这种结合 SGD 与 Muon 的混合优化器,灵感来自 Moonshot AI 的 Kimi K2 等大语言模型 (LLM) 训练技术,可实现更稳定的训练和更快的收敛。
  • 针对边缘设备优化:移除分布焦点损失 (DFL) 后,YOLO26n 在 CPU 上的运行速度比 YOLO11n 最快可提升 43%,适合没有 GPU 加速的移动设备和 IoT 设备。
  • ProgLoss + STAL:渐进式损失和小目标感知标签分配 (STAL) 可提升小目标识别能力,这是 CNN 长期面临的挑战,有助于航空影像分析和机器人应用。

训练示例#

Ultralytics API 只需几行代码即可训练模型。下面的可运行示例使用 YOLO26 Nano 模型在 COCO8 数据集上训练:

from ultralytics import YOLO

# Load the newly released YOLO26 Nano model
model = YOLO("yolo26n.pt")

# Train the model on the COCO8 dataset for 50 epochs
# The Ultralytics engine handles data caching and augmentation automatically
train_results = model.train(data="coco8.yaml", epochs=50, imgsz=640)

# Validate the model's performance
metrics = model.val()
print(f"Validation mAP50-95: {metrics.box.map}")

# Export the trained model to ONNX format for production
model.export(format="onnx")

总结#

在 RTDETRv2 和 YOLOv6-3.0 之间做选择,主要取决于你的硬件和延迟限制。RTDETRv2 适合研究环境和服务器端处理,在这些场景中,处理复杂的重叠目标至关重要。YOLOv6-3.0 则仍然是配备高性能 NVIDIA GPU 的高吞吐量制造流水线的理想选择。

对于希望像 Transformer 一样进行无 NMS 推理,同时又想获得 CNN 的速度和低内存占用的开发者,YOLO26 是推荐选择。它的文档、活跃社区和 Ultralytics 工具链能帮助视觉 AI 项目从原型走向生产。

评论

提出问题、分享结果,或帮助其他人。