RTDETRv2 与 YOLOv6-3.0 对比
选择目标检测计算机视觉模型的开发者,可以从架构差异很大的模型中进行挑选。本页比较其中两种:RTDETRv2,一种实时检测 Transformer;以及 YOLOv6-3.0,一种针对工业应用优化的卷积神经网络 (CNN)。
本文介绍它们的架构、性能指标和理想部署场景,说明 Ultralytics 生态系统能为开发者提供什么,并介绍新项目的推荐模型 Ultralytics YOLO26。
RTDETRv2:视觉 Transformer 方案#
RTDETRv2 由百度研究人员开发,在原版 RT-DETR 的基础上改进了基于 Transformer 的目标检测。
- 作者: Wenyu Lv、Yian Zhao、Qinyao Chang、Kui Huang、Guanzhong Wang 和 Yi Liu
- 组织: 百度
- 日期: 2024-07-24
- arXiv:2407.17140
- GitHub: lyuwenyu/RT-DETR
- 文档:RTDETRv2 GitHub README
架构亮点#
RTDETRv2 采用混合架构,将 CNN 特征提取器与 Transformer 解码器结合起来。它的一大特点是原生无 NMS 设计。模型通过在后处理中移除非极大值抑制 (NMS),直接预测边界框,从而简化部署并稳定推理延迟。
RTDETRv2 的“免费增益包”(Bag-of-Freebies)训练改进结合全局注意力,有助于模型处理复杂场景和重叠目标,因为注意力模型会分析整幅图像中的关系,而非局限于局部卷积窗口。
Transformer 擅长理解复杂场景,但训练时通常比 CNN 需要更多 CUDA 显存。这可能限制标准消费级 GPU 上的批量大小,并延长整体训练时间。
YOLOv6-3.0:最大化工业吞吐量#
YOLOv6-3.0 源自美团视觉 AI 部门,专为优先考虑 GPU 吞吐量的工业流水线设计。
- 作者: Chuyi Li、Lulu Li、Yifei Geng、Hongliang Jiang、Meng Cheng、Bo Zhang、Zaidan Ke、Xiaoming Xu 和 Xiangxiang Chu
- 组织: 美团
- 日期: 2023-01-13
- arXiv:2301.05586
- GitHub: meituan/YOLOv6
架构重点#
YOLOv6-3.0 使用 EfficientRep 主干网络,旨在尽量降低 NVIDIA GPU 等硬件加速器上的内存访问成本。其颈部架构采用双向拼接 (BiC) 模块,以改进不同尺度间的特征融合。
训练期间,YOLOv6-3.0 使用辅助锚框训练 (AAT) 策略,借助基于锚框的方法,同时保留无锚框推理模式以加快执行速度。它在服务器级 GPU(如 T4、A100)上能实现高吞吐量,但其面向 GPU 的设计在仅使用 CPU 的边缘设备上效率可能较低。
性能对比#
下表比较了 COCO 验证集上的准确率 (mAP)、推理速度和计算成本 (FLOPs)。
| 模型 | 尺寸 (像素) | mAPval50-95 | 速度 CPU ONNX (毫秒) | 速度 T4 TensorRT10 (ms) | 参数 (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
| YOLOv6-3.0n | 640 | 37.5 | - | 1.17 | 4.7 | 11.4 |
| YOLOv6-3.0s | 640 | 45.0 | - | 2.66 | 18.5 | 45.3 |
| YOLOv6-3.0m | 640 | 50.0 | - | 5.28 | 34.9 | 85.8 |
| YOLOv6-3.0l | 640 | 52.8 | - | 8.95 | 59.6 | 150.7 |
在所有可比尺寸下,YOLOv6-3.0 的 T4 TensorRT 推理速度都更快(例如,中型模型为 5.28 ms 对 7.51 ms);而 RTDETRv2 的 mAP 更高(中型模型为 51.9 对 50.0,大型模型为 53.4 对 52.8),且 RTDETRv2-x 的 mAP 可达到 54.3。两个模型都专注于检测:它们的主要版本都不支持实例分割或姿态估计。
用例与建议#
在 RT-DETR 和 YOLOv6 之间做选择,取决于你的具体项目需求、部署限制和生态系统偏好。
何时选择 RT-DETR#
以下场景适合选择 RT-DETR:
- 基于 Transformer 的检测研究:探索注意力机制和 Transformer 架构,以实现无需 NMS 的端到端目标检测。
- 对延迟要求灵活的高精度场景:检测准确率至关重要,且可以接受略高推理延迟的应用。
- 大型目标检测:场景中的目标以中大型为主,此时 Transformer 的全局注意力机制能够发挥天然优势。
何时选择 YOLOv6#
推荐在以下情况下选择 YOLOv6:
- 面向工业硬件的部署: 在这类场景中,模型面向硬件的设计和高效重参数化能针对特定目标硬件优化性能。
- 快速单阶段检测: 优先考虑 GPU 原始推理速度、以便在受控环境中处理实时视频的应用。
- 与美团生态系统集成: 已在 美团技术栈和部署基础设施中开展工作的团队。
何时选择 Ultralytics (YOLO26)#
对于大多数新项目,Ultralytics YOLO26 能提供性能与开发者体验的最佳组合:
- 无 NMS 的边缘部署:适用于要求推理延迟稳定且较低,同时不希望增加非极大值抑制后处理复杂度的应用。
- 仅使用 CPU 的环境: 没有专用 GPU 加速的设备;YOLO26 的 CPU 推理速度最高可提升 43%(YOLO26n 对比 YOLO11n),具有决定性优势。
- 小目标检测: 在无人机航拍影像等具有挑战性的场景或物联网传感器分析中,ProgLoss 和 STAL 能提升小目标检测准确率。
Ultralytics 优势#
选择模型不能只看基准测试数据;开发者体验、部署灵活性和生态系统支持同样重要。与静态研究代码库相比,集成到 Ultralytics 生态系统中的模型具备多项优势。
- 易用性:
ultralyticsPython 包提供简单易用的 API。只需几行代码即可训练、验证和导出模型。 - 完善的生态系统:与独立的学术代码库不同,
ultralytics包和 Ultralytics Platform 都在积极维护,并支持导出为 ONNX、OpenVINO 和 CoreML 等格式。 - 训练效率:与 RTDETRv2 等 Transformer 架构相比,Ultralytics YOLO 模型在训练期间通常占用更少的 GPU 内存,因此可以在消费级硬件上使用更大的批量大小。
- 多功能性:与专注检测的 YOLOv6-3.0 不同,YOLO26 在单一框架中支持检测、实例分割、语义分割、深度估计、图像分类、姿态估计和有向边界框 (OBB)。
使用 Ultralytics CLI,只需运行 yolo export model=yolo11n.pt format=tensorrt,即可轻松导出训练好的模型以部署到边缘设备。
认识 YOLO26#
RTDETRv2 和 YOLOv6-3.0 各有优势,但对于刚开始计算机视觉项目的团队,我们推荐 YOLO26。该模型由 Ultralytics 于 2026 年 1 月发布。
YOLO26 融合了工业级 CNN 和现代 Transformer 的优势:
- 端到端无 NMS 设计:基于 YOLOv10 引入的方法,YOLO26 提供可选的无 NMS 检测头(
nms=False),可跳过 NMS 后处理,在降低内存占用的同时实现类似 RTDETRv2 的可预测延迟。 - MuSGD 优化器:这种结合 SGD 与 Muon 的混合优化器,灵感来自 Moonshot AI 的 Kimi K2 等大语言模型 (LLM) 训练技术,可实现更稳定的训练和更快的收敛。
- 针对边缘设备优化:移除分布焦点损失 (DFL) 后,YOLO26n 在 CPU 上的运行速度比 YOLO11n 最快可提升 43%,适合没有 GPU 加速的移动设备和 IoT 设备。
- ProgLoss + STAL:渐进式损失和小目标感知标签分配 (STAL) 可提升小目标识别能力,这是 CNN 长期面临的挑战,有助于航空影像分析和机器人应用。
训练示例#
Ultralytics API 只需几行代码即可训练模型。下面的可运行示例使用 YOLO26 Nano 模型在 COCO8 数据集上训练:
from ultralytics import YOLO
# Load the newly released YOLO26 Nano model
model = YOLO("yolo26n.pt")
# Train the model on the COCO8 dataset for 50 epochs
# The Ultralytics engine handles data caching and augmentation automatically
train_results = model.train(data="coco8.yaml", epochs=50, imgsz=640)
# Validate the model's performance
metrics = model.val()
print(f"Validation mAP50-95: {metrics.box.map}")
# Export the trained model to ONNX format for production
model.export(format="onnx")总结#
在 RTDETRv2 和 YOLOv6-3.0 之间做选择,主要取决于你的硬件和延迟限制。RTDETRv2 适合研究环境和服务器端处理,在这些场景中,处理复杂的重叠目标至关重要。YOLOv6-3.0 则仍然是配备高性能 NVIDIA GPU 的高吞吐量制造流水线的理想选择。
对于希望像 Transformer 一样进行无 NMS 推理,同时又想获得 CNN 的速度和低内存占用的开发者,YOLO26 是推荐选择。它的文档、活跃社区和 Ultralytics 工具链能帮助视觉 AI 项目从原型走向生产。
评论
提出问题、分享结果,或帮助其他人。