开始使用

YOLOv6-3.0 与 RTDETRv2

为计算机视觉应用选择最合适的架构,需要平衡速度、精度和部署限制。本文从技术角度比较 YOLOv6-3.0 和 RTDETRv2:前者是面向高吞吐量 GPU 环境设计的工业级卷积神经网络(CNN),后者则是将注意力机制引入实时目标检测的 Transformer 模型。

尽管这两款模型都是人工智能研究领域的重要里程碑,但寻求功能更全面、高效流水线的开发者往往会选择 Ultralytics Platform。

YOLOv6-3.0:工业吞吐量#

YOLOv6-3.0 由美团视觉 AI 部门开发,重点在于最大限度地提升 NVIDIA GPU 等硬件加速器上的原始处理速度,因此广泛应用于工业领域。

架构亮点#

YOLOv6-3.0 采用了适合硬件的 EfficientRep 主干网络,专为高速 GPU 推理而设计。该架构在颈部集成了双向拼接 (BiC) 模块,以增强不同空间分辨率间的特征融合。在训练期间,它采用辅助锚框训练 (AAT) 策略,在保持无锚框推理流水线的同时,充分发挥基于锚框训练的优势。

优势与劣势#

优势:

  • 在 T4 和 A100 等服务器级 GPU 上实现高吞吐量。
  • 提供专门的 量化教程,介绍如何使用 RepOpt 进行 INT8 部署。
  • 对于大规模视频分析,参数量与速度的比值颇具优势。

不足:

  • 主要用于边界框检测;缺少 Ultralytics YOLO11 等模型开箱即用的多任务灵活性(例如姿势估计、OBB)。
  • 依赖非极大值抑制(NMS)后处理,因此会增加延迟波动。
  • 与主流框架相比,生态系统活跃度较低,因此更新和社区支持的可预测性也较差。

详细了解 YOLOv6

RTDETRv2:实时 Transformer#

RTDETRv2 由百度研究人员主导开发,在原版 RT-DETR 的基础上,通过“免费增益集”方法改进检测 Transformer 框架,在保持实时速度的同时提高了精度。

  • 作者: Wenyu Lv、Yian Zhao、Qinyao Chang、Kui Huang、Guanzhong Wang 和 Yi Liu
  • 组织: 百度
  • 日期: 2024-07-24
  • arXiv:2407.17140
  • GitHub: lyuwenyu/RT-DETR

架构亮点#

与传统 CNN 不同,RTDETRv2 原生支持端到端处理。该架构利用 Transformer 注意力层进行一对一匹配,无需 NMS 后处理,因此推理流水线更加简洁。RTDETRv2 采用优化的跨尺度特征融合和高效的混合编码器,在 COCO 数据集上实现了高精度。

优势与劣势#

优势:

  • 基于 Transformer 的注意力机制可带来较高的平均精度均值(mAP),尤其适用于复杂或密集场景。
  • 无 NMS 设计使推理延迟更加稳定,并简化了在生产环境中的集成。
  • 非常适合硬件限制较少、需要尽可能高精度的场景。

不足:

  • Transformer 层在训练期间需要大量 CUDA 内存,这对没有高端 GPU 的团队构成了障碍。
  • CPU 推理速度明显慢于专用边缘 CNN,因此在移动设备或 IoT 设备上的应用受到限制。
  • 对于习惯传统机器学习运维 (MLOps)的团队来说,设置和调优可能比较复杂。

进一步了解 RTDETRv2

详细性能对比#

下表对 YOLOv6-3.0 和 RTDETRv2 的关键性能指标进行了基准测试。请注意,YOLOv6 的参数效率与 RTDETRv2 的原始精度形成了鲜明对比。

模型尺寸
(像素)
mAPval50-95速度
CPU ONNX
(毫秒)
速度
T4 TensorRT10
(ms)
参数
(M)
FLOPs
(B)
YOLOv6-3.0n64037.5-1.174.711.4
YOLOv6-3.0s64045.0-2.6618.545.3
YOLOv6-3.0m64050.0-5.2834.985.8
YOLOv6-3.0l64052.8-8.9559.6150.7
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259
部署提示

如果你要在 Raspberry Pi 等纯 CPU 硬件上部署,基于 CNN 的模型通常比 Transformer 架构拥有更高的每秒帧数(FPS)。如需获得最佳边缘端性能,可使用 OpenVINO 加速推理。

用例与建议#

选择 YOLOv6 还是 RT-DETR,取决于你的具体项目需求、部署限制和生态系统偏好。

何时选择 YOLOv6#

YOLOv6适合以下场景:

  • 面向工业硬件的部署: 在这类场景中,模型面向硬件的设计和高效重参数化能针对特定目标硬件优化性能。
  • 快速单阶段检测: 优先考虑 GPU 原始推理速度、以便在受控环境中处理实时视频的应用。
  • 与美团生态系统集成: 已在 美团技术栈和部署基础设施中开展工作的团队。

何时选择 RT-DETR#

以下情况推荐使用 RT-DETR:

  • 基于 Transformer 的检测研究:探索注意力机制和 Transformer 架构,以实现无需 NMS 的端到端目标检测。
  • 对延迟要求灵活的高精度场景:检测准确率至关重要,且可以接受略高推理延迟的应用。
  • 大型目标检测:场景中的目标以中大型为主,此时 Transformer 的全局注意力机制能够发挥天然优势。

何时选择 Ultralytics (YOLO26)#

对于大多数新项目,Ultralytics YOLO26在性能与开发体验之间实现了最佳平衡:

  • 无 NMS 的边缘部署:适用于要求推理延迟稳定且较低,同时不希望增加非极大值抑制后处理复杂度的应用。
  • 仅使用 CPU 的环境:没有专用 GPU 加速的设备。在这类设备上,YOLO26n 的 CPU 运行速度最高可比 YOLO11n 快 43%。
  • 小目标检测:具有挑战性的场景,例如无人机航拍图像或 IoT 传感器分析。在这些场景中,ProgLoss 和 STAL 可以提升微小目标的检测精度。

Ultralytics 的优势:YOLO26 登场#

YOLOv6-3.0 和 RTDETRv2 各自在特定领域表现出色,但现代机器学习要求模型兼顾速度、精度和开发体验。Ultralytics 生态系统能满足这些需求,尤其是随着 YOLO26 的发布。

Ultralytics YOLO26 于 2026 年 1 月发布,是推荐使用的 Ultralytics 模型,在精度和 CPU 速度方面均优于 YOLOv8 和 YOLO12 等早期模型。

YOLO26 为何更胜一筹#

  1. 端到端无 NMS 设计:在 YOLOv10 为 YOLO 模型引入的无 NMS 训练基础上,YOLO26 提供可选的无 NMS 一对一检测头(nms=False),跳过 NMS 后处理。这样既能实现 RTDETRv2 那样简单的部署,又能保持优化型 CNN 的速度。
  2. MuSGD 优化器:受大型语言模型(LLM)训练启发(例如 Moonshot AI 的 Kimi K2),YOLO26 采用 SGD 和 Muon 的混合优化器。这能带来稳定的训练动态和更快的收敛速度,减少自定义数据集所需的时间和计算资源。
  3. 边缘端性能:移除分布焦点损失(DFL)后,模型更易于导出。加上更轻量的检测头,YOLO26n 的 CPU 推理速度最高比 YOLO11n 快 43%,非常适合边缘 AI 和 IoT 设备。
  4. 增强小目标检测能力:ProgLoss 目标函数和 STAL 标签分配策略提升了小目标检测能力,这对无人机分析和航拍图像至关重要。
  5. 任务多样性:与只专注于检测的 YOLOv6 不同,YOLO26 支持多任务工作流,包括实例分割、语义分割、深度估计、图像分类、姿势估计和旋转边界框(OBB),全部通过统一的 API 实现。

训练效率与易用性#

Ultralytics Python API 专为提升开发者效率而设计。只需几行代码,你就能从训练切换到部署,无需像使用独立研究代码库那样复杂地配置环境。

以下是使用 Ultralytics 软件包训练和验证 YOLO26 模型的完整可运行示例:

from ultralytics import YOLO

# Load the YOLO26 Nano model
model = YOLO("yolo26n.pt")

# Train the model on a custom dataset (e.g., COCO8) for 50 epochs
# The API automatically handles dataset download and environment config
train_results = model.train(data="coco8.yaml", epochs=50, imgsz=640)

# Validate the model's accuracy on the validation split
val_metrics = model.val()
print(f"Validation mAP50-95: {val_metrics.box.map:.4f}")

# Export the trained model to ONNX for production deployment
model.export(format="onnx")

结论#

YOLOv6-3.0 和 RTDETRv2 都为 AI 社区作出了令人瞩目的贡献。YOLOv6-3.0 仍是工业自动化中进行原始 GPU 计算的强大工具;RTDETRv2 则证明,Transformer 架构能够在实现最高准确性的同时达到实时延迟。

不过,对于需要可靠、可用于生产环境且拥有活跃社区支持的框架的团队,Ultralytics YOLO 模型是很好的选择。它与 Hugging Face 和 TensorRT 等工具集成,加上训练期间内存开销低,即使在配置适中的硬件上也能实际应用高性能模型。升级到 YOLO26 后,开发者可以使用 MuSGD 优化器和可选的无 NMS 检测头,构建更快、更智能且更可扩展的计算机视觉流水线。

评论

提出问题、分享结果,或帮助其他人。