在 GitHub 上编辑页面 (EN)

RTDETRv2 与 YOLOv6-3.0：实时 Transformer 与工业级 CNN 的对比评估

计算机视觉领域不断演进，为开发者提供了多种目标检测架构选择。RTDETRv2（一种最先进的视觉 Transformer）和 YOLOv6-3.0（一种针对工业应用高度优化的卷积神经网络 (CNN)）代表了两种截然不同的方法。

这份详尽的技术对比探讨了它们各自的架构、性能指标和理想的部署场景。我们还将审视更广泛的 Ultralytics 生态系统 如何提供卓越的开发体验，并最终着眼于下一代 Ultralytics YOLO26 的功能。

RTDETRv2：视觉 Transformer 方法

RTDETRv2 由百度研究人员开发，建立在原始 RT-DETR 的基础上，代表了基于 Transformer 的 目标检测 的重大飞跃。

架构亮点

RTDETRv2 采用了将 CNN 特征提取器与强大的 Transformer 解码器相结合的混合架构。该模型最显著的特点是其原生无 NMS 设计。通过在后处理过程中消除非极大值抑制 (NMS)，该模型可直接预测边界框，从而简化了部署并稳定了推理延迟。

RTDETRv2 中集成的“Bag-of-Freebies”增强了其处理复杂场景和重叠对象的能力，因为全局注意力机制比局部卷积能更好地理解空间关系。

Transformer 内存使用

虽然 Transformer 擅长复杂的场景理解，但与 CNN 相比，它们在训练期间通常需要显著更高的 CUDA 内存。这可能会限制标准消费级 GPU 上的批处理大小，并增加整体训练时间。

了解有关 RTDETR 的更多信息

YOLOv6-3.0：工业吞吐量最大化

YOLOv6-3.0 源自美团视觉 AI 部门，专门为 GPU 吞吐量至关重要的工业流水线设计，旨在成为下一代检测器。

  • 作者：Chuyi Li, Lulu Li, Yifei Geng, Hongliang Jiang, Meng Cheng, Bo Zhang, Zaidan Ke, Xiaoming Xu 和 Xiangxiang Chu
  • 组织：Meituan
  • 日期：2023-01-13
  • Arxiv：2301.05586
  • GitHub：meituan/YOLOv6

架构重点

YOLOv6-3.0 依赖于 EfficientRep 主干网络，该网络经过精心设计，可最大限度地减少 NVIDIA GPU 等硬件加速器上的内存访问成本。其颈部架构具有双向拼接 (BiC) 模块，以改善跨不同尺度的特征融合。

在训练过程中，它采用了辅助锚点训练 (AAT) 策略，旨在利用基于锚点的范式，同时保持无锚点的推理模式以实现更快的执行速度。虽然它在服务器级 GPU（如 T4、A100）上实现了卓越的吞吐量，但其专门的架构在部署到仅 CPU 的边缘设备时可能会导致延迟欠佳。

了解更多关于 YOLOv6 的信息

性能对比

在评估生产环境模型时，平衡精度 (mAP) 与推理速度和计算成本 (FLOPs) 至关重要。下表展示了这些模型之间的对比情况。

模型尺寸
(像素)		mAPval
50-95		速度
CPU ONNX
(ms)		速度
T4 TensorRT10
(ms)		参数
(M)		FLOPs
(B)
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259
YOLOv6-3.0n64037.5-1.174.711.4
YOLOv6-3.0s64045.0-2.6618.545.3
YOLOv6-3.0m64050.0-5.2834.985.8
YOLOv6-3.0l64052.8-8.9559.6150.7

虽然 YOLOv6-3.0 在 TensorRT 上的纯处理速度方面占主导地位，但 RTDETRv2 捕获了更高的 mAP 分数，特别是在更大模型变体的情况下缩放效果更好。然而，这两种模型都缺乏现代统一框架中广泛的多功能性。YOLOv6-3.0 主要专注于检测，缺乏对 实例分割 和 姿态估计 等任务的原生开箱即用支持。

用例与建议

在 RT-DETR 和 YOLOv6 之间进行选择取决于你的具体项目需求、部署约束和生态系统偏好。

何时选择 RT-DETR

RT-DETR 是以下情况的有力选择：

  • 基于 Transformer 的检测研究： 探索用于无需 NMS 的端到端目标检测的注意力机制和 transformer 架构的项目。
  • 延迟灵活的高精度场景： 检测精度是首要任务且可以接受略高推理延迟的应用。
  • 大物体检测： 以中大型物体为主的场景，其中 transformer 的全局注意力机制提供了天然优势。

何时选择 YOLOv6

推荐在以下情况下选择 YOLOv6：

  • 工业硬件感知部署： 在该场景中，模型的硬件感知设计和高效重参数化能在特定目标硬件上提供最优性能。
  • 快速单阶段检测： 在受控环境中，优先考虑 GPU 上的原始推理速度以进行实时视频处理的应用。
  • 美团生态集成： 团队已经在 美团 的技术栈和部署基础设施内开展工作。

何时选择 Ultralytics (YOLO26)

对于大多数新项目，Ultralytics YOLO26 提供了性能与开发者体验的最佳结合：

  • 无需 NMS 的边缘部署： 需要持续、低延迟推理且无需复杂非极大值抑制后处理的应用。
  • 仅 CPU 环境： 在没有专用 GPU 加速的设备上，YOLO26 的 CPU 推理速度提升高达 43%，这提供了决定性优势。
  • 小目标检测： 具有挑战性的场景，如 航拍无人机图像 或 IoT 传感器分析，ProgLoss 和 STAL 在小目标上显著提升了准确性。

Ultralytics 的优势

选择合适的模型不仅仅取决于原始基准数据；开发者体验、部署灵活性和生态系统支持同样重要。通过使用 Ultralytics 平台中集成的模型，用户比使用静态研究存储库获得了显著优势。

  • 易用性： ultralytics Python 包提供了无缝的 API。训练、验证和导出模型只需几行代码。
  • 维护良好的生态系统： 与孤立的学术仓库不同，Ultralytics 平台 会主动更新。它拥有针对 ONNX、OpenVINO 和 CoreML 等工具的强大集成。
  • 训练效率： 与 RTDETRv2 等 Transformer 架构相比，Ultralytics 模型在训练期间通常消耗的 VRAM 明显更低，从而允许在消费级硬件上使用更大的批处理大小。
  • 多功能性： 与 YOLOv6-3.0 专注的范围不同，Ultralytics 模型是多模态的，在单个统一框架内原生支持 图像分类、旋转边界框 (OBB) 和分割。
精简的部署

使用 Ultralytics CLI，为边缘部署导出训练好的模型就像运行以下命令一样简单：yolo export model=yolo11n.pt format=tensorrt。

引入 YOLO26：终极解决方案

虽然 RTDETRv2 和 YOLOv6-3.0 提供了特定的优势，但该领域发展迅速。对于启动新计算机视觉项目的团队，我们强烈推荐 Ultralytics 于 2026 年 1 月发布的 YOLO26。

YOLO26 综合了工业级 CNN 和现代 Transformer 的优势，同时消除了它们各自的弱点：

  • 端到端无 NMS 设计： 采用 YOLOv10 中首次引入的突破性技术，YOLO26 原生消除了 NMS 后处理，确保了类似于 RTDETRv2 的稳定、可预测的部署，但开销要小得多。
  • MuSGD 优化器： 受先进 LLM 训练技术（如 Moonshot AI 的 Kimi K2）的启发，这种混合优化器确保了稳定的训练和更快的收敛，克服了传统视觉 Transformer 臭名昭著的不稳定性。
  • 针对边缘侧优化： 比上一代 CPU 推理速度快达 43%，并战略性地移除了分布焦点损失 (DFL)，YOLO26 非常适合在没有 GPU 加速的移动和 IoT 设备上使用。
  • ProgLoss + STAL： 这些先进的损失函数在小目标识别方面取得了显著改进，这是 CNN 的历史性挑战，使 YOLO26 成为航空图像和机器人技术的理想选择。

训练示例

直观的 Ultralytics API 允许你无缝训练尖端模型。以下是一个可运行的示例，演示了如何使用 COCO8 数据集 训练 YOLO26 Nano 模型：

from ultralytics import YOLO

# Load the newly released YOLO26 Nano model
model = YOLO("yolo26n.pt")

# Train the model on the COCO8 dataset for 50 epochs
# The Ultralytics engine handles data caching and augmentation automatically
train_results = model.train(data="coco8.yaml", epochs=50, imgsz=640)

# Validate the model's performance
metrics = model.val()
print(f"Validation mAP50-95: {metrics.box.map}")

# Export the trained model to ONNX format for production
model.export(format="onnx")

总结

在比较 RTDETRv2 和 YOLOv6-3.0 时，决定很大程度上取决于你的特定硬件和延迟限制。RTDETRv2 在研究环境和服务器端处理中表现出色，在这些环境中处理复杂的重叠对象至关重要。对于配备强大 NVIDIA GPU 的高吞吐量生产线，YOLOv6-3.0 仍然是一个强有力的选择。

然而，对于寻求两全其美的开发者来说——将 Transformer 的无 NMS 优雅性与 CNN 的极高速度和低内存占用相结合——YOLO26 是无与伦比的。在 Ultralytics 生态系统 的全面文档和活跃社区的支持下，YOLO26 可确保你的视觉 AI 项目稳健、可扩展且面向未来。

Contributors
在 GitHub 上编辑页面 (EN)
GLglenn-jocher13PDpderrenger1

评论