开始使用

RTDETRv2 与 YOLO26

实时目标检测模型的评价标准包括速度、精度和部署效率。本页对比两种当前方案:基于 Transformer 的 RTDETRv2,以及专为边缘部署设计的卷积神经网络(CNN)Ultralytics YOLO26。本文将介绍两者的架构、性能指标和理想应用场景,帮助你为下一个计算机视觉项目选择合适的模型。

RTDETRv2:实时检测 Transformer#

RTDETRv2 基于原始 RT-DETR 架构构建,将视觉 Transformer 的全局上下文感知能力与实时应用所需的速度相结合。

主要特点:

  • 作者: Wenyu Lv、Yian Zhao、Qinyao Chang、Kui Huang、Guanzhong Wang 和 Yi Liu
  • 组织: 百度
  • 日期: 2024-07-24
  • 链接:arXiv、GitHub、文档

架构与优势#

与传统的基于锚框的检测器不同,RTDETRv2 采用基于 Transformer 的方法,无需在后处理中执行非极大值抑制(NMS)。其注意力机制有助于处理复杂场景和重叠目标。其“免费午餐”训练改进提高了在 COCO 数据集上的精度,同时让高端 GPU 上的推理速度保持实用。

局限性#

RTDETRv2 的基准测试结果出色,但在生产环境中运行可能更困难。与 CNN 相比,Transformer 架构在训练和推理期间通常需要更多内存,因此难以部署在资源受限的边缘 AI设备上。训练 Transformer 通常还需要更大的批次大小和更多 CUDA 内存,这可能成为硬件有限时的瓶颈。

进一步了解 RTDETRv2

YOLO26:边缘优先的视觉 AI#

Ultralytics YOLO26 于 2026 年 1 月发布,是最新的 Ultralytics YOLO 模型,也是新项目的推荐选择。其设计目标是简化生产部署,并在边缘硬件上实现高效推理。

主要特点:

  • 作者: Glenn Jocher 和 Jing Qiu
  • 组织: Ultralytics
  • 日期:2026 年 1 月 14 日
  • 链接:GitHub、文档

架构创新#

YOLO26 引入了多项改进,以解决模型部署中的常见难题:

  • 端到端无 NMS 设计:在 YOLOv10 为 YOLO 模型引入的无 NMS 训练基础上,YOLO26 支持原生端到端推理。其可选的一对一检测头(nms=False)会跳过 NMS 后处理,从而降低延迟波动,让生产环境中的推理时间更可预测。
  • CPU 推理速度最高提升 43%:架构优化并移除分布焦点损失(DFL)后,YOLO26n 的 CPU 运行速度比 YOLO11n 最多快 43%,适用于没有专用 GPU 的边缘计算设备。
  • MuSGD 优化器:受 Moonshot AI 的 Kimi K2 等大语言模型(LLM)训练技术启发,YOLO26 使用 MuSGD 优化器。它结合了 SGD 和 Muon,有助于提升训练稳定性并加快收敛。
  • ProgLoss + STAL:渐进式损失和小目标感知标签分配(STAL)可提升小目标识别能力,这对涉及航空影像和无人机监控的应用至关重要。
YOLO26 的任务专项增强

除了标准目标检测,YOLO26 还针对特定任务进行了优化:为分割任务提供语义分割损失和多尺度原型模块;为姿态估计提供残差对数似然估计(RLE);并提供专用角度损失,以解决有向边界框(OBB)检测中的边界问题。

性能对比#

下表比较了 COCO 验证集上的准确率(mAP)和计算效率。在每个可比尺寸下,YOLO26 的 mAP 都高于 RTDETRv2,TensorRT 延迟也更低。

模型尺寸
(像素)
mAPval50-95速度
CPU ONNX
(毫秒)
速度
T4 TensorRT10
(ms)
参数
(M)
FLOPs
(B)
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259
YOLO26n64040.938.91.72.45.5
YOLO26s64048.687.22.59.520.9
YOLO26m64053.1220.04.720.468.4
YOLO26l64055.0286.26.224.886.8
YOLO26x64057.5525.811.855.7194.4

YOLO26x 的 mAP 达到 57.5,比 RTDETRv2-x 高 3.2 个点,参数更少(55.7M 对 76M),TensorRT推理也更快(11.8 ms 对 15.03 ms)。YOLO26 通常还占用更少内存,因此更适合实时边缘部署。

生态系统与易用性#

除了原始性能,周边生态也决定了模型从研究走向生产的速度。Ultralytics Platform将 Ultralytics 模型的数据集标注、训练和部署整合到同一平台。

维护完善的统一生态系统#

RTDETRv2 主要是一个研究代码库,执行自定义任务时可能需要复杂的环境配置和手动编写脚本。Ultralytics YOLO26 则以成熟且经过充分测试的 Python 包形式提供,并通过简单的 API 支持训练、验证、预测和导出。

内置 Weights & Biases 和 Comet 集成后,实验跟踪开箱即用。RTDETRv2 专注于目标检测,而 YOLO26 还支持实例分割、语义分割、深度估计、图像分类、姿态估计和 OBB 检测,且都集成在同一框架中。

代码示例:简洁直观的实践#

Ultralytics Python API 只需几行代码即可加载模型、运行推理并导出模型,同一个软件包也同时支持 RT-DETR 和 YOLO26。

from ultralytics import RTDETR, YOLO

# 加载 RT-DETR 模型
model_rtdetr = RTDETR("rtdetr-l.pt")

# 加载 YOLO26 模型
model_yolo = YOLO("yolo26n.pt")

# 对图像进行推理
results_rtdetr = model_rtdetr("https://ultralytics.com/images/bus.jpg")
results_yolo = model_yolo("https://ultralytics.com/images/bus.jpg")

# 显示 YOLO26 的结果
results_yolo[0].show()

# 将 YOLO26 导出为 ONNX 格式
model_yolo.export(format="onnx")

用例与建议#

选择 RT-DETR 还是 YOLO26,取决于你的具体项目需求、部署限制和生态偏好。

何时选择 RT-DETR#

以下场景适合选择 RT-DETR:

  • 基于 Transformer 的检测研究:探索注意力机制和 Transformer 架构,以实现无需 NMS 的端到端目标检测。
  • 对延迟要求灵活的高精度场景:检测准确率至关重要,且可以接受略高推理延迟的应用。
  • 大型目标检测:场景中的目标以中大型为主,此时 Transformer 的全局注意力机制能够发挥天然优势。

何时选择 YOLO26#

以下场景推荐使用 YOLO26:

  • 无 NMS 的边缘部署:适用于要求推理延迟稳定且较低,同时不希望增加非极大值抑制后处理复杂度的应用。
  • 仅使用 CPU 的环境: 没有专用 GPU 加速的设备;YOLO26 的 CPU 推理速度最高可提升 43%(YOLO26n 对比 YOLO11n),具有决定性优势。
  • 小目标检测: 在无人机航拍影像等具有挑战性的场景或物联网传感器分析中,ProgLoss 和 STAL 能提升小目标检测准确率。

探索其他架构#

YOLO26 是推荐的入门选择,但早期模型仍然很实用。YOLO11仍受全面支持,也适合已经基于它构建的现有系统;详情请参阅 RT-DETR 与 YOLO11 对比。对于更早期的架构,EfficientDet 与 YOLO26 对比展示了目标检测架构的发展历程。

结语#

RTDETRv2 和 YOLO26 都推动了实时目标检测的发展。对于重视顺畅投产流程、小内存占用和广泛任务支持的团队,推荐选择 Ultralytics YOLO26。它可选的无 NMS 推理、快速 CPU 运行速度和 Ultralytics 生态系统有助于视觉 AI 项目扩展,无论项目运行在云服务器还是资源受限的 Raspberry Pi 上。

评论

提出问题、分享结果,或帮助其他人。