开始使用

RTDETRv2 与 YOLO11

新一代计算机视觉架构不断提升边缘设备和云服务器上的性能上限。RTDETRv2 和 YOLO11 是两种广泛使用的实时目标检测方案。两者表现都很出色,但采用了不同的架构路线:基于 Transformer 的检测器与高度优化的卷积神经网络(CNN)。

本文比较这两个模型的架构、性能指标、训练方法和理想应用场景,帮助你为下一个应用选择合适的模型。

RTDETRv2:基于 Transformer 的挑战者#

RTDETRv2 作为原始实时检测 Transformer 的演进版本推出,通过 CNN 主干网络提取多尺度特征,并在此基础上应用注意力机制。它的混合编码器和 Transformer 解码器能够捕获图像的全局上下文,有助于在复杂场景中检测大量重叠的目标。

模型详情:

架构优势与劣势#

RTDETRv2 的主要创新是端到端无 NMS 架构。通过移除非极大值抑制(NMS),它简化了后处理流程。此外,与原始 RT-DETR 模型相比,其多尺度特征提取能力有所提升,因此更擅长识别尺寸各异的目标。

不过,由于依赖 Transformer,RTDETRv2 在训练期间通常需要更多内存。与传统 CNN 相比,Transformer 通常收敛较慢,且需要更多 CUDA 内存,因此对于使用消费级硬件的研究人员或部署到资源受限的边缘 AI环境而言,门槛更高。

进一步了解 RTDETRv2

Ultralytics YOLO11:CNN 的高效性#

基于早期 YOLO 研究成果,Ultralytics YOLO11 对 CNN 架构进行了优化,以实现更好的速度与准确率平衡,同时保留灵活、开发者友好的 Ultralytics 生态系统。

模型详情:

Ultralytics 优势#

YOLO11 的主要优势是性能平衡。它在速度和准确率之间的权衡使其适用于广泛的部署场景,从大型云计算集群到轻量级移动设备。

Ultralytics YOLO 模型在训练和推理期间也更省内存。与可能迅速耗尽显存的 Transformer 模型不同,YOLO11 可以在标准 GPU 上使用更大的批次大小。除了目标检测,YOLO11 还具有多功能性,原生支持实例分割、图像分类、姿态估计和有向边界框(OBB)。

性能与指标对比#

下表比较了 COCO 上的准确率和速度。RTDETRv2 在小型和中型规模下的准确率略高,而 YOLO11 提供五种模型尺寸(包括 nano 版本),并且在每个可比尺寸下的 TensorRT 延迟都更低。

模型尺寸
(像素)
mAPval50-95速度
CPU ONNX
(毫秒)
速度
T4 TensorRT10
(ms)
参数
(M)
FLOPs
(B)
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259
YOLO11n64039.556.11.52.66.5
YOLO11s64047.090.02.59.421.6
YOLO11m64051.5183.24.720.168.1
YOLO11l64053.4238.66.225.387.2
YOLO11x64054.7462.811.356.9195.3

YOLO11x 达到 54.7% mAPval,比 RTDETRv2-x 高 0.4 个点,FLOPs 更少(195.3B 对 259B),TensorRT 推理也更快(11.3 ms 对 15.03 ms)。YOLO11l 的 mAP 与 RTDETRv2-l 相同,均为 53.4%,但运行时间为 6.2 ms,而非 9.76 ms;RTDETRv2-s 和 -m 的准确率分别比 YOLO11s 和 -m 高 1.1 和 0.4 个点,但延迟是其 1.6 至 2 倍。YOLO11 nano 和 small 版本是适用于 Raspberry Pi 等受限设备的轻量级选择。

生态系统、易用性与训练#

Ultralytics 模型旨在提供简单直观的用户体验。ultralytics Python 包提供统一 API,可处理数据增强、分布式训练和模型导出。RTDETRv2 的研究代码库需要编写更多样板代码并进行更多配置,而 Ultralytics 提供了从数据到部署的完整流程。

Ultralytics 软件包也支持运行 RT-DETR 模型和 YOLO 模型,让两者都能使用 Ultralytics 维护完善的生态系统,其中包括用于实验跟踪的 Weights & Biases 和 Comet 集成。

from ultralytics import RTDETR, YOLO

# 通过 Ultralytics API 加载 RTDETR 模型
model_rtdetr = RTDETR("rtdetr-l.pt")

# 加载高度优化的 YOLO11 模型
model_yolo = YOLO("yolo11n.pt")

# 以极高的内存效率训练 YOLO11
results = model_yolo.train(data="coco8.yaml", epochs=100, imgsz=640)

# 将训练好的 YOLO 模型导出为 ONNX 格式
model_yolo.export(format="onnx")
简化工作流程

训练效率在机器学习中至关重要。Ultralytics 模型从预训练权重开始,因此在自定义数据上进行迁移学习时收敛很快。若要在无需编写代码的情况下管理数据集、训练运行和部署端点,可使用 Ultralytics Platform,实现一体化 MLOps 工作流。

实际应用#

选择这些架构时,通常要根据项目的具体部署限制来决定。

RTDETRv2 的优势场景: RTDETRv2 的 Transformer 主干网络非常适合目标密集且严重遮挡、需要全局上下文的场景。它常用于学术研究,以及计算预算不如建模目标间关系重要的应用。

YOLO11 的优势场景: YOLO11 非常适合实际部署。它占用内存少、推理速度快,适用于:

  • 智能制造: 使用工业 PC 在生产线上实时检测缺陷。
  • 农业: 在无人机上部署模型,实时监测作物健康状况,并用于自动化采收机器人。
  • 零售分析:同时处理多个摄像头视频流,用于队列管理和库存跟踪,无需大型服务器集群。

用例与建议#

选择 RT-DETR 还是 YOLO11,取决于你的具体项目需求、部署限制和生态偏好。

何时选择 RT-DETR#

以下场景适合选择 RT-DETR:

  • 基于 Transformer 的检测研究:探索注意力机制和 Transformer 架构,以实现无需 NMS 的端到端目标检测。
  • 对延迟要求灵活的高精度场景:检测准确率至关重要,且可以接受略高推理延迟的应用。
  • 大型目标检测:场景中的目标以中大型为主,此时 Transformer 的全局注意力机制能够发挥天然优势。

何时选择 YOLO11#

以下场景推荐使用 YOLO11:

  • 生产级边缘部署:在 Raspberry Pi 或 NVIDIA Jetson 等设备上的商业应用,其中可靠性和持续维护至关重要。
  • 多任务视觉应用:需要在单一统一框架中完成检测、分割、分类、姿态估计和 OBB 的项目。
  • 快速原型开发与部署:需要借助精简的 Ultralytics Python API,快速完成从数据收集到生产部署的团队。

何时选择 Ultralytics (YOLO26)#

对于大多数新项目,Ultralytics YOLO26在性能与开发体验之间实现了最佳平衡:

  • 无 NMS 的边缘部署:适用于要求推理延迟稳定且较低,同时不希望增加非极大值抑制后处理复杂度的应用。
  • 仅使用 CPU 的环境: 没有专用 GPU 加速的设备中,YOLO26n 的 CPU 推理速度最高比 YOLO11n 快 43%,优势显著。
  • 小目标检测: 在无人机航拍影像等具有挑战性的场景或物联网传感器分析中,ProgLoss 和 STAL 能提升小目标检测准确率。

展望未来:YOLO26 登场#

如果你要启动新项目,也可以考虑于 2026 年 1 月发布、并被推荐为 Ultralytics 模型的 Ultralytics YOLO26。它融合了两种方案的思路:可选的端到端无 NMS检测头(nms=False,由 YOLOv10 引入 YOLO 模型)像 RTDETRv2 一样省去 NMS 后处理,同时保持 CNN 的速度。

YOLO26 使用受 LLM 训练技术启发的 MuSGD 优化器,实现稳定、快速的收敛;移除分布焦点损失(DFL)后,YOLO26n 的 CPU 推理速度最高提升 43%,快于 YOLO11n。渐进式损失和小目标感知标签分配(ProgLoss + STAL)可提升小目标识别能力,因此 YOLO26 是新建计算机视觉流程的推荐选择。

无论你因久经验证的多功能性选择 YOLO11、因注意力机制选择 RTDETRv2,还是因边缘性能选择 YOLO26,Ultralytics 文档都涵盖了 YOLO11、YOLO26 和原始 RT-DETR 的训练与部署内容。

评论1

提出问题、分享结果,或帮助其他人。

  1. UltralyticsAssistantGitHubUltralytics

    👋 Hello, thank you for starting this discussion about comparing RTDETRv2 and YOLO11 🚀! We’re thrilled to see your interest in exploring the strengths and ideal use cases of these models.

    For those looking to dive deeper, the Comparison Guide is a great resource to start with. It highlights key differences and performance metrics, helping you make informed decisions based on your project needs.

    If you have specific questions about YOLO11 performance or implementation, feel free to provide more details so we can assist better. For custom training or real-world applications, including dataset examples or logs would be immensely helpful!

    💡 Pro Tip: Keep your ultralytics package up to date to leverage the latest features and fixes. Simply run:

    pip install -U ultralytics

    For real-time discussions, join our Discord 🎧. Alternatively, connect with our community on Discourse or our Subreddit to share insights and experiences.

    An Ultralytics engineer will review and assist with your discussion soon. Stay tuned! 😊