RTDETRv2 与 YOLOv10
计算机视觉的发展很大程度上源于对速度与准确率平衡的需求。传统的实时目标检测流程依赖非极大值抑制(NMS)作为后处理步骤,过滤重叠的边界框。不过,NMS 会增加延迟,还需要调节阈值。两种架构路线可从模型本身移除 NMS:RTDETRv2 等基于 Transformer 的模型,以及 YOLOv10 等基于 CNN 的模型。
本指南比较这两个模型的架构、性能指标和理想应用场景,并介绍较新模型在Ultralytics 生态系统中的定位,帮助你进行现代化部署。
RTDETRv2:实时检测 Transformer#
RTDETRv2 基于原始 RT-DETR 架构构建,旨在将视觉 Transformer 对全局上下文的理解能力与实时检测的速度要求结合起来,后者传统上由 YOLO 模型主导。
主要特点:
- 作者: Wenyu Lv、Yian Zhao、Qinyao Chang、Kui Huang、Guanzhong Wang 和 Yi Liu
- 组织: 百度
- 日期: 2024-07-24
- arXiv: https://arxiv.org/abs/2407.17140
- GitHub: https://github.com/lyuwenyu/RT-DETR/tree/main/rtdetrv2_pytorch
架构与训练方法#
RTDETRv2 使用端到端 Transformer 架构,无需 NMS。它通过引入“免费增益包”(Bag-of-Freebies)改进前代模型,优化训练策略并加入多尺度检测能力。模型使用 CNN 主干网络提取特征图(边缘和纹理等视觉细节),再通过 Transformer 编码器—解码器结构处理这些特征。这样模型就能同时分析整幅图像的上下文,因此在目标密集或相互重叠等复杂场景中表现出色。
优势与劣势#
优势:
- 全局上下文:注意力机制让模型在复杂、杂乱的环境中也能出色表现。
- 无需 NMS:直接预测目标坐标,简化部署流程。
- 高精度:在 COCO 数据集上取得出色的平均精度均值 (mAP)。
不足:
- 资源消耗高:Transformer架构在训练期间通常比 CNN 需要更多 CUDA 内存,因此在标准硬件上进行微调的成本较高。
- 推理速度不稳定:虽然速度很快,但繁重的注意力计算会导致缺少专用 AI 加速器的边缘设备上计算机视觉的每秒帧数 (FPS)较低。
YOLOv10:实时端到端目标检测#
YOLOv10 在 YOLO 目标检测系列的发展中实现了重大转变,直接在 CNN 框架内解决了长期存在的 NMS 瓶颈。
主要特点:
- 作者: Ao Wang、Hui Chen、Lihao Liu 等
- 组织: 清华大学
- 日期: 2024-05-23
- arXiv: https://arxiv.org/abs/2405.14458
- GitHub: https://github.com/THU-MIG/yolov10
架构与训练方法#
YOLOv10 的核心创新是在无需 NMS 的训练中采用一致的双重分配策略。训练期间,它使用两个检测头:一个采用一对多分配(类似传统 YOLO),以提供丰富的监督信号;另一个采用一对一分配,以消除对 NMS 的需求。推理时只使用一对一检测头,从而实现端到端流程。此外,作者采用了以效率和精度为导向的整体模型设计策略,对各个组件进行全面优化,以减少计算冗余。
优势与劣势#
优势:
- 低延迟:通过移除 NMS 并优化架构,YOLOv10 实现了极低的推理延迟。
- 高效:与其他模型实现相近精度时,所需参数和 FLOPs 更少,因此非常适合受限环境。
- 无需 NMS 的部署:简化了与智能监控等边缘应用的集成。
不足:
- 第一代方案:作为首个采用这种特定无 NMS 架构的 YOLO 模型,它奠定了基础,但在多任务适用性和优化方面仍有提升空间,后续的 YOLO11 和 YOLO26 等模型则在这些方面有所进步。
性能对比#
评估生产环境中的模型时,需要权衡准确率与计算成本。下表展示了 RTDETRv2 和 YOLOv10 在 COCO 上不同尺寸模型的性能取舍。
| 模型 | 尺寸 (像素) | mAPval50-95 | 速度 CPU ONNX (毫秒) | 速度 T4 TensorRT10 (ms) | 参数 (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
| YOLOv10n | 640 | 38.5 | - | 1.84 | 2.3 | 6.7 |
| YOLOv10s | 640 | 46.3 | - | 2.49 | 7.2 | 21.6 |
| YOLOv10m | 640 | 51.1 | - | 4.74 | 15.4 | 59.1 |
| YOLOv10b | 640 | 52.5 | - | 5.74 | 19.1 | 92.0 |
| YOLOv10l | 640 | 53.2 | - | 7.28 | 24.4 | 120.3 |
| YOLOv10x | 640 | 54.4 | - | 10.70 | 29.5 | 160.4 |
RTDETRv2 在小型、中型和大型规模下的准确率略高(分别为 48.1、51.9 和 53.4 mAP;YOLOv10s、m 和 l 分别为 46.3、51.1 和 53.2),但 YOLOv10 在所有规模下都更快、更小。YOLOv10x 的准确率与 RTDETRv2-x 相当(54.4 对 54.3 mAP),参数量为 29.5M 而非 76M,TensorRT 延迟为 10.70 ms 而非 15.03 ms。nano 和 small 版本让 YOLOv10 成为边缘计算与 AIoT应用的理想选择。
如果你要在服务器级 GPU 上部署,且 batch size 和显存不受太多限制,那么较大的模型(如 -x 或 -l)能最大限度地提高精度。对于 Raspberry Pi 或手机等边缘设备,优先选择 nano (-n) 或 small (-s) 版本,以保持实时帧率。
用例与建议#
选择 RT-DETR 还是 YOLOv10,取决于你的具体项目需求、部署限制和生态偏好。
何时选择 RT-DETR#
以下场景适合选择 RT-DETR:
- 基于 Transformer 的检测研究:探索注意力机制和 Transformer 架构,以实现无需 NMS 的端到端目标检测。
- 对延迟要求灵活的高精度场景:检测准确率至关重要,且可以接受略高推理延迟的应用。
- 大型目标检测:场景中的目标以中大型为主,此时 Transformer 的全局注意力机制能够发挥天然优势。
何时选择 YOLOv10#
以下场景推荐使用 YOLOv10:
- 无 NMS 的实时检测:适用于需要从端到端检测中获益、无需使用非极大值抑制并能降低部署复杂度的应用。
- 均衡权衡速度与准确率:适用于需要在不同模型规模下兼顾推理速度和检测准确率的项目。
- 延迟稳定的应用:适用于推理时间可预测性至关重要的部署场景,例如机器人或自主系统。
何时选择 Ultralytics (YOLO26)#
对于大多数新项目,Ultralytics YOLO26在性能与开发体验之间实现了最佳平衡:
- 无 NMS 的边缘部署:适用于要求推理延迟稳定且较低,同时不希望增加非极大值抑制后处理复杂度的应用。
- 仅使用 CPU 的环境: 没有专用 GPU 加速的设备中,YOLO26n 的 CPU 推理速度最高比 YOLO11n 快 43%,优势显著。
- 小目标检测: 在无人机航拍影像等具有挑战性的场景或物联网传感器分析中,ProgLoss 和 STAL 能提升小目标检测准确率。
Ultralytics 的优势:认识 YOLO26#
RTDETRv2 和 YOLOv10 都是重要的研究成果,但要将它们部署到实际场景中,需要维护完善的软件生态系统。Ultralytics Platform结合了易用性、详尽文档,以及用于数据标注和部署的工具。
对于 2026 年启动的新项目,推荐使用 Ultralytics YOLO26。它基于两种架构的理念构建,并增加了多项改进:
- 端到端无 NMS 设计:在 YOLOv10 为 YOLO 模型引入的无 NMS 训练基础上,YOLO26 提供可选的一对一检测头(
nms=False),跳过 NMS 后处理,从而让部署逻辑更快、更简单,延迟也更稳定。 - 移除 DFL:移除分布焦点损失后,YOLO26 简化了模型导出,并提升了对边缘设备和低功耗设备的兼容性。
- MuSGD 优化器:这种结合 SGD 和 Muon 的优化器受 LLM 训练技术启发,可提升训练稳定性并加快收敛。
- CPU 推理速度最高提升 43%:YOLO26n 在搭配 ONNX 时,CPU 运行速度最高可比 YOLO11n 快 43%,有助于在没有专用 GPU 的环境中运行。
- ProgLoss + STAL:渐进式损失和小目标感知标签分配(STAL)可提升小目标识别能力,这对使用无人机的应用和 IoT 传感器至关重要。
- 多任务支持:不同于仅支持边界框的模型,YOLO26 还支持实例分割、语义分割、深度估计、图像分类、姿态估计和 OBB 检测,并针对特定任务进行了优化,例如为姿态估计提供残差对数似然估计(RLE)。
使用 Python 实现#
通过 Ultralytics Python API训练和部署这些模型十分简单。与以 Transformer 为主的架构相比,它们训练所需的内存更少,因此你可以在标准硬件上训练强大的模型。
from ultralytics import YOLO
# 加载 YOLO26 模型(推荐)
# 或者,使用 YOLO('yolov10n.pt') 加载 YOLOv10 模型
model = YOLO("yolo26n.pt")
# 在你的自定义数据集上训练模型
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)
# 轻松导出为各种格式,以便部署到边缘设备
model.export(format="onnx", simplify=True)无论你是在实现安全报警系统,还是在进行医学图像分析,选择由活跃的 Ultralytics 社区支持的模型,都能获得成功所需的工具、超参数调优指南和持续更新。YOLOv10 和 RTDETRv2 为无 NMS 架构铺平了道路,而 YOLO26 在此基础上实现了性能、多功能性和生产就绪度之间的出色平衡。
评论
提出问题、分享结果,或帮助其他人。