RTDETRv2 与 YOLOv5
计算机视觉的发展很大程度上受到平衡准确率与实时推理速度这一需求的推动。在比较 RTDETRv2 和 Ultralytics YOLOv5 时,开发者需要权衡 Transformer 架构的全局上下文建模能力,以及卷积神经网络 (CNN) 经过优化、经生产验证的高效性。
本指南比较这两种架构,介绍它们的性能指标、训练方法、内存需求和理想部署场景,帮助你根据具体用例选择最佳目标检测模型。
RTDETRv2:实时检测的 Transformer 方案#
RTDETRv2 在原始实时检测 Transformer (RT-DETR) 的基础上,引入了一系列“免费赠品包”(bag-of-freebies),在不牺牲推理延迟的前提下改进基础架构。
- 作者: Wenyu Lv、Yian Zhao、Qinyao Chang、Kui Huang、Guanzhong Wang 和 Yi Liu
- 组织: 百度
- 日期: 2024-07-24
- 链接:arXiv 论文、GitHub 仓库
架构与能力#
RTDETRv2 使用 CNN-Transformer 混合架构。CNN 主干网络提取细粒度视觉特征,Transformer 编码器-解码器层则处理整个特征图以捕捉全局上下文。RTDETRv2 的一大特点是端到端设计,无需进行非极大值抑制 (NMS)后处理。
RTDETRv2 的准确率很高,尤其适用于目标重叠的复杂密集场景,但也有取舍。Transformer 固有的注意力机制在训练时比标准 CNN 需要更多 CUDA 显存。它在 NVIDIA A100 或 T4 等 GPU 上表现良好,但在标准 CPU 和资源受限的边缘 AI 设备上明显更慢。
Ultralytics YOLOv5:高效性的行业标准#
Ultralytics YOLOv5 发布时,通过直观、易用的框架,让全球开发者都能使用高性能计算机视觉技术。
生态系统与性能平衡#
YOLOv5 完全基于 PyTorch 框架构建,并采用高效的 CNN 架构。它从设计之初就注重易用性,提供简单的 API 和详尽的文档。
YOLOv5 的主要优势是用途广泛且内存需求低。训练 YOLOv5 模型所需的显存远少于基于 Transformer 的模型,因此硬件预算有限的研究人员和工程师也能使用。RTDETRv2 专注于边界框检测,而 YOLOv5 代码库还支持实例分割(在 YOLOv5 v7.0 中加入)和图像分类。
你可以直接在 Ultralytics Platform 上训练、验证和部署 YOLOv5,该平台提供云端训练和无代码部署功能。
性能与指标对比#
标准 COCO 数据集上的性能对比清楚地展示了这些模型在准确率与资源消耗之间的不同取舍。
| 模型 | 尺寸 (像素) | mAPval50-95 | 速度 CPU ONNX (毫秒) | 速度 T4 TensorRT10 (ms) | 参数 (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
| YOLOv5n | 640 | 28.0 | - | 1.12 | 1.9 | 4.5 |
| YOLOv5s | 640 | 37.4 | - | 1.92 | 7.2 | 16.5 |
| YOLOv5m | 640 | 45.4 | - | 4.03 | 21.2 | 49.0 |
| YOLOv5l | 640 | 49.0 | - | 6.61 | 46.5 | 109.1 |
| YOLOv5x | 640 | 50.7 | - | 11.89 | 86.7 | 205.7 |
权衡分析#
RTDETRv2-x 的平均精度均值 (mAP)最高可达 54.3%,比 YOLOv5x(50.7%)高 3.6 个百分点。YOLOv5x 的 TensorRT 延迟更低(11.89 ms 对 15.03 ms),FLOPs 也更少(205.7B 对 259B),但参数更多(86.7M 对 76M)。在延迟相近时,RTDETRv2 的准确率更高:RTDETRv2-s 在 5.03 ms 时达到 48.1%,而 YOLOv5m 在 4.03 ms 时达到 45.4%。对于低功耗边缘部署,YOLOv5n 有 1.9M 个参数,运行时间为 1.12 ms;RTDETRv2 没有提供这一尺寸级别的模型。
训练效率与代码简洁性#
Ultralytics 生态系统的一大优势是统一 API。如果你为计算密集型任务选择 RT-DETR 的 Transformer 架构,仍然可以完全通过 Ultralytics Python 包使用它,并且只需修改一行代码即可切换模型。
from ultralytics import RTDETR, YOLO
# 加载 Ultralytics YOLOv5 small 模型
model_yolo = YOLO("yolov5su.pt") # YOLOv5u:适用于 ultralytics 软件包的无锚框 YOLOv5 权重
# 通过 Ultralytics 加载 RT-DETR large 模型
model_rtdetr = RTDETR("rtdetr-l.pt")
# 使用你的自定义数据训练 YOLOv5
model_yolo.train(data="coco8.yaml", epochs=100, imgsz=640)
# 使用两个模型进行推理
results_yolo = model_yolo("https://ultralytics.com/images/bus.jpg")
results_rtdetr = model_rtdetr("https://ultralytics.com/images/bus.jpg")
results_yolo[0].show()借助 Ultralytics 库,开发者可以直接使用完善的生态系统,其中包括实验跟踪集成(例如 Weights & Biases 和 Comet),还可以一键导出为 ONNX 和 OpenVINO 等部署格式。
实际应用与理想用例#
RTDETRv2 的优势场景#
RTDETRv2 最适合硬件不受限制且以准确率为首要目标的环境。
- 服务器端医学影像:检测高分辨率 X 光影像中的细微异常。
- 卫星影像:在强大的云集群上处理航空监控任务,跟踪密集且相互重叠的目标。
YOLOv5 的优势所在#
YOLOv5 是适用于各种硬件的实用型真实场景部署选择。
- 边缘 AI 设备:在 Raspberry Pi 或 NVIDIA Jetson 设备上部署安全警报系统,这些设备的内存资源非常有限。
- 移动应用:通过 CoreML 或 LiteRT,直接在智能手机上运行快速实时的边界框和分割推理。
- 高速工业制造:在快速生产线上检测零件;在这类场景中,毫秒级延迟对生产运营至关重要。
YOLOv5 仍被广泛使用,但现在已有更新的 Ultralytics 模型。如果你在 2026 年为新项目比较模型,可以考虑推荐模型 Ultralytics YOLO26。YOLO26 通过可选的一对一检测头(nms=False)提供端到端无 NMS 设计,兼具类似 Transformer 的特性和 CNN 的速度;它使用 MuSGD 优化器实现稳定训练,而且 YOLO26n 的 CPU 推理速度比 YOLO11n 最快可提升 43%。此外,对于需要姿态估计和 OBB 检测的多功能部署,YOLO11仍然是维护良好的选择。
归根结底,RTDETRv2 虽然通过 Transformer 层提高了准确率上限,但 Ultralytics YOLO 框架在速度、低内存需求和开发者体验之间实现了良好平衡,能够缩短从原型到生产的周期。
评论
提出问题、分享结果,或帮助其他人。