YOLOv5 与 RTDETRv2
过去几年,计算机视觉领域显著扩展,为开发者提供了多种架构来处理复杂视觉任务。最受欢迎的范式包括卷积神经网络(CNN)和检测 Transformer(DETR),两者都在最佳目标检测模型综述中有所介绍。
本指南对这两类模型中的两个代表作进行技术对比:Ultralytics YOLOv5是一款高效且广泛采用的基于 CNN 的模型,而 RTDETRv2 则是一款基于 Transformer 的实时目标检测器。
Ultralytics YOLOv5:高效性的行业标准#
自发布以来,Ultralytics YOLOv5 已成为 AI 社区的重要基石,在全球数千个商业应用和研究项目中发挥作用。它完全基于 PyTorch 框架构建,在优先提供直观开发者体验的同时,也保证了实时性能。
主要特点:
- 作者: Glenn Jocher
- 组织: Ultralytics
- 日期: 2020-06-26
- 链接: GitHub 仓库
架构与优势#
YOLOv5 采用精简的 CNN 架构,旨在最大限度地提高特征提取效率,同时将内存占用保持在极低水平。它采用 CSPDarknet 主干网络和 PANet 颈部结构,形成强大的多尺度特征融合组合。
YOLOv5 的主要优势之一是性能平衡。它在速度和准确率之间取得了出色的平衡,因此非常适合在资源受限的硬件上进行模型部署,例如 NVIDIA Jetson设备和智能手机。
YOLOv5 还具有广泛的通用性。与严格局限于边界框预测的模型不同,原始 YOLOv5 代码仓库支持实例分割和图像分类,为各种视觉任务提供统一框架。它的训练效率也很高,与基于 Transformer 的架构相比,训练期间所需的 CUDA 内存显著更少。
缺点#
作为基于锚框的检测器,YOLOv5 在后处理中依赖非极大值抑制(NMS)来移除重复的边界框。虽然 NMS 在 Ultralytics 框架中经过高度优化,但在专用边缘 NPU 上偶尔仍会造成延迟瓶颈。
RTDETRv2:百度的实时 Transformer#
RTDETRv2(实时检测 Transformer v2)将 Transformer 架构应用于实时目标检测,旨在解决标准 DETR 长期存在的计算效率低下问题。
主要特点:
- 作者: Wenyu Lv、Yian Zhao、Qinyao Chang、Kui Huang、Guanzhong Wang 和 Yi Liu
- 组织: 百度
- 日期: 2024-07-24
- 链接:arXiv 论文、GitHub 仓库
架构与优势#
RTDETRv2 在前代基础上采用混合编码器和灵活的解码器设计来处理图像。Transformer 的自注意力机制让模型能够全局理解图像上下文,因此在目标严重遮挡的复杂场景中也能表现出色。
RTDETRv2 的一个显著特点是其端到端无 NMS 设计。它直接预测目标查询,无需锚框或 NMS 后处理,从而简化了推理流水线。该架构在 COCO等基准数据集上取得了较高的 mAP(平均精度均值)。
缺点#
尽管 RTDETRv2 支持实时处理,但与 YOLO 模型相比,它的内存需求明显更高。Transformer 中的注意力机制会随序列长度呈平方级增长,在内存有限的 GPU 上进行高分辨率训练时,可能导致内存溢出错误。此外,它不具备 Ultralytics 生态系统开箱即用的通用性,主要专注于二维目标检测,原生不支持分割或姿态估计。
性能对比表#
下表对比了两种架构的性能指标。以粗体突出显示的数值,代表在所测试的不同规模中效率最高或性能最好的指标。
| 模型 | 尺寸 (像素) | mAPval50-95 | 速度 CPU ONNX (毫秒) | 速度 T4 TensorRT10 (ms) | 参数 (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| YOLOv5n | 640 | 28.0 | - | 1.12 | 1.9 | 4.5 |
| YOLOv5s | 640 | 37.4 | - | 1.92 | 7.2 | 16.5 |
| YOLOv5m | 640 | 45.4 | - | 4.03 | 21.2 | 49.0 |
| YOLOv5l | 640 | 49.0 | - | 6.61 | 46.5 | 109.1 |
| YOLOv5x | 640 | 50.7 | - | 11.89 | 86.7 | 205.7 |
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
RTDETRv2-x 的绝对 mAP 最高,但所需参数量约为 YOLOv5n 的 40 倍。对于在受限硬件上运行的高速应用,较小的 Ultralytics 模型计算成本要低得多。
Ultralytics 生态系统的优势#
将模型从研究笔记本迁移到生产环境时,模型周边的软件与神经网络架构同样重要。Ultralytics 提供的维护完善的生态系统可加快整个开发周期。
易用性#
Ultralytics 模型注重简化用户体验。无论你是想训练自定义模型、运行验证,还是导出为特定硬件格式(如 TensorRT 或 ONNX),Ultralytics Python API 都能让你只用几行代码轻松实现。
下面是一个实用代码示例,展示如何轻松使用 Ultralytics 模型进行训练和推理:
from ultralytics import YOLO
# 初始化模型(自动下载权重)
model = YOLO("yolov5su.pt") # YOLOv5u:适用于 ultralytics 软件包的无锚框 YOLOv5 权重
# 使用 COCO8 数据集训练模型
results = model.train(data="coco8.yaml", epochs=50, imgsz=640, device="cpu")
# 对在线图像执行推理
inference_results = model.predict("https://ultralytics.com/images/bus.jpg")
# 显示带有边界框的结果图像
inference_results[0].show()这个简单统一的 API 原生支持与实验跟踪工具集成,例如 Weights & Biases 和 Comet,让开发者无需编写样板代码即可记录指标。
用例与建议#
选择 YOLOv5 还是 RT-DETR,取决于你的具体项目需求、部署限制和生态系统偏好。
何时选择 YOLOv5#
YOLOv5 适合以下场景:
- 经过验证的生产系统: 对于重视 YOLOv5 长期稳定记录、详尽文档和庞大社区的现有部署场景。
- 资源受限的训练: GPU 资源有限的环境中,YOLOv5 高效的训练流水线和较低的内存需求具有优势。
- 广泛支持导出格式: 需要跨多种格式部署的项目,包括 ONNX、TensorRT、CoreML和 LiteRT。
何时选择 RT-DETR#
以下情况推荐使用 RT-DETR:
- 基于 Transformer 的检测研究:探索注意力机制和 Transformer 架构,以实现无需 NMS 的端到端目标检测。
- 对延迟要求灵活的高精度场景:检测准确率至关重要,且可以接受略高推理延迟的应用。
- 大型目标检测:场景中的目标以中大型为主,此时 Transformer 的全局注意力机制能够发挥天然优势。
何时选择 Ultralytics (YOLO26)#
对于大多数新项目,Ultralytics YOLO26在性能与开发体验之间实现了最佳平衡:
- 无 NMS 的边缘部署:适用于要求推理延迟稳定且较低,同时不希望增加非极大值抑制后处理复杂度的应用。
- 仅使用 CPU 的环境:没有专用 GPU 加速的设备。在这类设备上,YOLO26n 的 CPU 运行速度最高可比 YOLO11n 快 43%。
- 小目标检测:具有挑战性的场景,例如无人机航拍图像或 IoT 传感器分析。在这些场景中,ProgLoss 和 STAL 可以提升微小目标的检测精度。
展望未来:YOLO11 和 YOLO26#
如果你今天要启动新的视觉项目,可以考虑最新一代的 Ultralytics 模型。
虽然 YOLOv5 依然可靠,但 YOLO11 精度更高,支持的任务也更多,包括有向边界框(OBB)检测。
YOLO26 更进一步,融合了两种方案的优势。它提供可选的端到端无 NMS 设计(nms=False,由 YOLOv10 引入 YOLO 模型),省去 NMS 后处理步骤,同时保留 CNN 的高效性。YOLO26 还引入了受大语言模型训练创新启发的 MuSGD 优化器,以加快收敛。通过移除 DFL(移除 Distribution Focal Loss,以简化导出并提升对边缘设备和低功耗设备的兼容性),YOLO26n 的 CPU 推理速度最高可比 YOLO11n 快 43%。这使 YOLO26 成为边缘 AI 的理想选择。此外,ProgLoss + STAL(渐进式损失与小目标感知标签分配)显著提升了小目标识别能力,这对物联网、机器人和航拍图像等场景至关重要。
结论#
选择 YOLOv5 还是 RTDETRv2,很大程度上取决于你的部署限制。RTDETRv2 利用 Transformer 注意力机制实现较高的 mAP,但代价是更高的内存占用和计算开销。
相比之下,Ultralytics YOLOv5 是经过验证、高度优化且用途广泛的解决方案,可从云服务器到边缘设备高效运行。对于希望在提高精度的同时使用成熟部署工具的团队,升级到 Ultralytics 生态系统中的 YOLO26,是现代视觉 AI 应用的推荐方案。
评论
提出问题、分享结果,或帮助其他人。