开始使用

YOLOv5 与 RTDETRv2

过去几年,计算机视觉领域显著扩展,为开发者提供了多种架构来处理复杂视觉任务。最受欢迎的范式包括卷积神经网络(CNN)和检测 Transformer(DETR),两者都在最佳目标检测模型综述中有所介绍。

本指南对这两类模型中的两个代表作进行技术对比:Ultralytics YOLOv5是一款高效且广泛采用的基于 CNN 的模型,而 RTDETRv2 则是一款基于 Transformer 的实时目标检测器。

Ultralytics YOLOv5:高效性的行业标准#

自发布以来,Ultralytics YOLOv5 已成为 AI 社区的重要基石,在全球数千个商业应用和研究项目中发挥作用。它完全基于 PyTorch 框架构建,在优先提供直观开发者体验的同时,也保证了实时性能。

主要特点:

架构与优势#

YOLOv5 采用精简的 CNN 架构,旨在最大限度地提高特征提取效率,同时将内存占用保持在极低水平。它采用 CSPDarknet 主干网络和 PANet 颈部结构,形成强大的多尺度特征融合组合。

YOLOv5 的主要优势之一是性能平衡。它在速度和准确率之间取得了出色的平衡,因此非常适合在资源受限的硬件上进行模型部署,例如 NVIDIA Jetson设备和智能手机。

YOLOv5 还具有广泛的通用性。与严格局限于边界框预测的模型不同,原始 YOLOv5 代码仓库支持实例分割和图像分类,为各种视觉任务提供统一框架。它的训练效率也很高,与基于 Transformer 的架构相比,训练期间所需的 CUDA 内存显著更少。

缺点#

作为基于锚框的检测器,YOLOv5 在后处理中依赖非极大值抑制(NMS)来移除重复的边界框。虽然 NMS 在 Ultralytics 框架中经过高度优化,但在专用边缘 NPU 上偶尔仍会造成延迟瓶颈。

RTDETRv2:百度的实时 Transformer#

RTDETRv2(实时检测 Transformer v2)将 Transformer 架构应用于实时目标检测,旨在解决标准 DETR 长期存在的计算效率低下问题。

主要特点:

  • 作者: Wenyu Lv、Yian Zhao、Qinyao Chang、Kui Huang、Guanzhong Wang 和 Yi Liu
  • 组织: 百度
  • 日期: 2024-07-24
  • 链接:arXiv 论文、GitHub 仓库

架构与优势#

RTDETRv2 在前代基础上采用混合编码器和灵活的解码器设计来处理图像。Transformer 的自注意力机制让模型能够全局理解图像上下文,因此在目标严重遮挡的复杂场景中也能表现出色。

RTDETRv2 的一个显著特点是其端到端无 NMS 设计。它直接预测目标查询,无需锚框或 NMS 后处理,从而简化了推理流水线。该架构在 COCO等基准数据集上取得了较高的 mAP(平均精度均值)。

缺点#

尽管 RTDETRv2 支持实时处理,但与 YOLO 模型相比,它的内存需求明显更高。Transformer 中的注意力机制会随序列长度呈平方级增长,在内存有限的 GPU 上进行高分辨率训练时,可能导致内存溢出错误。此外,它不具备 Ultralytics 生态系统开箱即用的通用性,主要专注于二维目标检测,原生不支持分割或姿态估计。

进一步了解 RTDETRv2

性能对比表#

下表对比了两种架构的性能指标。以粗体突出显示的数值,代表在所测试的不同规模中效率最高或性能最好的指标。

模型尺寸
(像素)
mAPval50-95速度
CPU ONNX
(毫秒)
速度
T4 TensorRT10
(ms)
参数
(M)
FLOPs
(B)
YOLOv5n64028.0-1.121.94.5
YOLOv5s64037.4-1.927.216.5
YOLOv5m64045.4-4.0321.249.0
YOLOv5l64049.0-6.6146.5109.1
YOLOv5x64050.7-11.8986.7205.7
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259
性能解读

RTDETRv2-x 的绝对 mAP 最高,但所需参数量约为 YOLOv5n 的 40 倍。对于在受限硬件上运行的高速应用,较小的 Ultralytics 模型计算成本要低得多。

Ultralytics 生态系统的优势#

将模型从研究笔记本迁移到生产环境时,模型周边的软件与神经网络架构同样重要。Ultralytics 提供的维护完善的生态系统可加快整个开发周期。

易用性#

Ultralytics 模型注重简化用户体验。无论你是想训练自定义模型、运行验证,还是导出为特定硬件格式(如 TensorRT 或 ONNX),Ultralytics Python API 都能让你只用几行代码轻松实现。

下面是一个实用代码示例,展示如何轻松使用 Ultralytics 模型进行训练和推理:

from ultralytics import YOLO

# 初始化模型(自动下载权重)
model = YOLO("yolov5su.pt")  # YOLOv5u:适用于 ultralytics 软件包的无锚框 YOLOv5 权重

# 使用 COCO8 数据集训练模型
results = model.train(data="coco8.yaml", epochs=50, imgsz=640, device="cpu")

# 对在线图像执行推理
inference_results = model.predict("https://ultralytics.com/images/bus.jpg")

# 显示带有边界框的结果图像
inference_results[0].show()

这个简单统一的 API 原生支持与实验跟踪工具集成,例如 Weights & Biases 和 Comet,让开发者无需编写样板代码即可记录指标。

用例与建议#

选择 YOLOv5 还是 RT-DETR,取决于你的具体项目需求、部署限制和生态系统偏好。

何时选择 YOLOv5#

YOLOv5 适合以下场景:

  • 经过验证的生产系统: 对于重视 YOLOv5 长期稳定记录、详尽文档和庞大社区的现有部署场景。
  • 资源受限的训练: GPU 资源有限的环境中,YOLOv5 高效的训练流水线和较低的内存需求具有优势。
  • 广泛支持导出格式: 需要跨多种格式部署的项目,包括 ONNX、TensorRT、CoreML和 LiteRT。

何时选择 RT-DETR#

以下情况推荐使用 RT-DETR:

  • 基于 Transformer 的检测研究:探索注意力机制和 Transformer 架构,以实现无需 NMS 的端到端目标检测。
  • 对延迟要求灵活的高精度场景:检测准确率至关重要,且可以接受略高推理延迟的应用。
  • 大型目标检测:场景中的目标以中大型为主,此时 Transformer 的全局注意力机制能够发挥天然优势。

何时选择 Ultralytics (YOLO26)#

对于大多数新项目,Ultralytics YOLO26在性能与开发体验之间实现了最佳平衡:

  • 无 NMS 的边缘部署:适用于要求推理延迟稳定且较低,同时不希望增加非极大值抑制后处理复杂度的应用。
  • 仅使用 CPU 的环境:没有专用 GPU 加速的设备。在这类设备上,YOLO26n 的 CPU 运行速度最高可比 YOLO11n 快 43%。
  • 小目标检测:具有挑战性的场景,例如无人机航拍图像或 IoT 传感器分析。在这些场景中,ProgLoss 和 STAL 可以提升微小目标的检测精度。

展望未来:YOLO11 和 YOLO26#

如果你今天要启动新的视觉项目,可以考虑最新一代的 Ultralytics 模型。

虽然 YOLOv5 依然可靠,但 YOLO11 精度更高,支持的任务也更多,包括有向边界框(OBB)检测。

YOLO26 更进一步,融合了两种方案的优势。它提供可选的端到端无 NMS 设计(nms=False,由 YOLOv10 引入 YOLO 模型),省去 NMS 后处理步骤,同时保留 CNN 的高效性。YOLO26 还引入了受大语言模型训练创新启发的 MuSGD 优化器,以加快收敛。通过移除 DFL(移除 Distribution Focal Loss,以简化导出并提升对边缘设备和低功耗设备的兼容性),YOLO26n 的 CPU 推理速度最高可比 YOLO11n 快 43%。这使 YOLO26 成为边缘 AI 的理想选择。此外,ProgLoss + STAL(渐进式损失与小目标感知标签分配)显著提升了小目标识别能力,这对物联网、机器人和航拍图像等场景至关重要。

结论#

选择 YOLOv5 还是 RTDETRv2,很大程度上取决于你的部署限制。RTDETRv2 利用 Transformer 注意力机制实现较高的 mAP,但代价是更高的内存占用和计算开销。

相比之下,Ultralytics YOLOv5 是经过验证、高度优化且用途广泛的解决方案,可从云服务器到边缘设备高效运行。对于希望在提高精度的同时使用成熟部署工具的团队,升级到 Ultralytics 生态系统中的 YOLO26,是现代视觉 AI 应用的推荐方案。

评论

提出问题、分享结果,或帮助其他人。