YOLOv7 与 RTDETRv2
计算机视觉仍在快速发展,卷积神经网络(CNNs)与视觉 Transformer(ViTs)之间的竞争推动着这一进程。本文从技术角度比较两种重要架构:基于 CNN 的高优化目标检测器 YOLOv7,以及先进的实时检测 Transformer RTDETRv2。
通过分析它们在架构、性能指标和理想部署场景方面的差异,开发者在将这些视觉 AI 模型集成到生产流水线时就能做出明智的决策。
YOLOv7:免费礼包 CNN 架构#
YOLOv7 为传统 YOLO 系列引入了多项结构优化,通过一系列“可训练的免费午餐”策略,突破实时目标检测的性能极限。
主要特点:
- 作者:Chien-Yao Wang、Alexey Bochkovskiy、Hong-Yuan Mark Liao
- 机构:中央研究院信息科学研究所
- 日期: 2022-07-06
- arXiv: https://arxiv.org/abs/2207.02696
- GitHub: WongKinYiu/yolov7
架构与优势#
YOLOv7 基于扩展高效层聚合网络(E-ELAN)架构构建。这种结构设计使模型能够学习更多样化的特征,同时不破坏原有的梯度路径。此外,它还采用预先规划的重参数化卷积,在不降低准确率的情况下优化推理速度。其可训练的免费午餐策略使模型在速度与准确率之间实现出色的平衡,非常适合在服务器级 GPU 上执行实时目标检测任务。
YOLOv7 的适用范围也很广。除了标准边界框检测,该代码库还提供实例分割和姿态估计分支,展现了良好的适应能力。
局限性#
与许多早期 CNN 模型一样,YOLOv7 依靠非极大值抑制(NMS)进行后处理。NMS 会造成延迟波动,在拥挤场景中尤为明显,这可能让边缘设备难以满足严格的实时性要求。
RTDETRv2:推动实时 Transformer 发展#
RTDETRv2 基于原始 RT-DETR 框架进一步发展,进一步证明 Transformer 能够在保持高空间准确率的同时,在实时延迟方面与 YOLO 架构竞争。
主要特点:
- 作者:Wenyu Lv、Yian Zhao、Qinyao Chang、Kui Huang、Guanzhong Wang、Yi Liu
- 组织: 百度
- 日期: 2024-07-24
- arXiv: https://arxiv.org/abs/2407.17140
- GitHub: lyuwenyu/RT-DETR
架构与优势#
RTDETRv2 是视觉 Transformer 的一项重要进展。它采用灵活的查询选择流程和高效的混合编码器,快速处理多尺度特征。通过引入专为检测 Transformer(DETRs)设计的新型“免费午餐”策略,它在不增加推理成本的情况下提升了准确率。由于无需 NMS,它能提供更可预测的推理时间,有助于智慧城市应用和自动驾驶。
局限性#
尽管取得了进展,RTDETRv2 仍面临 Transformer 架构的传统难题。与 CNN 相比,它在训练和推理期间都需要显著更多的 CUDA 显存。此外,它的训练收敛时间明显更长,需要大量高质量标注数据(例如 COCO 数据集)和强大的计算资源。
性能对比#
评测这些模型时,最好综合考察准确率、原始推理速度和计算资源占用。下面的表格会直接进行比较。
| 模型 | 尺寸 (像素) | mAPval50-95 | 速度 CPU ONNX (毫秒) | 速度 T4 TensorRT10 (ms) | 参数 (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| YOLOv7l | 640 | 51.4 | - | 6.84 | 36.9 | 104.7 |
| YOLOv7x | 640 | 53.1 | - | 11.57 | 71.3 | 189.9 |
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
RTDETRv2-x 的 mAPval50-95 最高,达到 54.3%,但需要 259 billion FLOPs。相比之下,YOLOv7 架构提供了强有力的基准表现,但会增加 NMS 开销,而纯网络延迟指标并未计入这部分开销。
Ultralytics 的优势:生态系统与演进#
尽管 YOLOv7 和 RTDETRv2 功能强大,但在生产环境中部署它们往往会遇到流程上的阻碍。Ultralytics 生态系统旨在减少这类阻碍,通过统一的 API 抽象计算机视觉工作流中常见的复杂性。
灵活性与内存效率#
与需要大量 VRAM 的 Transformer 模型不同,Ultralytics YOLO 模型具有较高的内存效率。这让你可以在易于获取的硬件上快速进行模型训练。该生态系统通过单一代码库原生支持多种计算机视觉任务,包括图像分类和有向边界框(OBB)检测,灵活性是 RTDETRv2 目前所不具备的。
部署#
从研究走向生产需要可靠的部署选项。Ultralytics API 只需一次调用即可将模型导出为行业标准格式。无论你是为了跨平台兼容性选择 ONNX,还是为了最大限度发挥 GPU 加速能力选择 TensorRT,转换过程都能自动完成。
升级到 Ultralytics YOLO26#
如果你正在 YOLOv7 和 RTDETRv2 之间选择,推荐使用 Ultralytics YOLO26。YOLO26 于 2026 年 1 月发布,兼具 CNN 的速度和 Transformer 的端到端推理能力,同时解决了两类架构的许多弱点。
YOLO26 为服务器和边缘部署带来了多项创新:
- 端到端无 NMS 设计:在 YOLOv10 为 YOLO 模型引入的无 NMS 训练基础上,YOLO26 提供可选的无 NMS 检测头(
nms=False),跳过 NMS 后处理。这样既能获得 RTDETRv2 可预测的延迟,又无需承担 Transformer 的计算开销。 - MuSGD 优化器:YOLO26 受大语言模型训练技术(例如 Moonshot AI 的 Kimi K2)启发,采用 SGD 与 Muon 的混合方案。与许多 ViTs 使用的标准 AdamW 配置相比,这种方案能提高训练稳定性并加快收敛。
- ProgLoss + STAL:渐进式损失和小目标感知标签分配可提升小目标识别能力,直接与 RTDETRv2 的多尺度特征优势相抗衡,这对机器人自动化至关重要。
- 边缘优化与移除 DFL:移除分布焦点损失(DFL)后,YOLO26 精简了输出头;YOLO26n 在 CPU 上的运行速度比 YOLO11n 最高快 43%,因此 YOLO26 比大型 Transformer 模型更容易部署到边缘设备上。
使用 Ultralytics 进行训练的示例#
借助简洁的 Ultralytics Python API,只需几行代码就能训练 YOLO26s 模型:
from ultralytics import YOLO
# 加载 YOLO26 small 模型
model = YOLO("yolo26s.pt")
# 使用 COCO8 数据集训练模型
# 框架会自动管理数据增强和优化器选择
results = model.train(data="coco8.yaml", epochs=100, imgsz=640, device="0")
# 导出为 TensorRT 格式以进行部署
model.export(format="engine", dynamic=True)理想应用场景#
选择合适的架构,很大程度上取决于部署限制和硬件可用性:
适合考虑 YOLOv7 的情况:
- YOLOv7 已成为既定基线的传统研究项目。
- 原始 GPU 加速资源充足,且可以接受 NMS 延迟抖动的环境。
适合考虑 RTDETRv2 的场景:
- 需要最高 mAP 的高端服务器部署场景。
- 严格要求推理延迟可预测且无需 NMS 的场景,前提是你有足够的 VRAM 支持 Transformer 主干网络。
适合选择 Ultralytics YOLO26 的场景:
- 大多数新项目。它提供与 RTDETRv2 类似的可选无 NMS 推理,速度和准确率超过 YOLOv7,VRAM 占用更低,并全面集成到 Ultralytics Platform,用于数据集管理、训练和部署。
评论
提出问题、分享结果,或帮助其他人。