开始使用

RTDETRv2 与 YOLOv8 对比

用于目标检测的计算机视觉模型主要分为两类:卷积神经网络(CNN)和较新的基于 Transformer 的架构。本文从技术角度比较实时检测 Transformer RTDETRv2 与应用最广泛的 CNN 模型之一 Ultralytics YOLOv8。两个模型都功能强大,但架构不同,因此在训练、部署限制和性能方面也存在明显差异。

模型概览:RTDETRv2#

RTDETRv2(实时检测 Transformer 第 2 版)在原始 RT-DETR的基础上优化了 Transformer 架构,以实现实时推理。

关键技术细节:

  • 作者: Wenyu Lv、Yian Zhao、Qinyao Chang、Kui Huang、Guanzhong Wang 和 Yi Liu
  • 组织: 百度
  • 日期: 2024-07-24
  • 链接:arXiv 论文 | GitHub 仓库

架构与优势#

RTDETRv2 采用混合架构,将 CNN 主干网络与 Transformer 编码器—解码器结合起来。这样模型可以一次性考虑整幅图像,有助于处理目标相互重叠的复杂场景。它的显著特点是原生端到端设计,可跳过非极大值抑制(NMS)后处理。这降低了检测流程最后阶段的算法复杂度。它的多尺度特征也有助于检测大型结构和背景中的小目标。

缺点#

Transformer 架构虽然具有强大的上下文理解能力,但 RTDETRv2 等基于 Transformer 的架构在训练时计算开销很大。它们需要更多 CUDA 内存,因此难以在消费级硬件上训练。在官方代码库中配置自定义数据集和调整训练超参数,通常也需要专业知识,因为该代码库缺少适合新手的软件封装。由于注意力层计算开销较大,将模型部署到较旧的 Raspberry Pi 硬件等低功耗边缘设备上也可能颇具挑战。

进一步了解 RTDETRv2

模型概览:YOLOv8#

自发布以来,Ultralytics YOLOv8已成为生产级计算机视觉领域广泛采用的标准,在提供简单开发体验的同时实现了出色的准确率。

关键技术细节:

架构与优势#

YOLOv8 使用无锚框CNN 架构和解耦检测头,相比早期 YOLO 版本提升了目标定位和分类准确率。它的主要优势是效率和多功能性。与视觉 Transformer 相比,该架构训练时需要的内存更少,因此实践者可以在标准 GPU 上使用更大的批次大小。Ultralytics 生态系统还提供简化的工作流:统一的 Python API 只需几行代码即可完成超参数调优、训练、验证和导出。

缺点#

YOLOv8 在后处理阶段确实依赖传统 NMS。虽然 Ultralytics 引擎会在后台高效处理这一过程,但与原生无 NMS 架构相比,它在技术上仍会引入少许后处理延迟。

性能与指标对比#

下表比较了 COCO 验证集上的准确率(mAP)、CPU 和 T4 TensorRT 速度、参数量和 FLOPs。这两个模型系列各有侧重,优先优化部署流程中的不同环节。

模型尺寸
(像素)
mAPval50-95速度
CPU ONNX
(毫秒)
速度
T4 TensorRT10
(ms)
参数
(M)
FLOPs
(B)
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259
YOLOv8n64037.380.41.473.28.7
YOLOv8s64044.9128.42.6611.228.6
YOLOv8m64050.2234.75.8625.978.9
YOLOv8l64052.9375.29.0643.7165.1
YOLOv8x64053.9479.114.3768.2257.8
解读指标

RTDETRv2-x 的峰值 mAP(54.3)略高于 YOLOv8x(53.9),并且在每个可比尺寸下,RTDETRv2 的准确率都更高。小尺寸模型中,YOLOv8 速度更快:YOLOv8s 的 TensorRT 运行速度几乎是 RTDETRv2-s 的两倍(2.66 ms 对 5.03 ms),参数量也接近一半,但 mAP 低 3.2 个点。在大尺寸模型中,YOLOv8l 和 RTDETRv2-l 的速度和尺寸相近。此处只有 YOLOv8 提供了 CPU ONNX 速度数据。

内存需求与训练效率#

训练成本对独立开发者和企业团队都很重要。与 Transformer 架构相比,Ultralytics YOLO 模型在训练过程中通常需要更少的 CUDA 内存。标准 RTDETRv2 模型可能会让消费级 GPU 成为瓶颈,而 YOLOv8 则可以在 NVIDIA RTX 4070 等硬件上稳定训练。

生态系统、API 与易用性#

配套软件框架也是一个关键区别。Ultralytics 生态系统承担了许多工程工作,而持续开发、详尽文档以及 Discord社区支持有助于项目持续推进。

YOLOv8 不仅支持目标检测,还原生支持实例分割、图像分类、姿态估计和有向边界框(OBB)。RTDETRv2 则只专注于检测。

代码示例:统一而简洁#

Ultralytics Python API 使用相同的接口运行这两类模型。

from ultralytics import RTDETR, YOLO

# 加载 RT-DETR 模型和 YOLOv8 模型
model_transformer = RTDETR("rtdetr-l.pt")
model_cnn = YOLO("yolov8l.pt")

# 使用完全相同的 API 对示例图像进行预测
results_transformer = model_transformer("https://ultralytics.com/images/bus.jpg")
results_cnn = model_cnn("https://ultralytics.com/images/bus.jpg")

# 将 YOLOv8 导出为 ONNX,以便快速部署到边缘设备
model_cnn.export(format="onnx")

训练完成后,只需一行代码即可将 YOLOv8 导出为 ONNX、TensorRT和 OpenVINO格式,从而在不同硬件后端上高效推理。

用例与建议#

在 RT-DETR 和 YOLOv8 之间做选择,取决于你的具体项目需求、部署限制和对生态系统的偏好。

何时选择 RT-DETR#

以下场景适合选择 RT-DETR:

  • 基于 Transformer 的检测研究:探索注意力机制和 Transformer 架构,以实现无需 NMS 的端到端目标检测。
  • 对延迟要求灵活的高精度场景:检测准确率至关重要,且可以接受略高推理延迟的应用。
  • 大型目标检测:场景中的目标以中大型为主,此时 Transformer 的全局注意力机制能够发挥天然优势。

何时选择 YOLOv8#

以下情况推荐使用 YOLOv8:

  • 多任务灵活部署:项目需要在 Ultralytics 生态系统中使用经过验证的模型来完成检测、分割、分类和姿态估计。
  • 成熟的生产系统: 已经基于 YOLOv8 架构构建、并拥有稳定且经过充分测试的部署流水线的现有生产环境。
  • 广泛的社区与生态系统支持: 能够受益于 YOLOv8 丰富教程、第三方集成和活跃社区资源的应用。

何时选择 Ultralytics (YOLO26)#

对于大多数新项目,Ultralytics YOLO26在性能与开发体验之间实现了最佳平衡:

  • 无 NMS 的边缘部署:适用于要求推理延迟稳定且较低,同时不希望增加非极大值抑制后处理复杂度的应用。
  • 仅使用 CPU 的环境: 没有专用 GPU 加速的设备中,YOLO26n 的 CPU 推理速度最高比 YOLO11n 快 43%,优势显著。
  • 小目标检测: 在无人机航拍影像等具有挑战性的场景或物联网传感器分析中,ProgLoss 和 STAL 能提升小目标检测准确率。

展望未来:YOLO26 的优势#

YOLOv8 仍是一款里程碑式模型,但计算机视觉领域发展迅速。对于 2026 年启动新项目的团队,推荐将 Ultralytics YOLO26 作为继任模型。

如果你看重 RTDETRv2 的无 NMS 设计,YOLO26 提供可选的端到端无 NMS 设计(nms=False),将 Transformer 的后处理简洁性与 CNN 的速度结合起来。YOLO26 还采用 MuSGD 优化器,将大语言模型(LLM)训练技术引入视觉模型,从而提升训练稳定性并加快收敛。移除分布焦点损失(DFL)后,模型导出更简单,并且更兼容边缘和低功耗设备;YOLO26n 的 CPU 推理速度最高比 YOLO11n 快 43%。此外,ProgLoss + STAL(渐进式损失和小目标感知标签分配)有助于更好地检测小目标,因此 YOLO26 是从 YOLOv8 和 RTDETRv2 升级的推荐选择。

如需了解其他模型,请查看 YOLO11,或阅读 YOLOv10 与 YOLOv8 对比的详细分析,了解 YOLO 系列中无 NMS 架构的发展。

评论1

提出问题、分享结果,或帮助其他人。

  1. CathyFisherGitHub(已编辑)

    Excellent technical comparison! RTDETRv2’s transformer-based architecture brings impressive accuracy and end-to-end detection without the need for NMS, which is quite innovative. However, this YOLOv8 comparison shows that v8 still excels in real-time performance, lighter deployment, and ease of customization. It’s clear that RTDETRv2 is pushing boundaries, but YOLOv8 remains a go-to for many practical applications due to its balance of speed and flexibility.