RTDETRv2 与 YOLOv8 对比
用于目标检测的计算机视觉模型主要分为两类:卷积神经网络(CNN)和较新的基于 Transformer 的架构。本文从技术角度比较实时检测 Transformer RTDETRv2 与应用最广泛的 CNN 模型之一 Ultralytics YOLOv8。两个模型都功能强大,但架构不同,因此在训练、部署限制和性能方面也存在明显差异。
模型概览:RTDETRv2#
RTDETRv2(实时检测 Transformer 第 2 版)在原始 RT-DETR的基础上优化了 Transformer 架构,以实现实时推理。
关键技术细节:
- 作者: Wenyu Lv、Yian Zhao、Qinyao Chang、Kui Huang、Guanzhong Wang 和 Yi Liu
- 组织: 百度
- 日期: 2024-07-24
- 链接:arXiv 论文 | GitHub 仓库
架构与优势#
RTDETRv2 采用混合架构,将 CNN 主干网络与 Transformer 编码器—解码器结合起来。这样模型可以一次性考虑整幅图像,有助于处理目标相互重叠的复杂场景。它的显著特点是原生端到端设计,可跳过非极大值抑制(NMS)后处理。这降低了检测流程最后阶段的算法复杂度。它的多尺度特征也有助于检测大型结构和背景中的小目标。
缺点#
Transformer 架构虽然具有强大的上下文理解能力,但 RTDETRv2 等基于 Transformer 的架构在训练时计算开销很大。它们需要更多 CUDA 内存,因此难以在消费级硬件上训练。在官方代码库中配置自定义数据集和调整训练超参数,通常也需要专业知识,因为该代码库缺少适合新手的软件封装。由于注意力层计算开销较大,将模型部署到较旧的 Raspberry Pi 硬件等低功耗边缘设备上也可能颇具挑战。
模型概览:YOLOv8#
自发布以来,Ultralytics YOLOv8已成为生产级计算机视觉领域广泛采用的标准,在提供简单开发体验的同时实现了出色的准确率。
关键技术细节:
- 作者: Glenn Jocher、Ayush Chaurasia 和 Jing Qiu
- 组织: Ultralytics
- 日期:2023 年 1 月 10 日
- 链接:官方文档 | GitHub 仓库
架构与优势#
YOLOv8 使用无锚框CNN 架构和解耦检测头,相比早期 YOLO 版本提升了目标定位和分类准确率。它的主要优势是效率和多功能性。与视觉 Transformer 相比,该架构训练时需要的内存更少,因此实践者可以在标准 GPU 上使用更大的批次大小。Ultralytics 生态系统还提供简化的工作流:统一的 Python API 只需几行代码即可完成超参数调优、训练、验证和导出。
缺点#
YOLOv8 在后处理阶段确实依赖传统 NMS。虽然 Ultralytics 引擎会在后台高效处理这一过程,但与原生无 NMS 架构相比,它在技术上仍会引入少许后处理延迟。
性能与指标对比#
下表比较了 COCO 验证集上的准确率(mAP)、CPU 和 T4 TensorRT 速度、参数量和 FLOPs。这两个模型系列各有侧重,优先优化部署流程中的不同环节。
| 模型 | 尺寸 (像素) | mAPval50-95 | 速度 CPU ONNX (毫秒) | 速度 T4 TensorRT10 (ms) | 参数 (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
| YOLOv8n | 640 | 37.3 | 80.4 | 1.47 | 3.2 | 8.7 |
| YOLOv8s | 640 | 44.9 | 128.4 | 2.66 | 11.2 | 28.6 |
| YOLOv8m | 640 | 50.2 | 234.7 | 5.86 | 25.9 | 78.9 |
| YOLOv8l | 640 | 52.9 | 375.2 | 9.06 | 43.7 | 165.1 |
| YOLOv8x | 640 | 53.9 | 479.1 | 14.37 | 68.2 | 257.8 |
RTDETRv2-x 的峰值 mAP(54.3)略高于 YOLOv8x(53.9),并且在每个可比尺寸下,RTDETRv2 的准确率都更高。小尺寸模型中,YOLOv8 速度更快:YOLOv8s 的 TensorRT 运行速度几乎是 RTDETRv2-s 的两倍(2.66 ms 对 5.03 ms),参数量也接近一半,但 mAP 低 3.2 个点。在大尺寸模型中,YOLOv8l 和 RTDETRv2-l 的速度和尺寸相近。此处只有 YOLOv8 提供了 CPU ONNX 速度数据。
内存需求与训练效率#
训练成本对独立开发者和企业团队都很重要。与 Transformer 架构相比,Ultralytics YOLO 模型在训练过程中通常需要更少的 CUDA 内存。标准 RTDETRv2 模型可能会让消费级 GPU 成为瓶颈,而 YOLOv8 则可以在 NVIDIA RTX 4070 等硬件上稳定训练。
生态系统、API 与易用性#
配套软件框架也是一个关键区别。Ultralytics 生态系统承担了许多工程工作,而持续开发、详尽文档以及 Discord社区支持有助于项目持续推进。
YOLOv8 不仅支持目标检测,还原生支持实例分割、图像分类、姿态估计和有向边界框(OBB)。RTDETRv2 则只专注于检测。
代码示例:统一而简洁#
Ultralytics Python API 使用相同的接口运行这两类模型。
from ultralytics import RTDETR, YOLO
# 加载 RT-DETR 模型和 YOLOv8 模型
model_transformer = RTDETR("rtdetr-l.pt")
model_cnn = YOLO("yolov8l.pt")
# 使用完全相同的 API 对示例图像进行预测
results_transformer = model_transformer("https://ultralytics.com/images/bus.jpg")
results_cnn = model_cnn("https://ultralytics.com/images/bus.jpg")
# 将 YOLOv8 导出为 ONNX,以便快速部署到边缘设备
model_cnn.export(format="onnx")训练完成后,只需一行代码即可将 YOLOv8 导出为 ONNX、TensorRT和 OpenVINO格式,从而在不同硬件后端上高效推理。
用例与建议#
在 RT-DETR 和 YOLOv8 之间做选择,取决于你的具体项目需求、部署限制和对生态系统的偏好。
何时选择 RT-DETR#
以下场景适合选择 RT-DETR:
- 基于 Transformer 的检测研究:探索注意力机制和 Transformer 架构,以实现无需 NMS 的端到端目标检测。
- 对延迟要求灵活的高精度场景:检测准确率至关重要,且可以接受略高推理延迟的应用。
- 大型目标检测:场景中的目标以中大型为主,此时 Transformer 的全局注意力机制能够发挥天然优势。
何时选择 YOLOv8#
以下情况推荐使用 YOLOv8:
- 多任务灵活部署:项目需要在 Ultralytics 生态系统中使用经过验证的模型来完成检测、分割、分类和姿态估计。
- 成熟的生产系统: 已经基于 YOLOv8 架构构建、并拥有稳定且经过充分测试的部署流水线的现有生产环境。
- 广泛的社区与生态系统支持: 能够受益于 YOLOv8 丰富教程、第三方集成和活跃社区资源的应用。
何时选择 Ultralytics (YOLO26)#
对于大多数新项目,Ultralytics YOLO26在性能与开发体验之间实现了最佳平衡:
- 无 NMS 的边缘部署:适用于要求推理延迟稳定且较低,同时不希望增加非极大值抑制后处理复杂度的应用。
- 仅使用 CPU 的环境: 没有专用 GPU 加速的设备中,YOLO26n 的 CPU 推理速度最高比 YOLO11n 快 43%,优势显著。
- 小目标检测: 在无人机航拍影像等具有挑战性的场景或物联网传感器分析中,ProgLoss 和 STAL 能提升小目标检测准确率。
展望未来:YOLO26 的优势#
YOLOv8 仍是一款里程碑式模型,但计算机视觉领域发展迅速。对于 2026 年启动新项目的团队,推荐将 Ultralytics YOLO26 作为继任模型。
如果你看重 RTDETRv2 的无 NMS 设计,YOLO26 提供可选的端到端无 NMS 设计(nms=False),将 Transformer 的后处理简洁性与 CNN 的速度结合起来。YOLO26 还采用 MuSGD 优化器,将大语言模型(LLM)训练技术引入视觉模型,从而提升训练稳定性并加快收敛。移除分布焦点损失(DFL)后,模型导出更简单,并且更兼容边缘和低功耗设备;YOLO26n 的 CPU 推理速度最高比 YOLO11n 快 43%。此外,ProgLoss + STAL(渐进式损失和小目标感知标签分配)有助于更好地检测小目标,因此 YOLO26 是从 YOLOv8 和 RTDETRv2 升级的推荐选择。
如需了解其他模型,请查看 YOLO11,或阅读 YOLOv10 与 YOLOv8 对比的详细分析,了解 YOLO 系列中无 NMS 架构的发展。
评论1
提出问题、分享结果,或帮助其他人。
CathyFisher(已编辑)
Excellent technical comparison! RTDETRv2’s transformer-based architecture brings impressive accuracy and end-to-end detection without the need for NMS, which is quite innovative. However, this YOLOv8 comparison shows that v8 still excels in real-time performance, lighter deployment, and ease of customization. It’s clear that RTDETRv2 is pushing boundaries, but YOLOv8 remains a go-to for many practical applications due to its balance of speed and flexibility.