Ultralytics YOLO27：
Get Started

RTDETRv2 与 YOLOv8 对比#

计算机视觉领域不断变化，传统卷积神经网络 (CNN) 与新兴 Transformer 架构之间的持续竞争尤为引人关注。在这篇全面的技术对比中，我们将分析领先的视觉 Transformer RTDETRv2 与业界应用最广泛、用途最灵活的 CNN 模型之一 Ultralytics YOLOv8 的表现。两种模型都能为工程师和研究人员提供强大能力，但其底层架构导致训练方法、部署限制和整体性能各不相同。

模型概览：RTDETRv2#

RTDETRv2（实时检测 Transformer 第 2 版）在前代模型奠定的成功基础上，对视觉 Transformer 架构进行了优化，以实现实时推理速度。

关键技术细节：

  • 作者： Wenyu Lv、Yian Zhao、Qinyao Chang、Kui Huang、Guanzhong Wang 和 Yi Liu
  • 组织： 百度
  • 日期： 2024-07-24
  • 链接：ArXiv 论文 | GitHub 仓库

架构与优势#

RTDETRv2 的核心是混合架构，将 CNN 主干网络与 Transformer 编码器-解码器结构相结合。这使模型能够从整体上下文角度分析整张图像，因此特别擅长处理包含重叠目标的复杂场景。其最显著的特点之一是原生端到端设计，完全跳过非极大值抑制 (NMS) 后处理。这降低了检测流程最后阶段的算法复杂度。此外，它具备多尺度检测能力，能够有效识别大型结构和微小的背景元素。

缺点#

尽管 Transformer 架构具备强大的上下文理解能力，但 RTDETRv2 这类模型在训练时需要大量计算资源。它们需要大量 CUDA 内存，因此难以在消费级硬件上训练。此外，定制数据集的设置和训练超参数的调整往往需要深厚的领域专业知识，因为该模型缺少完善、易于新手上手的软件封装。由于注意力机制开销较大，将模型部署到旧款 Raspberry Pi 硬件等低功耗边缘设备上也可能颇具挑战。

进一步了解 RTDETRv2

模型概览：YOLOv8#

自发布以来，Ultralytics YOLOv8 已成为生产级计算机视觉任务的行业标准，在追求顶尖精度的同时，也优先提供出色的开发者体验。

关键技术细节：

架构与优势#

YOLOv8 采用高度优化的无锚框 CNN 架构和解耦检测头，与前几代模型相比，显著提升了目标定位和分类精度。它最大的优势在于出色的效率和灵活性。与视觉 Transformer 相比，该架构在训练时所需的内存大幅减少，因此开发者可以在标准 GPU 上使用更大的批次大小。此外，Ultralytics 生态系统提供无与伦比、流畅无缝的工作流。统一的 Python API 只需几行代码，即可完成超参数调优、训练、验证和导出。

缺点#

YOLOv8 在后处理阶段确实依赖传统 NMS。虽然 Ultralytics 引擎会在后台高效处理这一过程，但与原生无 NMS 架构相比，它在技术上仍会引入少许后处理延迟。

性能与指标对比#

对比原始数值后可以看出，两种模型各自侧重部署流程中的不同环节。下面是并列的性能分析。

模型尺寸
(像素)		mAP验证集
50-95		速度
CPU ONNX
(毫秒)		速度
T4 TensorRT10
（ms）		参数
(M)		FLOPs
(B)
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259
YOLOv8n64037.380.41.473.28.7
YOLOv8s64044.9128.42.6611.228.6
YOLOv8m64050.2234.75.8625.978.9
YOLOv8l64052.9375.29.0643.7165.1
YOLOv8x64053.9479.114.3768.2257.8
解读指标

RTDETRv2-x 的峰值 mAP 为 54.3，略高于 YOLOv8x 的 53.9；不过，YOLOv8 系列在推理速度和参数效率方面占据优势。例如，YOLOv8s 在 TensorRT 引擎上的运行速度接近 RTDETRv2-s 的两倍，而所需参数几乎只有一半。

内存需求与训练效率#

对于独立开发者和企业团队而言，最关键的因素之一是训练成本。Ultralytics YOLO 模型在训练过程中所需的 CUDA 内存显著少于 Transformer 架构。标准 RTDETRv2 模型可能很容易成为消费级 GPU 的性能瓶颈，而 YOLOv8 则能在 NVIDIA RTX 4070 等硬件上快速、稳定地收敛。

生态系统、API 与易用性#

现代 AI 解决方案真正的差异化优势在于其配套软件框架。Ultralytics 生态系统简化了复杂的工程难题。凭借积极的开发和 Discord 等平台上活跃的社区支持，YOLOv8 确保你的项目不会因为文档不完善而停滞。

此外，YOLOv8 不止支持标准目标检测。它是真正的多任务网络，原生支持实例分割、姿态估计、图像分类和有向边界框 (OBB)。而 RTDETRv2 仍主要专注于检测。

代码示例：统一而简洁#

使用 Ultralytics Python API，你可以在统一的环境中无缝试用这两类模型。

from ultralytics import RTDETR, YOLO

# 无缝加载 RT-DETR 模型和 YOLOv8 模型
model_transformer = RTDETR("rtdetr-l.pt")
model_cnn = YOLO("yolov8l.pt")

# 使用完全相同的 API 对示例图像进行预测
results_transformer = model_transformer("https://ultralytics.com/images/bus.jpg")
results_cnn = model_cnn("https://ultralytics.com/images/bus.jpg")

# 将 YOLOv8 导出为 ONNX，以便快速部署到边缘设备
model_cnn.export(format="onnx")

训练完成后，YOLOv8 支持一键导出为 ONNX、TensorRT 和 OpenVINO，确保模型能在各种硬件后端上实现高吞吐量推理。

用例与建议#

在 RT-DETR 和 YOLOv8 之间做选择，取决于你的具体项目需求、部署限制和对生态系统的偏好。

何时选择 RT-DETR#

以下场景适合选择 RT-DETR：

  • 基于 Transformer 的检测研究：探索注意力机制和 Transformer 架构，以实现无需 NMS 的端到端目标检测。
  • 对延迟要求灵活的高精度场景：检测准确率至关重要，且可以接受略高推理延迟的应用。
  • 大型目标检测：场景中的目标以中大型为主，此时 Transformer 的全局注意力机制能够发挥天然优势。

何时选择 YOLOv8#

以下情况推荐使用 YOLOv8：

  • 多任务灵活部署： 在 Ultralytics 生态系统中，需要使用经过验证的模型来完成检测、分割、分类和姿态估计的项目。
  • 成熟的生产系统： 已经基于 YOLOv8 架构构建、并拥有稳定且经过充分测试的部署流水线的现有生产环境。
  • 广泛的社区与生态系统支持： 能够受益于 YOLOv8 丰富教程、第三方集成和活跃社区资源的应用。

何时选择 Ultralytics (YOLO26)#

对于大多数新项目，Ultralytics YOLO26在性能与开发体验之间实现了最佳平衡：

  • 无 NMS 的边缘部署：适用于要求推理延迟稳定且较低，同时不希望增加非极大值抑制后处理复杂度的应用。
  • 仅使用 CPU 的环境：适用于没有专用 GPU 加速的设备，此时 YOLO26 的 CPU 推理速度最高提升 43%，可带来显著优势。
  • 小目标检测：适用于无人机航拍影像等具有挑战性的场景，或 IoT 传感器分析等需要 ProgLoss 和 STAL 大幅提升微小目标准确率的场景。

展望未来：YOLO26 的优势#

YOLOv8 仍是一项里程碑式的经典成果，但计算机视觉发展极快。对于希望在 2026 年采用最前沿技术的团队而言，Ultralytics YOLO26 代表着下一次范式转变。

如果你青睐 RTDETRv2 的无 NMS 设计，YOLO26 采用了原生的端到端无 NMS 设计，将 Transformer 的简洁后处理与 CNN 的极速性能结合起来。此外，YOLO26 采用突破性的 MuSGD 优化器，将 LLM 式训练稳定性带入视觉模型，实现极快收敛。通过移除 DFL（移除 Distribution Focal Loss，简化导出并提升对边缘/低功耗设备的兼容性），YOLO26 实现了 CPU 推理速度最高提升 43%。再加上用于提升小目标检测能力的先进 ProgLoss + STAL 机制，YOLO26 无疑是 YOLOv8 和 RTDETRv2 的首选升级方案。

如需进一步了解其他模型，请参阅我们的 YOLO11 指南，或阅读 YOLOv10 与 YOLOv8 对比的详细分析，了解无 NMS 架构在 YOLO 系列中的演进。

贡献者
GLglenn-jocher18PDpderrenger1

评论