跳转至内容

RTDETRv2 与 YOLOv8：技术比较

在快速发展的计算机视觉领域，选择合适的物体 detect 模型对于项目成功至关重要。两种截然不同的架构理念目前主导着该领域：以 RTDETRv2 为代表的基于 Transformer 的方法和以 Ultralytics YOLOv8 为例的高度优化的卷积神经网络 (CNN) 设计。

尽管 RTDETRv2 利用视觉 Transformer 突破了精度极限，但 YOLOv8 则在速度、精度和部署便捷性之间取得了更好的平衡。本比较将探讨技术规格、架构差异和实际性能指标，以帮助开发者和研究人员为其应用选择最佳解决方案。

性能指标：速度、准确性与效率

性能格局突显了明显的权衡。RTDETRv2 通过复杂的注意力机制专注于最大化平均精度 (mAP)，而 YOLOv8 则优先考虑实时推理速度和高 accuracy 的多功能平衡，适用于边缘和云部署。

模型尺寸
(像素)		mAPval
50-95		速度
CPU ONNX
(毫秒)		速度
T4 TensorRT10
(毫秒)		参数
(M)		FLOPs
(B)
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259
YOLOv8n64037.380.41.473.28.7
YOLOv8s64044.9128.42.6611.228.6
YOLOv8m64050.2234.75.8625.978.9
YOLOv8l64052.9375.29.0643.7165.2
YOLOv8x64053.9479.114.3768.2257.8

结果分析

数据揭示了部署策略的几个关键见解：

  • 计算效率：YOLOv8 展现出卓越的效率。例如，YOLOv8l 在精度上（52.9 mAP）与 RTDETRv2-l（53.4 mAP）几乎持平，同时在 GPU 上以更快的推理速度运行。
  • CPU 性能：YOLOv8 在 CPU 硬件上提供了有文档记录的、强大的性能，使其成为缺乏专用加速器的边缘 AI 设备的实用选择。RTDETRv2 的 CPU 基准测试通常不可用，因为 Transformer 层计算成本很高。
  • 参数效率：YOLOv8模型始终需要更少的参数和浮点运算（FLOPs）以实现具有竞争力的结果，直接转化为更低的内存消耗和更快的训练时间。

硬件考量

如果您的部署目标涉及标准CPU（如Intel处理器）或嵌入式设备（如Raspberry Pi），YOLOv8的基于CNN的架构在延迟方面具有显著优势，优于RTDETRv2的Transformer密集型操作。

RTDETRv2：基于 Transformer 的实时检测

RTDETRv2 (Real-Time Detection Transformer v2) 代表了将视觉 Transformer (ViT) 应用于目标检测的持续演进。由百度研究人员开发，它旨在解决传统上与基于 DETR 的模型相关的延迟问题，同时保留其理解全局上下文的能力。

作者： 吕文宇、赵一安、常钦尧、黄奎、王冠中、刘毅
机构：百度
日期： 2024-07-24 (v2 发布)
预印本：https://arxiv.org/abs/2304.08069
GitHub：https://github.com/lyuwenyu/RT-DETR/tree/main/rtdetrv2_pytorch

架构

RTDETRv2 采用混合架构，结合了骨干网络（通常是 ResNet 等 CNN）和高效的 Transformer 编码器-解码器。一个关键特性是尺度内交互和跨尺度融合的解耦，这有助于模型捕获图像中的长距离依赖关系。这使得模型能够同时“关注”场景的不同部分，从而可能提高在杂乱环境中的性能。

优势与劣势

RTDETRv2 的主要优势在于其在全局上下文至关重要的复杂数据集上的高准确性。通过摒弃锚框而采用物体查询，它通过消除对非极大值抑制 (NMS) 的需求来简化后处理流水线。

然而，这些优势也伴随着代价：

  • 资源密集度：与CNN相比，该模型在训练时需要显著更多的GPU内存。
  • 较慢的收敛：基于Transformer的模型通常需要更长的训练时间才能收敛。
  • 有限的通用性：它主要设计用于边界框检测，缺乏对 segment 或 姿势估计 的原生支持。

了解更多关于 RTDETRv2 的信息

Ultralytics YOLOv8：速度、多功能性与生态系统

Ultralytics YOLOv8 是一种最先进的、无锚框的目标检测模型，为行业中的多功能性和易用性树立了标准。它建立在 YOLO 系列的传统之上，引入了架构改进，在保持 YOLO 成名的实时速度的同时，提高了性能。

作者: Glenn Jocher, Ayush Chaurasia, and Jing Qiu
机构:Ultralytics
日期: 2023-01-10
GitHub:https://github.com/ultralytics/ultralytics
文档:https://docs.ultralytics.com/models/yolov8/

架构

YOLOv8 采用 CSP (Cross Stage Partial) Darknet 骨干网络和 PANet (Path Aggregation Network) 颈部，最终形成解耦的检测头。这种架构是无锚点的，这意味着它直接预测物体中心，从而简化了设计并提高了泛化能力。该模型针对张量处理单元和 GPU 进行了高度优化，确保了最大吞吐量。

为开发者带来的主要优势

  • 易用性： 通过 Pythonic API 和强大的 CLI，用户只需几行代码即可训练和部署模型。全面的 文档 降低了初学者和专家双方的入门门槛。
  • 完善的生态系统：在Ultralytics的支持下，YOLOv8受益于频繁更新、社区支持以及与TensorBoard和MLFlow等工具的无缝集成。
  • 多功能性：与RTDETRv2不同，YOLOv8开箱即用地支持广泛的任务，包括实例分割、姿势估计、分类和旋转框检测 (OBB)。
  • 训练效率：该模型设计用于快速训练，且 CUDA 内存需求较低，使其适用于硬件预算有限的研究人员。

了解更多关于 YOLOv8 的信息

深入探讨：架构与用例

这两种模型之间的选择通常取决于应用程序环境的具体要求。

架构理念

YOLOv8 依赖于卷积神经网络 (CNN)，它擅长高效处理局部特征和空间层次结构。这使得它们本质上更快，内存占用更少。RTDETRv2 对Transformer的依赖使其能够有效地建模全局关系，但引入了与图像尺寸相关的二次复杂度，导致更高的延迟和内存使用，尤其是在高分辨率下。

理想用例

选择 YOLOv8 的时机：

  • 实时性能至关重要: 自动驾驶、视频分析和制造业质量控制等应用需要低延迟。
  • 硬件受限：使用 YOLOv8 可在 NVIDIA Jetson、树莓派或移动设备上无缝部署。
  • 需要多任务处理：如果您的项目需要 segment 目标或 track 关键点以及 detect，YOLOv8 提供了一个统一的框架。
  • 快速开发周期：Ultralytics生态系统加速了数据标注、训练和部署。

选择RTDETRv2当：

  • 最大精度是唯一指标：适用于学术基准测试或计算资源无限且mAP的每一个百分点都至关重要的场景。
  • 复杂遮挡：在高度杂乱的场景中，理解远距离像素之间的关系至关重要，全局注意力机制可能会提供轻微优势。

比较总结

尽管 RTDETRv2 在将 Transformer 应用于 detect 方面取得了有趣的学术进展，但 YOLOv8 仍然是大多数实际应用的更优选择。它在 速度、精度和效率 方面的平衡是无与伦比的。此外，在单个用户友好的库中执行多个计算机视觉任务的能力，使其成为现代 AI 开发的多功能工具。

对于寻求性能和功能集最新进展的开发者而言，关注像 YOLO11 这样的新迭代，相较于 YOLOv8 和 RTDETRv2，能带来更高的效率和准确性提升。

代码示例：YOLOv8快速入门

将 YOLOv8 集成到您的工作流中非常简单。以下是一个 python 示例，演示如何加载预训练模型、运行推理并将其导出以进行部署。

from ultralytics import YOLO

# Load a pre-trained YOLOv8 model
model = YOLO("yolov8n.pt")

# Train the model on the COCO8 dataset
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference on a local image
# Ensure the image path is correct or use a URL
results = model("path/to/image.jpg")

# Export the model to ONNX format for deployment
success = model.export(format="onnx")

探索其他模型

要更广泛地了解目标 detect 架构，可以考虑查阅这些相关比较：


评论