开始使用

RTDETRv2 与 PP-YOLOE+ 对比

计算机视觉研究提出了多种实时目标检测架构方案。RTDETRv2 和 PP-YOLOE+ 采用了截然不同的路线:一个是检测 Transformer,另一个是卷积检测器。两者都旨在实现高性能检测,但其工作机制、训练方法和理想部署场景各不相同。

本指南比较它们的架构、性能指标和生态系统支持,帮助开发者和研究人员根据部署需求选择合适的模型。

模型概述#

在分析性能数据之前,先了解每种模型的来源和架构目标很重要。两者都源自百度的研究团队,但代表了目标检测领域中不同的发展方向。

RTDETRv2#

RTDETRv2 在原版实时检测 Transformer 的基础上发展而来,结合了 CNN 主干网络、高效混合编码器和 Transformer 解码器。它的一大特点是端到端预测,因此后处理时无需进行非极大值抑制 (NMS)。

  • 作者:Wenyu Lv、Yian Zhao、Qinyao Chang、Kui Huang、Guanzhong Wang 和 Yi Liu
  • 组织: 百度
  • 日期: 2024-07-24
  • arXiv:2407.17140
  • GitHub:RT-DETR 仓库

进一步了解 RTDETRv2

PP-YOLOE+#

PP-YOLOE+ 是 PaddleDetection 团队推出的 PP-YOLOE 改进版,针对工业应用进行了优化。它采用可扩展的 CNN 架构和无锚框检测头。为实现良好的速度与准确率平衡,它引入了高效任务对齐头 (ET-head) 和分布焦点损失等技术,以改进小目标检测。

进一步了解 PP-YOLOE+

生态系统集成

虽然这两个模型都有各自独立的研究代码库,但你可以直接在 Ultralytics Python 包中试用原版 RT-DETR,该包提供统一 API 和内置导出选项。

架构差异#

这两种模型的根本区别在于处理视觉上下文和生成预测的方式。

PP-YOLOE+ 使用传统但高度优化的卷积神经网络 (CNN) 主干网络。它依靠局部感受野提取特征,因此在标准部署中速度快、效率高。不过,它仍需通过 NMS 后处理过滤重叠边界框,这可能会增加密集场景中的延迟。

相较之下,RTDETRv2 使用混合编码器和 Transformer 解码器,因此能够捕捉整幅图像中的全局上下文。它的注意力机制会对目标之间的关系进行建模,因此无需 NMS 就能直接输出最终边界框。这种端到端方法使推理延迟不受检测目标数量影响,保持稳定。

性能指标与对比#

评估 YOLO 性能指标时,应在准确率 (mAP)、计算成本 (FLOPs) 和推理速度之间进行权衡。下表展示了两种模型在不同尺寸下的性能。

模型尺寸
(像素)
mAPval50-95速度
CPU ONNX
(毫秒)
速度
T4 TensorRT10
(ms)
参数
(M)
FLOPs
(B)
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259
PP-YOLOE+t64039.9-2.844.8519.15
PP-YOLOE+s64043.7-2.627.9317.36
PP-YOLOE+m64049.8-5.5623.4349.91
PP-YOLOE+l64052.9-8.3652.2110.07
PP-YOLOE+x64054.7-14.398.42206.59

PP-YOLOE+x 在 COCO 数据集上的 mAPval50-95 最高,达到 54.7%,比 RTDETRv2-x 高 0.4 个百分点;其 TensorRT 延迟略低(14.3 ms 对 15.03 ms),但参数更多(98.42M 对 76M)。在 Large 档位,RTDETRv2-l 比 PP-YOLOE+l 更准确(53.4% 对 52.9%),参数更少;而 PP-YOLOE+l 速度更快(8.36 ms 对 9.76 ms)。PP-YOLOE+ 还提供参数量低于 8M 的 Tiny 和 Small 变体,而 RTDETRv2 未覆盖这一尺寸档位,因此适合边缘部署。

Ultralytics 的优势:YOLO26 登场#

RTDETRv2 和 PP-YOLOE+ 都是能力出色的检测器,但这一领域仍在不断发展。对于希望兼顾速度、准确率和生态系统支持的开发者,新项目推荐使用 Ultralytics YOLO26。

YOLO26 将检测 Transformer 的端到端推理能力带到了 CNN 中。它提供可选的端到端无 NMS推理模式(nms=False),启用后即可跳过 NMS 后处理。它还引入了 MuSGD 优化器,这是一种结合 SGD 和 Muon 的混合优化器,灵感来自大语言模型 (LLM) 训练,可实现更稳定的训练和更快的收敛。

针对边缘设备优化

与需要大量 CUDA 显存的庞大 Transformer 模型不同,YOLO26 采用移除 DFL(分布焦点损失)的设计,并针对边缘计算进行了优化。与 YOLO11n 相比,YOLO26n 的 CPU 推理速度最高可提升 43%。

YOLO26 的能力也不止于目标检测:它开箱即支持实例分割、语义分割、深度估计、图像分类、姿态估计和有向边界框 (OBB);而 PP-YOLOE+ 则专注于边界框检测。

训练方法与生态系统#

Ultralytics 生态系统在训练效率和易用性方面与独立研究代码库差异最大。PP-YOLOE+ 依赖 PaddlePaddle 框架,RTDETRv2 则通常需要复杂的环境配置;而 Ultralytics 模型共用同一个可安装的软件包和 API。

Ultralytics API 提供自动化数据集处理和内置超参数调优,YOLO 模型的训练内存需求也低于 Transformer 检测器。只需一条命令,即可将模型导出为 ONNX 或 TensorRT 等生产环境格式。

代码示例:简化推理流程#

下面的示例使用 Ultralytics Python 包,同时运行 RT-DETR 和推荐模型 YOLO26:

from ultralytics import RTDETR, YOLO

# 初始化 RT-DETR 模型(Ultralytics 支持原始 RT-DETR-L 和 RT-DETR-X)
model_rtdetr = RTDETR("rtdetr-l.pt")

# 在测试图像上执行无 NMS 推理
results_rtdetr = model_rtdetr("https://ultralytics.com/images/bus.jpg")
results_rtdetr[0].show()

# 初始化最新的 YOLO26 模型
model_yolo26 = YOLO("yolo26n.pt")

# 使用优化的内存用量训练 YOLO26 模型
model_yolo26.train(data="coco8.yaml", epochs=50, imgsz=640)

# 导出为 TensorRT,用于边缘部署
model_yolo26.export(format="engine")

实际应用与用例#

在这些架构之间做选择,通常取决于具体的硬件和应用需求。

  • RTDETRv2 擅长服务器端环境和复杂场景理解。其全局注意力机制适用于人群管理和密集的医学影像分析,因为目标大量重叠时,NMS 可能会抑制有效检测结果。
  • PP-YOLOE+ 适合高速工业检测,以及已投入 PaddlePaddle 生态系统的团队。它在较小尺寸下的参数量较低,因此可用于某些机器人应用。
  • 对于大多数商业部署,我们推荐 Ultralytics YOLO26。渐进式损失和小目标感知标签分配 (STAL) 可提升小目标识别能力,这对航空无人机作业和智慧城市交通监控十分重要。

用例与建议#

在 RT-DETR 和 PP-YOLOE+ 之间做选择,取决于你的具体项目需求、部署限制和生态系统偏好。

何时选择 RT-DETR#

以下场景适合选择 RT-DETR:

  • 基于 Transformer 的检测研究:探索注意力机制和 Transformer 架构,以实现无需 NMS 的端到端目标检测。
  • 对延迟要求灵活的高精度场景:检测准确率至关重要,且可以接受略高推理延迟的应用。
  • 大型目标检测:场景中的目标以中大型为主,此时 Transformer 的全局注意力机制能够发挥天然优势。

何时选择 PP-YOLOE+#

以下情况推荐使用 PP-YOLOE+:

  • 集成 PaddlePaddle 生态系统:已有基于百度 PaddlePaddle框架和工具构建基础设施的组织。
  • Paddle Lite 边缘部署:部署到专门针对 Paddle Lite 或 Paddle 推理引擎进行了高度优化的推理内核的硬件上。
  • 高精度服务端检测:在强大的 GPU 服务器上优先追求最高检测准确率,且不受框架依赖限制的场景。

何时选择 Ultralytics (YOLO26)#

对于大多数新项目,Ultralytics YOLO26 能提供性能与开发者体验的最佳组合:

  • 无 NMS 的边缘部署:适用于要求推理延迟稳定且较低,同时不希望增加非极大值抑制后处理复杂度的应用。
  • 仅使用 CPU 的环境: 没有专用 GPU 加速的设备;YOLO26 的 CPU 推理速度最高可提升 43%(YOLO26n 对比 YOLO11n),具有决定性优势。
  • 小目标检测: 在无人机航拍影像等具有挑战性的场景或物联网传感器分析中,ProgLoss 和 STAL 能提升小目标检测准确率。

结论#

RTDETRv2 和 PP-YOLOE+ 表明,Transformer 和优化后的 CNN 架构都能胜任实时检测。不过,使用来自不同研究代码库的模型进行部署,可能会拖慢产品上线进度。

Ultralytics Platform 将标注、训练和部署整合到一个工作流中。改用 YOLO11 或较新的 YOLO26 等集成模型后,团队可以在内存需求更低、开发开销更少的情况下,获得良好的准确率与速度平衡。

评论

提出问题、分享结果,或帮助其他人。