RTDETRv2 与 PP-YOLOE+ 对比
计算机视觉研究提出了多种实时目标检测架构方案。RTDETRv2 和 PP-YOLOE+ 采用了截然不同的路线:一个是检测 Transformer,另一个是卷积检测器。两者都旨在实现高性能检测,但其工作机制、训练方法和理想部署场景各不相同。
本指南比较它们的架构、性能指标和生态系统支持,帮助开发者和研究人员根据部署需求选择合适的模型。
模型概述#
在分析性能数据之前,先了解每种模型的来源和架构目标很重要。两者都源自百度的研究团队,但代表了目标检测领域中不同的发展方向。
RTDETRv2#
RTDETRv2 在原版实时检测 Transformer 的基础上发展而来,结合了 CNN 主干网络、高效混合编码器和 Transformer 解码器。它的一大特点是端到端预测,因此后处理时无需进行非极大值抑制 (NMS)。
- 作者:Wenyu Lv、Yian Zhao、Qinyao Chang、Kui Huang、Guanzhong Wang 和 Yi Liu
- 组织: 百度
- 日期: 2024-07-24
- arXiv:2407.17140
- GitHub:RT-DETR 仓库
PP-YOLOE+#
PP-YOLOE+ 是 PaddleDetection 团队推出的 PP-YOLOE 改进版,针对工业应用进行了优化。它采用可扩展的 CNN 架构和无锚框检测头。为实现良好的速度与准确率平衡,它引入了高效任务对齐头 (ET-head) 和分布焦点损失等技术,以改进小目标检测。
- 作者:PaddlePaddle 作者
- 组织: 百度
- 日期: 2022-04-02
- arXiv:2203.16250
- GitHub: PaddleDetection 代码库
虽然这两个模型都有各自独立的研究代码库,但你可以直接在 Ultralytics Python 包中试用原版 RT-DETR,该包提供统一 API 和内置导出选项。
架构差异#
这两种模型的根本区别在于处理视觉上下文和生成预测的方式。
PP-YOLOE+ 使用传统但高度优化的卷积神经网络 (CNN) 主干网络。它依靠局部感受野提取特征,因此在标准部署中速度快、效率高。不过,它仍需通过 NMS 后处理过滤重叠边界框,这可能会增加密集场景中的延迟。
相较之下,RTDETRv2 使用混合编码器和 Transformer 解码器,因此能够捕捉整幅图像中的全局上下文。它的注意力机制会对目标之间的关系进行建模,因此无需 NMS 就能直接输出最终边界框。这种端到端方法使推理延迟不受检测目标数量影响,保持稳定。
性能指标与对比#
评估 YOLO 性能指标时,应在准确率 (mAP)、计算成本 (FLOPs) 和推理速度之间进行权衡。下表展示了两种模型在不同尺寸下的性能。
| 模型 | 尺寸 (像素) | mAPval50-95 | 速度 CPU ONNX (毫秒) | 速度 T4 TensorRT10 (ms) | 参数 (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
| PP-YOLOE+t | 640 | 39.9 | - | 2.84 | 4.85 | 19.15 |
| PP-YOLOE+s | 640 | 43.7 | - | 2.62 | 7.93 | 17.36 |
| PP-YOLOE+m | 640 | 49.8 | - | 5.56 | 23.43 | 49.91 |
| PP-YOLOE+l | 640 | 52.9 | - | 8.36 | 52.2 | 110.07 |
| PP-YOLOE+x | 640 | 54.7 | - | 14.3 | 98.42 | 206.59 |
PP-YOLOE+x 在 COCO 数据集上的 mAPval50-95 最高,达到 54.7%,比 RTDETRv2-x 高 0.4 个百分点;其 TensorRT 延迟略低(14.3 ms 对 15.03 ms),但参数更多(98.42M 对 76M)。在 Large 档位,RTDETRv2-l 比 PP-YOLOE+l 更准确(53.4% 对 52.9%),参数更少;而 PP-YOLOE+l 速度更快(8.36 ms 对 9.76 ms)。PP-YOLOE+ 还提供参数量低于 8M 的 Tiny 和 Small 变体,而 RTDETRv2 未覆盖这一尺寸档位,因此适合边缘部署。
Ultralytics 的优势:YOLO26 登场#
RTDETRv2 和 PP-YOLOE+ 都是能力出色的检测器,但这一领域仍在不断发展。对于希望兼顾速度、准确率和生态系统支持的开发者,新项目推荐使用 Ultralytics YOLO26。
YOLO26 将检测 Transformer 的端到端推理能力带到了 CNN 中。它提供可选的端到端无 NMS推理模式(nms=False),启用后即可跳过 NMS 后处理。它还引入了 MuSGD 优化器,这是一种结合 SGD 和 Muon 的混合优化器,灵感来自大语言模型 (LLM) 训练,可实现更稳定的训练和更快的收敛。
与需要大量 CUDA 显存的庞大 Transformer 模型不同,YOLO26 采用移除 DFL(分布焦点损失)的设计,并针对边缘计算进行了优化。与 YOLO11n 相比,YOLO26n 的 CPU 推理速度最高可提升 43%。
YOLO26 的能力也不止于目标检测:它开箱即支持实例分割、语义分割、深度估计、图像分类、姿态估计和有向边界框 (OBB);而 PP-YOLOE+ 则专注于边界框检测。
训练方法与生态系统#
Ultralytics 生态系统在训练效率和易用性方面与独立研究代码库差异最大。PP-YOLOE+ 依赖 PaddlePaddle 框架,RTDETRv2 则通常需要复杂的环境配置;而 Ultralytics 模型共用同一个可安装的软件包和 API。
Ultralytics API 提供自动化数据集处理和内置超参数调优,YOLO 模型的训练内存需求也低于 Transformer 检测器。只需一条命令,即可将模型导出为 ONNX 或 TensorRT 等生产环境格式。
代码示例:简化推理流程#
下面的示例使用 Ultralytics Python 包,同时运行 RT-DETR 和推荐模型 YOLO26:
from ultralytics import RTDETR, YOLO
# 初始化 RT-DETR 模型(Ultralytics 支持原始 RT-DETR-L 和 RT-DETR-X)
model_rtdetr = RTDETR("rtdetr-l.pt")
# 在测试图像上执行无 NMS 推理
results_rtdetr = model_rtdetr("https://ultralytics.com/images/bus.jpg")
results_rtdetr[0].show()
# 初始化最新的 YOLO26 模型
model_yolo26 = YOLO("yolo26n.pt")
# 使用优化的内存用量训练 YOLO26 模型
model_yolo26.train(data="coco8.yaml", epochs=50, imgsz=640)
# 导出为 TensorRT,用于边缘部署
model_yolo26.export(format="engine")实际应用与用例#
在这些架构之间做选择,通常取决于具体的硬件和应用需求。
- RTDETRv2 擅长服务器端环境和复杂场景理解。其全局注意力机制适用于人群管理和密集的医学影像分析,因为目标大量重叠时,NMS 可能会抑制有效检测结果。
- PP-YOLOE+ 适合高速工业检测,以及已投入 PaddlePaddle 生态系统的团队。它在较小尺寸下的参数量较低,因此可用于某些机器人应用。
- 对于大多数商业部署,我们推荐 Ultralytics YOLO26。渐进式损失和小目标感知标签分配 (STAL) 可提升小目标识别能力,这对航空无人机作业和智慧城市交通监控十分重要。
用例与建议#
在 RT-DETR 和 PP-YOLOE+ 之间做选择,取决于你的具体项目需求、部署限制和生态系统偏好。
何时选择 RT-DETR#
以下场景适合选择 RT-DETR:
- 基于 Transformer 的检测研究:探索注意力机制和 Transformer 架构,以实现无需 NMS 的端到端目标检测。
- 对延迟要求灵活的高精度场景:检测准确率至关重要,且可以接受略高推理延迟的应用。
- 大型目标检测:场景中的目标以中大型为主,此时 Transformer 的全局注意力机制能够发挥天然优势。
何时选择 PP-YOLOE+#
以下情况推荐使用 PP-YOLOE+:
- 集成 PaddlePaddle 生态系统:已有基于百度 PaddlePaddle框架和工具构建基础设施的组织。
- Paddle Lite 边缘部署:部署到专门针对 Paddle Lite 或 Paddle 推理引擎进行了高度优化的推理内核的硬件上。
- 高精度服务端检测:在强大的 GPU 服务器上优先追求最高检测准确率,且不受框架依赖限制的场景。
何时选择 Ultralytics (YOLO26)#
对于大多数新项目,Ultralytics YOLO26 能提供性能与开发者体验的最佳组合:
- 无 NMS 的边缘部署:适用于要求推理延迟稳定且较低,同时不希望增加非极大值抑制后处理复杂度的应用。
- 仅使用 CPU 的环境: 没有专用 GPU 加速的设备;YOLO26 的 CPU 推理速度最高可提升 43%(YOLO26n 对比 YOLO11n),具有决定性优势。
- 小目标检测: 在无人机航拍影像等具有挑战性的场景或物联网传感器分析中,ProgLoss 和 STAL 能提升小目标检测准确率。
结论#
RTDETRv2 和 PP-YOLOE+ 表明,Transformer 和优化后的 CNN 架构都能胜任实时检测。不过,使用来自不同研究代码库的模型进行部署,可能会拖慢产品上线进度。
Ultralytics Platform 将标注、训练和部署整合到一个工作流中。改用 YOLO11 或较新的 YOLO26 等集成模型后,团队可以在内存需求更低、开发开销更少的情况下,获得良好的准确率与速度平衡。
评论
提出问题、分享结果,或帮助其他人。