RTDETRv2 与 EfficientDet
选择最佳神经网络架构是任何计算机视觉项目的关键决策。本技术对比评估了两个有影响力的目标检测模型:RTDETRv2(一种实时 Transformer 检测器)和 EfficientDet(一种高度可扩展的卷积神经网络)。本文比较它们的架构、性能指标、训练方法和最适合的部署场景,帮助你为 AI 流程做出数据驱动的决策。
RTDETRv2:实时检测 Transformer#
在原版 RT-DETR 成功的基础上,RTDETRv2 改进了基于 Transformer 的目标检测范式。通过优化编码器和解码器结构,它在保持实时推理速度的同时实现了高精度,有效弥合了传统 CNN 和视觉 Transformer 之间的差距。
模型详情
- 作者: Wenyu Lv、Yian Zhao、Qinyao Chang、Kui Huang、Guanzhong Wang 和 Yi Liu
- 组织: 百度
- 日期: 2024-07-24
- 链接:arXiv、GitHub、文档
架构与核心优势#
RTDETRv2 采用混合架构,将强大的 CNN 主干网络(通常为 ResNet 或 HGNet)与高效的 Transformer 解码器相结合。RTDETRv2 最突出的特点是原生支持绕过非极大值抑制(NMS)。传统检测器需要通过 NMS 过滤重复边界框,这会在后处理中带来变化不定的推理延迟。RTDETRv2 将检测建模为直接集合预测问题,使用二分图匹配输出唯一预测结果。
该模型最适合部署在 GPU 内存充足的服务器端。它的全局注意力机制具有很强的上下文感知能力,因此适合在安全报警系统或密集人群监控等拥挤、杂乱的环境中区分相互重叠的目标。
局限性#
虽然功能强大,但与标准 CNN 相比,Transformer 架构在训练期间本身就需要更多 CUDA 内存。在新的训练数据上微调 RTDETRv2 也可能需要更长时间才能收敛,因此快速原型开发的资源成本更高。
EfficientDet:可扩展、高效的 CNN#
EfficientDet 推出了一系列目标检测模型,可在各种资源限制下兼顾精度和效率。它仍是可扩展机器视觉设计的经典范例。
模型详情
架构与核心优势#
EfficientDet 的创新主要体现在两个方面:双向特征金字塔网络(BiFPN)和复合缩放方法。BiFPN 通过引入可学习权重来学习不同输入特征的重要性,并反复执行自顶向下和自底向上的多尺度特征融合,从而实现简单、快速的多尺度特征提取。复合缩放方法则同时对网络的分辨率、深度和宽度进行统一缩放。
EfficientDet 模型从轻量级 D0 到大型 D7,涵盖多种规模。因此,它们适用于边缘 AI部署,开发者可以在严格的计算预算和精度要求之间进行权衡,例如早期移动增强现实应用。
局限性#
EfficientDet 是一种较旧的架构,严重依赖锚框和传统的 NMS 后处理流程。生成锚框需要仔细进行超参数调优,而 NMS 步骤可能会成为 Raspberry Pi 等嵌入式硬件上的部署瓶颈。它也不原生支持姿态估计或有向边界框(OBB)等现代任务。
性能与指标对比#
要准确了解这些模型之间的权衡,需要分析它们的吞吐量和参数效率。下表概述了现代 RTDETRv2 系列与可扩展 EfficientDet 系列的对比。
| 模型 | 尺寸 (像素) | mAPval50-95 | 速度 CPU ONNX (毫秒) | 速度 T4 TensorRT10 (ms) | 参数 (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
| EfficientDet-d0 | 512 | 34.6 | - | 3.92 | 3.9 | 2.54 |
| EfficientDet-d1 | 640 | 40.5 | - | 7.31 | 6.6 | 6.1 |
| EfficientDet-d2 | 768 | 43.0 | - | 10.92 | 8.1 | 11.0 |
| EfficientDet-d3 | 896 | 47.5 | - | 19.59 | 12.0 | 24.9 |
| EfficientDet-d4 | 1024 | 49.7 | - | 33.55 | 20.7 | 55.2 |
| EfficientDet-d5 | 1280 | 51.5 | - | 67.86 | 33.7 | 130.0 |
| EfficientDet-d6 | 1280 | 52.6 | - | 89.29 | 51.9 | 226.0 |
| EfficientDet-d7 | 1536 | 53.7 | - | 128.07 | 51.9 | 325.0 |
如上所示,RTDETRv2 的平均精度均值 (mAP)与尺寸相近的 EfficientDet 模型持平或更高,同时在 GPU 上运行速度快得多(例如,RTDETRv2-l 的 mAP 为 53.4,耗时 9.76 ms;EfficientDet-d6 的 mAP 为 52.6,耗时 89.29 ms),并利用 Transformer 架构提升准确率。
用例与建议#
在 RT-DETR 和 EfficientDet 之间做选择,取决于你的具体项目需求、部署限制和生态系统偏好。
何时选择 RT-DETR#
以下场景适合选择 RT-DETR:
- 基于 Transformer 的检测研究:探索注意力机制和 Transformer 架构,以实现无需 NMS 的端到端目标检测。
- 对延迟要求灵活的高精度场景:检测准确率至关重要,且可以接受略高推理延迟的应用。
- 大型目标检测:场景中的目标以中大型为主,此时 Transformer 的全局注意力机制能够发挥天然优势。
何时选择 EfficientDet#
以下情况推荐使用 EfficientDet:
- Google Cloud 和 TPU 流程:基于 TensorFlow 的系统运行在 Google Cloud TPU 基础设施上,EfficientDet 的参考实现支持 TPU 训练。
- 复合缩放研究:侧重研究网络深度、宽度和分辨率平衡缩放效果的学术基准测试。
- 通过 LiteRT 进行移动端部署:需要导出为 LiteRT(原名 TensorFlow Lite),以用于 Android 或嵌入式 Linux 设备的项目。
何时选择 Ultralytics (YOLO26)#
对于大多数新项目,Ultralytics YOLO26在性能与开发体验之间实现了最佳平衡:
- 无 NMS 的边缘部署:适用于要求推理延迟稳定且较低,同时不希望增加非极大值抑制后处理复杂度的应用。
- 仅使用 CPU 的环境:没有专用 GPU 加速的设备;在这类设备上,YOLO26n 的 CPU 推理速度比 YOLO11n 最高快 43%,优势明显。
- 小目标检测:适用于无人机航拍影像等具有挑战性的场景,或 IoT 传感器分析等需要 ProgLoss 和 STAL 大幅提升微小目标准确率的场景。
Ultralytics 方案#
RTDETRv2 和 EfficientDet 都各有优势,但现代 AI 开发需要兼顾强劲性能和流畅开发者体验的框架。Ultralytics 生态系统为计算机视觉任务提供了更精简流畅的方案。
如果你正在了解现代检测方案,新发布的 Ultralytics YOLO26 融合了 CNN 和 Transformer 的优势。
YOLO26 实现了可选的端到端无 NMS 设计(nms=False),将 RTDETRv2 的部署简洁性带入高效的 YOLO 架构。它还引入了受 LLM 训练技术启发的 MuSGD 优化器,以提高训练稳定性。借助 移除 DFL(移除分布焦点损失,以简化导出并提高对边缘设备和低功耗设备的兼容性),YOLO26n 的 CPU 推理速度比 YOLO11n 最高快 43%,因此相比更庞大的模型,它更适合边缘计算。ProgLoss + STAL(渐进式损失和小目标感知标签分配)还能显著提升小目标识别能力,这对物联网、机器人和航空影像至关重要。
Ultralytics Python 软件包以易用性为设计目标。开发者可以通过直观的 API 训练、验证和导出模型,而无需编写研究代码库通常要求的大量样板代码。
from ultralytics import RTDETR
# 从 Ultralytics 生态系统加载预训练的 RT-DETR 模型
model = RTDETR("rtdetr-l.pt")
# 使用 COCO8 数据集训练模型
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)
# 导出模型,以便使用 TensorRT 优化推理
model.export(format="engine")Ultralytics 模型原生支持多种任务,包括实例分割和图像分类,可为不同行业需求提供多功能工具集。现代 Ultralytics 模型移除了分布焦点损失(DFL),也简化了计算图,从而让模型更顺利地导出到嵌入式 NPU 和 TPU。
在数据标注和模型管理方面,Ultralytics Platform为整个机器学习生命周期提供全面的云端环境,是在生产环境中部署可靠计算机视觉解决方案的理想选择。
评论
提出问题、分享结果,或帮助其他人。