开始使用

RTDETRv2 与 EfficientDet

选择最佳神经网络架构是任何计算机视觉项目的关键决策。本技术对比评估了两个有影响力的目标检测模型:RTDETRv2(一种实时 Transformer 检测器)和 EfficientDet(一种高度可扩展的卷积神经网络)。本文比较它们的架构、性能指标、训练方法和最适合的部署场景,帮助你为 AI 流程做出数据驱动的决策。

RTDETRv2:实时检测 Transformer#

在原版 RT-DETR 成功的基础上,RTDETRv2 改进了基于 Transformer 的目标检测范式。通过优化编码器和解码器结构,它在保持实时推理速度的同时实现了高精度,有效弥合了传统 CNN 和视觉 Transformer 之间的差距。

模型详情

  • 作者: Wenyu Lv、Yian Zhao、Qinyao Chang、Kui Huang、Guanzhong Wang 和 Yi Liu
  • 组织: 百度
  • 日期: 2024-07-24
  • 链接:arXiv、GitHub、文档

架构与核心优势#

RTDETRv2 采用混合架构,将强大的 CNN 主干网络(通常为 ResNet 或 HGNet)与高效的 Transformer 解码器相结合。RTDETRv2 最突出的特点是原生支持绕过非极大值抑制(NMS)。传统检测器需要通过 NMS 过滤重复边界框,这会在后处理中带来变化不定的推理延迟。RTDETRv2 将检测建模为直接集合预测问题,使用二分图匹配输出唯一预测结果。

该模型最适合部署在 GPU 内存充足的服务器端。它的全局注意力机制具有很强的上下文感知能力,因此适合在安全报警系统或密集人群监控等拥挤、杂乱的环境中区分相互重叠的目标。

局限性#

虽然功能强大,但与标准 CNN 相比,Transformer 架构在训练期间本身就需要更多 CUDA 内存。在新的训练数据上微调 RTDETRv2 也可能需要更长时间才能收敛,因此快速原型开发的资源成本更高。

进一步了解 RTDETRv2

EfficientDet:可扩展、高效的 CNN#

EfficientDet 推出了一系列目标检测模型,可在各种资源限制下兼顾精度和效率。它仍是可扩展机器视觉设计的经典范例。

模型详情

  • 作者: Mingxing Tan、Ruoming Pang 和 Quoc V. Le
  • 组织:Google
  • 日期: 2019-11-20
  • 链接:arXiv、GitHub、文档

架构与核心优势#

EfficientDet 的创新主要体现在两个方面:双向特征金字塔网络(BiFPN)和复合缩放方法。BiFPN 通过引入可学习权重来学习不同输入特征的重要性,并反复执行自顶向下和自底向上的多尺度特征融合,从而实现简单、快速的多尺度特征提取。复合缩放方法则同时对网络的分辨率、深度和宽度进行统一缩放。

EfficientDet 模型从轻量级 D0 到大型 D7,涵盖多种规模。因此,它们适用于边缘 AI部署,开发者可以在严格的计算预算和精度要求之间进行权衡,例如早期移动增强现实应用。

局限性#

EfficientDet 是一种较旧的架构,严重依赖锚框和传统的 NMS 后处理流程。生成锚框需要仔细进行超参数调优,而 NMS 步骤可能会成为 Raspberry Pi 等嵌入式硬件上的部署瓶颈。它也不原生支持姿态估计或有向边界框(OBB)等现代任务。

了解 EfficientDet 的更多信息

性能与指标对比#

要准确了解这些模型之间的权衡,需要分析它们的吞吐量和参数效率。下表概述了现代 RTDETRv2 系列与可扩展 EfficientDet 系列的对比。

模型尺寸
(像素)
mAPval50-95速度
CPU ONNX
(毫秒)
速度
T4 TensorRT10
(ms)
参数
(M)
FLOPs
(B)
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259
EfficientDet-d051234.6-3.923.92.54
EfficientDet-d164040.5-7.316.66.1
EfficientDet-d276843.0-10.928.111.0
EfficientDet-d389647.5-19.5912.024.9
EfficientDet-d4102449.7-33.5520.755.2
EfficientDet-d5128051.5-67.8633.7130.0
EfficientDet-d6128052.6-89.2951.9226.0
EfficientDet-d7153653.7-128.0751.9325.0

如上所示,RTDETRv2 的平均精度均值 (mAP)与尺寸相近的 EfficientDet 模型持平或更高,同时在 GPU 上运行速度快得多(例如,RTDETRv2-l 的 mAP 为 53.4,耗时 9.76 ms;EfficientDet-d6 的 mAP 为 52.6,耗时 89.29 ms),并利用 Transformer 架构提升准确率。

用例与建议#

在 RT-DETR 和 EfficientDet 之间做选择,取决于你的具体项目需求、部署限制和生态系统偏好。

何时选择 RT-DETR#

以下场景适合选择 RT-DETR:

  • 基于 Transformer 的检测研究:探索注意力机制和 Transformer 架构,以实现无需 NMS 的端到端目标检测。
  • 对延迟要求灵活的高精度场景:检测准确率至关重要,且可以接受略高推理延迟的应用。
  • 大型目标检测:场景中的目标以中大型为主,此时 Transformer 的全局注意力机制能够发挥天然优势。

何时选择 EfficientDet#

以下情况推荐使用 EfficientDet:

  • Google Cloud 和 TPU 流程:基于 TensorFlow 的系统运行在 Google Cloud TPU 基础设施上,EfficientDet 的参考实现支持 TPU 训练。
  • 复合缩放研究:侧重研究网络深度、宽度和分辨率平衡缩放效果的学术基准测试。
  • 通过 LiteRT 进行移动端部署:需要导出为 LiteRT(原名 TensorFlow Lite),以用于 Android 或嵌入式 Linux 设备的项目。

何时选择 Ultralytics (YOLO26)#

对于大多数新项目,Ultralytics YOLO26在性能与开发体验之间实现了最佳平衡:

  • 无 NMS 的边缘部署:适用于要求推理延迟稳定且较低,同时不希望增加非极大值抑制后处理复杂度的应用。
  • 仅使用 CPU 的环境:没有专用 GPU 加速的设备;在这类设备上,YOLO26n 的 CPU 推理速度比 YOLO11n 最高快 43%,优势明显。
  • 小目标检测:适用于无人机航拍影像等具有挑战性的场景,或 IoT 传感器分析等需要 ProgLoss 和 STAL 大幅提升微小目标准确率的场景。

Ultralytics 方案#

RTDETRv2 和 EfficientDet 都各有优势,但现代 AI 开发需要兼顾强劲性能和流畅开发者体验的框架。Ultralytics 生态系统为计算机视觉任务提供了更精简流畅的方案。

如果你正在了解现代检测方案,新发布的 Ultralytics YOLO26 融合了 CNN 和 Transformer 的优势。

为什么选择 YOLO26?

YOLO26 实现了可选的端到端无 NMS 设计(nms=False),将 RTDETRv2 的部署简洁性带入高效的 YOLO 架构。它还引入了受 LLM 训练技术启发的 MuSGD 优化器,以提高训练稳定性。借助 移除 DFL(移除分布焦点损失,以简化导出并提高对边缘设备和低功耗设备的兼容性),YOLO26n 的 CPU 推理速度比 YOLO11n 最高快 43%,因此相比更庞大的模型,它更适合边缘计算。ProgLoss + STAL(渐进式损失和小目标感知标签分配)还能显著提升小目标识别能力,这对物联网、机器人和航空影像至关重要。

Ultralytics Python 软件包以易用性为设计目标。开发者可以通过直观的 API 训练、验证和导出模型,而无需编写研究代码库通常要求的大量样板代码。

from ultralytics import RTDETR

# 从 Ultralytics 生态系统加载预训练的 RT-DETR 模型
model = RTDETR("rtdetr-l.pt")

# 使用 COCO8 数据集训练模型
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# 导出模型,以便使用 TensorRT 优化推理
model.export(format="engine")

Ultralytics 模型原生支持多种任务,包括实例分割和图像分类,可为不同行业需求提供多功能工具集。现代 Ultralytics 模型移除了分布焦点损失(DFL),也简化了计算图,从而让模型更顺利地导出到嵌入式 NPU 和 TPU。

在数据标注和模型管理方面,Ultralytics Platform为整个机器学习生命周期提供全面的云端环境,是在生产环境中部署可靠计算机视觉解决方案的理想选择。

评论

提出问题、分享结果,或帮助其他人。