开始使用

EfficientDet 与 RTDETRv2

为计算机视觉项目选择最佳架构,需要在多样的神经网络中做出取舍。本指南比较两种截然不同的方法:可扩展的卷积神经网络(CNN)系列 EfficientDet,以及实时 Transformer 检测器 RTDETRv2。指南将评估它们的结构差异、训练方法,以及在各种硬件环境中的部署适用性。

理解早期 CNN 的效率与现代 Transformer 能力之间的权衡,有助于开发者做出明智选择。本指南还会说明 Ultralytics YOLO26如何通过快速、准确且易用的模型弥合这一差距。

了解 EfficientDet#

EfficientDet 通过引入有原则的模型缩放方法,推动了目标检测的发展。

架构与核心概念#

EfficientDet 的核心是将 EfficientNet 用作骨干网络,并引入双向特征金字塔网络(BiFPN)。BiFPN 通过应用可学习权重来学习不同输入特征的重要性,从而实现快速的多尺度特征融合。此外,它还结合了复合缩放方法,同时统一缩放骨干网络、特征网络以及边界框/类别预测网络的分辨率、深度和宽度。

优势与局限#

EfficientDet 的主要优势在于参数效率。在发布时,与之前的 YOLO 版本相比,EfficientDet-D0 等模型能以更少的参数和 FLOPs 实现更高的准确率,因此对计算资源受到严格限制的环境很有吸引力。

不过,EfficientDet 在后处理期间依赖标准非极大值抑制(NMS)来过滤重叠边界框,这可能会在实时流水线中造成延迟瓶颈。此外,尽管训练流程文档完善,但与现代工具流畅的开发者体验相比,微调 EfficientDet 仍然很繁琐。

了解 EfficientDet 的更多信息

旧版支持

EfficientDet 为可扩展网络铺平了道路,但在现代 NPU 上部署这些模型通常需要大量手动优化。为了简化部署,较新的 Ultralytics 模型提供了一键导出功能。

探索 RTDETRv2#

RTDETRv2 代表了基于 Transformer 的检测器的演进方向,摆脱了传统的基于锚框的 CNN。

Transformer 技术的进步#

RTDETRv2 基于实时检测 Transformer(RT-DETR)基线构建。它采用全局注意力机制,使模型能够理解复杂的场景上下文,不受标准卷积局部约束的限制。其最显著的架构优势是原生无 NMS 设计。通过直接从输入图像预测目标,它简化了推理流水线,避免了 NMS 后处理所需的启发式调优。

优势与劣势#

RTDETRv2 在高密度环境中表现出色,因为重叠目标会让传统 CNN 难以处理。它在COCO 等复杂基准数据集上准确率很高。

尽管准确率很高,Transformer 模型对内存的需求也很大。其训练效率明显较低;与 CNN 相比,它需要更多训练轮次和更大的 CUDA 内存占用才能收敛。因此,对于云预算有限或需要快速原型开发的开发者来说,RTDETRv2 并不理想。

进一步了解 RTDETRv2

Transformer 的内存限制

训练 RTDETRv2 等 Transformer 模型通常需要高端 GPU。如果遇到内存不足 (OOM) 错误,可以考虑使用训练时内存需求较低的模型,例如 Ultralytics YOLO系列。

性能基准对比#

理解原始性能指标对模型选择至关重要。下表比较了不同尺寸的 EfficientDet 和 RTDETRv2。

模型尺寸
(像素)
mAPval50-95速度
CPU ONNX
(毫秒)
速度
T4 TensorRT10
(ms)
参数
(M)
FLOPs
(B)
EfficientDet-d051234.6-3.923.92.54
EfficientDet-d164040.5-7.316.66.1
EfficientDet-d276843.0-10.928.111.0
EfficientDet-d389647.5-19.5912.024.9
EfficientDet-d4102449.7-33.5520.755.2
EfficientDet-d5128051.5-67.8633.7130.0
EfficientDet-d6128052.6-89.2951.9226.0
EfficientDet-d7153653.7-128.0751.9325.0
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259

用例与建议#

选择 EfficientDet 还是 RT-DETR,取决于你的具体项目需求、部署限制和生态系统偏好。

何时选择 EfficientDet#

以下情况适合选择 EfficientDet:

  • Google Cloud 和 TPU 流程:基于 TensorFlow 的系统运行在 Google Cloud TPU 基础设施上,EfficientDet 的参考实现支持 TPU 训练。
  • 复合缩放研究:侧重研究网络深度、宽度和分辨率平衡缩放效果的学术基准测试。
  • 通过 LiteRT 进行移动端部署:需要导出为 LiteRT(原名 TensorFlow Lite),以用于 Android 或嵌入式 Linux 设备的项目。

何时选择 RT-DETR#

以下情况推荐使用 RT-DETR:

  • 基于 Transformer 的检测研究:探索注意力机制和 Transformer 架构,以实现无需 NMS 的端到端目标检测。
  • 对延迟要求灵活的高精度场景:检测准确率至关重要,且可以接受略高推理延迟的应用。
  • 大型目标检测:场景中的目标以中大型为主,此时 Transformer 的全局注意力机制能够发挥天然优势。

何时选择 Ultralytics (YOLO26)#

对于大多数新项目,Ultralytics YOLO26 能提供性能与开发者体验的最佳组合:

  • 无 NMS 的边缘部署:适用于要求推理延迟稳定且较低,同时不希望增加非极大值抑制后处理复杂度的应用。
  • 仅使用 CPU 的环境:没有专用 GPU 加速的设备;在这类设备上,YOLO26n 的 CPU 推理速度比 YOLO11n 最高快 43%,优势明显。
  • 小目标检测:适用于无人机航拍影像等具有挑战性的场景,或 IoT 传感器分析等需要 ProgLoss 和 STAL 大幅提升微小目标准确率的场景。

Ultralytics 的优势:认识 YOLO26#

EfficientDet 和 RTDETRv2 在计算机视觉发展史上都占有一席之地,但现代生产环境要求兼顾速度、准确率和出色的开发者体验。最新发布的 Ultralytics YOLO26 融合了这些不同架构的优势。

YOLO26 的突出之处在于融合了 Ultralytics广为人知的精简生态系统和多项架构改进。

为什么选择 YOLO26 而非其他方案?#

  • 端到端无 NMS 设计:与 RTDETRv2 等 Transformer 类似,YOLO26 提供端到端检测头(nms=False),无需进行 NMS 后处理;与纯 Transformer 相比,它无需大量参数,就能构建更快速、更简单的部署流水线。
  • MuSGD 优化器:受大语言模型训练技术(例如 Moonshot AI 的 Kimi K2 背后的技术)启发,YOLO26 使用 SGD 和 Muon 的混合优化器。与 RTDETRv2 所需的漫长训练周期相比,它能带来稳定训练和更快收敛。
  • 针对边缘端优化:YOLO26n 的 CPU 推理速度比 YOLO11n 最高快 43%,因此 YOLO26 专为边缘 AI打造。它在手机和智能摄像头等资源受限的硬件上,表现优于大型 Transformer 模型。
  • 移除 DFL:移除 Distribution Focal Loss 可简化模型计算图,便于导出到 TensorRT 和 ONNX。
  • ProgLoss + STAL:渐进式损失和小目标感知标签分配显著提升了小目标识别能力,解决了航拍影像和机器人领域常见的瓶颈。
  • 多功能性: RTDETRv2 主要专注于检测,而 YOLO26 原生支持实例分割、图像分类、姿态估计和有向边界框 (OBB),并针对具体任务进行了改进,例如用于姿态估计的 RLE 和用于 OBB 的专用角度损失。
集成式生态系统

借助 Ultralytics Platform,你可以管理数据集,在云端训练 YOLO26 或 YOLO11 等模型,并通过灵活的 API 部署模型。

使用 Ultralytics 简化代码#

维护完善的 Ultralytics Python API让模型训练和推理变得简单。开发者只需编写少量样板代码,就能轻松对模型进行基准测试或启动训练脚本。

from ultralytics import YOLO

# 加载 YOLO26 模型
model = YOLO("yolo26n.pt")

# 在你的自定义数据集上训练模型
results = model.train(data="coco8.yaml", epochs=50, imgsz=640)

# 对测试图像运行推理
predictions = model.predict("image.jpg")

对于管理旧有基础设施的团队,广泛使用的 Ultralytics YOLOv8仍是稳定的选择,体现了 Ultralytics 生态系统的长期可靠性。无论你运行的是复杂的实时跟踪算法,还是简单的缺陷检测,升级到 YOLO26 都能让系统保持准确、节省内存并紧跟发展。

评论

提出问题、分享结果,或帮助其他人。