开始使用

YOLOX 与 RTDETRv2

为计算机视觉应用选择最优架构,需要仔细权衡精度、推理速度和部署可行性。这篇技术分析将探讨 YOLOX(广泛使用的无锚框 CNN 架构)与 RTDETRv2(实时检测 Transformer)之间的主要区别。

这两种模型都为目标检测领域作出了重要贡献,但构建生产级应用的开发者往往会发现,像 Ultralytics YOLO26 这样的新型替代方案训练效率更高、内存需求更低,部署生态也更成熟。

YOLOX:弥合研究与工业之间的差距#

YOLOX 是 YOLO 系列中广受欢迎的无锚框改进版本。它采用了简化的设计,并在发布时带来了显著的性能提升。

  • 作者:郑革、刘松涛、王峰、李泽明和孙剑
  • 机构:旷视科技
  • 日期: 2021 年 7 月 18 日
  • 链接:arXiv、GitHub、文档

架构创新#

YOLOX 将 YOLO 系列转向无锚框范式,并集成了解耦头和 SimOTA 标签分配策略。通过移除锚框,该架构大幅减少了设计参数,并提升了在不同基准数据集上的泛化能力。YOLOX-Nano 和 YOLOX-Tiny 等轻量版本成为在边缘设备上部署视觉 AI 应用的热门选择。

遗留问题

YOLOX 带来了显著进步,但它依赖传统的非极大值抑制(NMS)后处理,与原生端到端模型相比,可能会导致更高的延迟。

详细了解 YOLOX

RTDETRv2:推动实时视觉 Transformer 发展#

RTDETRv2 在其前代模型 RT-DETR 的基础上,使用视觉 Transformer(ViT),在保持实时推理速度的同时实现了有竞争力的精度。

  • 作者: Wenyu Lv、Yian Zhao、Qinyao Chang、Kui Huang、Guanzhong Wang 和 Yi Liu
  • 组织: 百度
  • 日期: 2024-07-24
  • 链接:arXiv、GitHub

架构创新#

RTDETRv2 采用基于 Transformer 的架构重新设计检测流程,原生绕过 NMS。它通过混合编码器和 IoU 感知查询选择来实现这一点,从而改进目标查询的初始化。该模型能有效处理多尺度特征,因此可以捕捉复杂环境中的细节,例如夜间交通视频检测。

不过,Transformer 对资源的需求很高。训练 RTDETRv2 通常比基于 CNN 的替代方案需要更多的 GPU 内存和计算资源,这可能会给预算严格的团队或需要频繁调优模型的团队带来困难。

进一步了解 RTDETRv2

性能对比表#

为了客观评估这些架构,我们考察它们在 COCO 数据集上的表现。下表展示了精度(mAP)、参数量和计算复杂度之间的权衡。

模型尺寸
(像素)
mAPval50-95速度
CPU ONNX
(毫秒)
速度
T4 TensorRT10
(ms)
参数
(M)
FLOPs
(B)
YOLOXnano41625.8--0.911.08
YOLOXtiny41632.8--5.066.45
YOLOXs64040.5-2.569.026.8
YOLOXm64046.9-5.4325.373.8
YOLOXl64049.7-9.0454.2155.6
YOLOXx64051.1-16.199.1281.9
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259

RTDETRv2 在相近延迟下精度更高(例如,RTDETRv2-x 的 mAP 为 54.3、耗时 15.03 ms,而 YOLOXx 的 mAP 为 51.1、耗时 16.1 ms);而 YOLOX 在轻量级参数配置方面仍占优势,尤其是 Nano 和 Tiny 版本。

用例与建议#

选择 YOLOX 还是 RT-DETR,取决于你的具体项目需求、部署限制和生态偏好。

何时选择 YOLOX#

YOLOX 适合以下场景:

  • 无锚框检测研究:学术研究使用 YOLOX 简洁的无锚框架构作为基线,以试验新的检测头或损失函数。
  • 超轻量级边缘设备:部署到微控制器或旧款移动硬件时,YOLOX-Nano 变体极小的体积(0.91M 个参数)至关重要。
  • SimOTA 标签分配研究:研究项目用于探索基于最优传输的标签分配策略及其对训练收敛的影响。

何时选择 RT-DETR#

以下情况推荐使用 RT-DETR:

  • 基于 Transformer 的检测研究:探索注意力机制和 Transformer 架构,以实现无需 NMS 的端到端目标检测。
  • 对延迟要求灵活的高精度场景:检测准确率至关重要,且可以接受略高推理延迟的应用。
  • 大型目标检测:场景中的目标以中大型为主,此时 Transformer 的全局注意力机制能够发挥天然优势。

何时选择 Ultralytics (YOLO26)#

对于大多数新项目,Ultralytics YOLO26 能提供性能与开发者体验的最佳组合:

  • 无 NMS 的边缘部署:适用于要求推理延迟稳定且较低,同时不希望增加非极大值抑制后处理复杂度的应用。
  • 仅使用 CPU 的环境: 没有专用 GPU 加速的设备中,YOLO26n 的 CPU 推理速度最高比 YOLO11n 快 43%,优势显著。
  • 小目标检测:具有挑战性的场景,例如无人机航拍图像或 IoT 传感器分析。在这些场景中,ProgLoss 和 STAL 可以提升微小目标的检测精度。

Ultralytics 的优势:YOLO26#

YOLOX 和 RTDETRv2 各有优势,而于 2026 年 1 月发布的 Ultralytics YOLO26 解决了速度、精度和易部署性之间的许多传统权衡问题。

1. 端到端无 NMS 架构#

YOLO26 借鉴了 Transformer 模型,同时保留 CNN 的高效性,并提供可选的端到端无 NMS 设计(nms=False)。通过移除作为后处理步骤的非极大值抑制,YOLO26 简化了部署流程,确保它在各种边缘设备上都能保持稳定的推理延迟,无需复杂的阈值调优。

2. CPU 推理速度最多提升 43%#

与通常依赖 GPU 的 RTDETRv2 等 Transformer 架构不同,YOLO26 针对边缘计算环境进行了优化。移除分布焦点损失(DFL)后,YOLO26 简化了模型导出;YOLO26n 的 CPU 推理速度比 YOLO11n 最多快 43%,适合集成到 Raspberry Pi 等硬件或普通移动设备中。

3. 借助 MuSGD 提升训练效率#

训练 Transformer 模型通常会导致CUDA 内存占用过高、训练时间过长。YOLO26 引入了MuSGD 优化器,它结合了随机梯度下降和受 LLM 启发的 Muon 优化器,可实现稳定训练并加快收敛。结合 CNN 架构后,YOLO26 的训练硬件需求低于 RTDETRv2。

4. 生态系统与灵活性#

Ultralytics 生态提供直观、精简的开发者体验。借助详尽的文档、活跃的社区支持以及云端驱动的 Ultralytics Platform,管理完整的 AI 生命周期非常简单。YOLO26 也很灵活:RTDETRv2 专注于目标检测,而 YOLO26 原生支持实例分割、图像分类、姿态估计和有向边界框(OBB)任务。借助新的 ProgLoss + STAL(渐进式损失与小目标感知标签分配),YOLO26 还提升了小目标检测能力,这对航拍图像和工业缺陷检测至关重要。

其他支持的模型

Ultralytics 框架还支持上一代的 YOLO11 和 YOLOv8,方便用户轻松评测模型并迁移旧有工作流。

与 Ultralytics 集成#

部署模型不该意味着要与复杂、零散的代码库苦苦周旋。借助 Ultralytics Python API,只需几行代码,你就能加载、训练和导出先进模型。

from ultralytics import YOLO

# 加载最新的 YOLO26 nano 模型,以获得最佳边缘性能
model = YOLO("yolo26n.pt")

# 使用自定义数据集训练模型,同时最大限度减少内存开销
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# 验证模型性能
metrics = model.val()

# 导出为 ONNX 或 TensorRT,以便部署
model.export(format="onnx")

借助 Ultralytics,你无需面对研究代码库中常见的复杂环境配置问题,从而加快产品上市速度。

结论#

YOLOX 和 RTDETRv2 是实时目标检测发展历程中的重要里程碑。YOLOX 验证了高效无锚框 CNN 的可行性,而 RTDETRv2 则成功地将 Transformer 应用于实时场景。

不过,对于从智能零售分析到嵌入式机器人的现代应用,Ultralytics YOLO26 是推荐之选。YOLO26 将无 NMS 推理、快速 CPU 速度、较低的内存占用和 Ultralytics Platform 支持结合起来,帮助开发者构建可靠、高性能的计算机视觉系统。

评论

提出问题、分享结果,或帮助其他人。