Ultralytics YOLO27：

YOLOX 与 RTDETRv2#

为计算机视觉应用选择最佳架构，需要在准确率、推理速度和部署可行性之间进行谨慎权衡。在这份全面的技术分析中，我们将探讨 YOLOX（一种非常成功的无锚框卷积神经网络（CNN）架构）与 RTDETRv2（一种最先进的实时检测 Transformer）之间的根本差异。

虽然这两个模型都为目标检测领域作出了重要贡献，但构建可用于生产环境的应用时，开发者通常会发现，像 Ultralytics YOLO26 这样的现代替代方案具有更高的训练效率、更低的内存需求以及更完善的部署生态系统。

YOLOX：连接研究与产业之间的鸿沟#

YOLOX 是 YOLO 系列中广受欢迎的无锚框改进版本，通过引入简化设计，在发布之初实现了令人瞩目的性能提升。

  • 作者： Zheng Ge、Songtao Liu、Feng Wang、Zeming Li 和 Jian Sun
  • 组织： Megvii
  • 日期： 2021 年 7 月 18 日
  • 链接： Arxiv、GitHub、文档

架构创新#

YOLOX 将 YOLO 系列转向无锚框范式，集成了解耦头和先进的 SimOTA 标签分配策略。通过消除锚框，该架构显著减少了设计参数数量，并提升了在各种基准数据集上的泛化能力。其轻量级版本 YOLOX-Nano 和 YOLOX-Tiny 成为了在边缘设备上部署视觉 AI 应用的热门选择。

遗留因素

虽然 YOLOX 带来了显著改进，但它依赖复杂的数据增强流程和较旧的后处理方法（例如传统 NMS），与原生端到端模型相比可能导致更高的延迟。

了解有关 YOLOX 的更多信息

RTDETRv2：推进实时视觉 Transformer#

RTDETRv2 在前代模型的基础上，利用视觉 Transformer（ViTs）的强大能力，在不牺牲实时推理速度的情况下实现了极具竞争力的准确率。

  • 作者： Wenyu Lv、Yian Zhao、Qinyao Chang、Kui Huang、Guanzhong Wang 和 Yi Liu
  • 组织： Baidu
  • 日期： 2024-07-24
  • 链接： Arxiv，GitHub

架构创新#

RTDETRv2 通过采用基于 Transformer 的架构，从根本上重新构想了检测流程，原生绕过非极大值抑制（NMS）。这通过混合编码器和 IoU 感知的查询选择实现，从而改善了目标查询的初始化。该模型能够有效处理多尺度特征，使其可以捕捉复杂环境中的细致信息，例如夜间交通视频检测。

然而，Transformer 天生需要大量资源。与基于 CNN 的替代方案相比，训练 RTDETRv2 通常需要显著更多的 GPU 内存和计算周期，这可能会给预算严格受限的团队或需要频繁进行模型调优的团队带来障碍。

了解更多关于 RT-DETR 的信息

性能对比表#

为了客观评估这些架构，我们考察它们在 COCO 数据集上的表现。下表展示了准确率（mAP）、参数量和计算复杂度之间的权衡。

模型尺寸
（像素）		mAPval
50-95		速度
CPU ONNX
（毫秒）		速度
T4 TensorRT10
（毫秒）		参数量
（M）		FLOPs
（B）
YOLOXnano41625.8--0.911.08
YOLOXtiny41632.8--5.066.45
YOLOXs64040.5-2.569.026.8
YOLOXm64046.9-5.4325.373.8
YOLOXl64049.7-9.0454.2155.6
YOLOXx64051.1-16.199.1281.9
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259

虽然 RTDETRv2 实现了令人印象深刻的准确率，但 YOLOX 在轻量级参数规模方面保持优势，尤其是其 Nano 和 Tiny 版本。

使用场景与建议#

在 YOLOX 和 RT-DETR 之间进行选择，取决于你的具体项目需求、部署限制和生态系统偏好。

何时选择 YOLOX#

YOLOX 适合以下场景：

  • 无锚框检测研究： 使用 YOLOX 简洁的无锚框架构作为基线，试验新的检测头或损失函数的学术研究。
  • 超轻量级边缘设备： 部署到微控制器或传统移动硬件上时，YOLOX-Nano 变体极小的体积（0.91M 个参数）至关重要。
  • SimOTA 标签分配研究： 研究基于最优传输的标签分配策略及其对训练收敛影响的项目。

何时选择 RT-DETR#

推荐在以下情况下选择 RT-DETR：

  • 基于 Transformer 的检测研究： 探索注意力机制和 Transformer 架构，以实现无需 NMS 的端到端目标检测的项目。
  • 高精度且延迟灵活的场景： 将检测精度置于首要位置，并且可以接受略高推理延迟的应用。
  • 大型目标检测： 主要包含中大型目标的场景，在这些场景中，Transformer 的全局注意力机制具有天然优势。

何时选择 Ultralytics (YOLO26)#

对于大多数新项目，Ultralytics YOLO26 在性能和开发者体验之间提供了最佳组合：

  • 无 NMS 边缘部署： 适用于需要稳定、低延迟推理，同时又不希望引入非极大值抑制后处理复杂性的应用。
  • 仅使用 CPU 的环境： 适用于没有专用 GPU 加速的设备，此时 YOLO26 最高提升 43% 的 CPU 推理速度将带来决定性优势。
  • 小目标检测： 适用于航空无人机影像或 IoT 传感器分析等具有挑战性的场景，在这些场景中，ProgLoss 和 STAL 能显著提升微小目标的准确率。

Ultralytics 的优势：YOLO26#

虽然 YOLOX 和 RTDETRv2 各具优势，但新发布的 Ultralytics YOLO26 重新定义了视觉 AI 的技术水平，解决了速度、准确率和部署便捷性之间长期存在的权衡问题。

1. 端到端无 NMS 架构#

YOLO26 从 Transformer 模型中汲取灵感，同时保留 CNN 的效率，具备原生的端到端无 NMS 设计。通过消除非极大值抑制这一后处理步骤，YOLO26 大幅简化了部署流程，确保在各种边缘设备上拥有一致的推理延迟，同时无需承担复杂阈值调优的开销。

2. CPU 推理速度最高提升 43%#

不同于严重依赖高端 GPU 的 RTDETRv2 等 Transformer 架构，YOLO26 专为边缘计算环境优化。通过移除 Distribution Focal Loss（DFL），YOLO26 简化了模型导出流程，并实现最高 43% 的 CPU 推理速度提升，使其成为集成到 Raspberry Pi 或标准移动设备中的理想选择。

3. 使用 MuSGD 提升训练效率#

训练 Transformer 模型通常会导致过高的 CUDA 内存消耗和过长的训练时间。YOLO26 引入了全新的 MuSGD 优化器——它是随机梯度下降与受 LLM 启发的 Muon 优化器的混合体。这项创新带来了极其稳定的训练和更快的收敛速度，与 RTDETRv2 相比显著降低了硬件需求。

4. 无与伦比的生态系统与灵活性#

Ultralytics 生态系统提供了直观、简洁的开发者体验。借助完善的文档、活跃的社区支持以及云端驱动的 Ultralytics Platform，管理完整的 AI 生命周期从未如此简单。此外，YOLO26 具有很高的灵活性。RTDETRv2 专注于目标检测，而 YOLO26 原生无缝支持实例分割、姿态估计、图像分类和定向边界框（OBB）任务。在新的 ProgLoss + STAL 损失函数增强下，YOLO26 在小目标识别方面也表现出色，这对于航空影像和工业缺陷检测至关重要。

其他支持的模型

Ultralytics 框架还支持上一代 YOLO11 和 YOLOv8，让用户能够轻松对遗留流程进行基准测试和迁移。

与 Ultralytics 无缝集成#

部署模型不应要求你费力应对复杂且割裂的代码库。Ultralytics Python API 允许你仅用几行代码加载、训练和导出最先进的模型。

from ultralytics import YOLO

# Load the latest YOLO26 nano model for optimal edge performance
model = YOLO("yolo26n.pt")

# Train the model on your custom dataset with minimal memory overhead
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Validate the model's performance
metrics = model.val()

# Export seamlessly to ONNX or TensorRT for deployment
model.export(format="onnx", optimize=True)

借助 Ultralytics，你可以避开研究代码仓库中通常存在的复杂环境配置，从而加快产品上市速度。

结论#

YOLOX 和 RTDETRv2 代表了实时目标检测发展过程中的重要里程碑。YOLOX 证明了高效无锚框 CNN 的可行性，而 RTDETRv2 则成功将 Transformer 适配到实时约束环境中。

然而，对于从智能零售分析到嵌入式机器人等现代应用，Ultralytics YOLO26 提供了确定性的解决方案。通过将无 NMS 推理、无与伦比的 CPU 速度、更低的内存占用以及 Ultralytics Platform 的强大支持融为一体，YOLO26 让开发者能够构建下一代可靠、高性能的计算机视觉系统。

贡献者
GLglenn-jocher16PDpderrenger1

评论