BaiduのRT-DETR：Vision Transformerベースのリアルタイム物体検出器#

概要#

Baiduが開発したリアルタイム検出Transformer（RT-DETR）は、高い精度を維持しながらリアルタイム性能を実現する、最先端のエンドツーエンド物体検出器です。DETR（NMSフレームワークを使用しない方式）の考え方を基盤としつつ、畳み込みベースのバックボーンと効率的なハイブリッドエンコーダーを導入することで、リアルタイムの速度を実現しています。RT-DETRは、スケール内の相互作用とスケール間の融合を分離することで、マルチスケール特徴を効率的に処理します。モデルは高い適応性を備えており、再トレーニングなしで異なるデコーダーレイヤーを使用して推論速度を柔軟に調整できます。RT-DETRは、TensorRTを使用したCUDAなどの高速化バックエンドで優れた性能を発揮し、多くのほかのリアルタイム物体検出器を上回ります。

BaiduのRT-DETRの概要。 RT-DETRモデルのアーキテクチャ図では、バックボーンの最後の3つのステージ{S3、S4、S5}がエンコーダーへの入力として示されています。効率的なハイブリッドエンコーダーは、スケール内特徴相互作用（AIFI）とスケール間特徴融合モジュール（CCFM）を通じて、マルチスケール特徴を画像特徴のシーケンスに変換します。IoUを考慮したクエリ選択により、デコーダーの初期オブジェクトクエリとして機能する一定数の画像特徴を選択します。最後に、補助予測ヘッドを備えたデコーダーがオブジェクトクエリを反復的に最適化し、バウンディングボックスと信頼度スコアを生成します（出典）。

主な機能#

• 効率的なハイブリッドエンコーダー： BaiduのRT-DETRは、スケール内の相互作用とスケール間の融合を分離してマルチスケール特徴を処理する、効率的なハイブリッドエンコーダーを使用します。この独自のVision Transformerベースの設計により、計算コストを削減し、リアルタイムの物体検出を可能にします。
• IoUを考慮したクエリ選択： BaiduのRT-DETRは、IoUを考慮したクエリ選択を利用してオブジェクトクエリの初期化を改善します。これにより、モデルはシーン内の最も関連性の高いオブジェクトに注目し、検出精度を高めます。
• 調整可能な推論速度： BaiduのRT-DETRは、再トレーニングすることなく、異なるデコーダーレイヤーを使用して推論速度を柔軟に調整できます。この適応性により、さまざまなリアルタイム物体検出シナリオで実用的に活用できます。
• NMSを使用しないフレームワーク： DETRを基盤とするRT-DETRは、後処理の非最大抑制を不要にし、検出パイプラインを簡素化して効率を高める可能性があります。
• アンカーフリー検出： アンカーフリー検出器であるRT-DETRは、検出プロセスを簡素化し、さまざまなデータセットに対する汎化性能を向上させる可能性があります。

事前学習済みモデル#

Ultralytics Python APIでは、異なるスケールの事前学習済みPaddlePaddle RT-DETRモデルを提供しています。

• RT-DETR-L：COCO val2017でAP 53.0%、T4 GPUで114 FPS
• RT-DETR-X：COCO val2017でAP 54.8%、T4 GPUで74 FPS

さらに、Baiduは2024年7月にRTDETRv2をリリースし、性能指標を向上させて元のアーキテクチャをさらに改良しました。

使用例#

この例では、RT-DETRのトレーニングと推論の基本的な使用例を紹介します。これらのモードやほかのモードの詳細については、Predict、Train、Val、Exportのドキュメントページをご覧ください。Ultralytics Platformを通じて、クラウドGPU上でモデルをトレーニングすることもできます。

from ultralytics import RTDETR

# COCOで事前学習済みのRT-DETR-lモデルを読み込みます
model = RTDETR("rtdetr-l.pt")

# モデル情報を表示（任意）
model.info()

# COCO8サンプルデータセットでモデルを100エポック学習する
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# 'bus.jpg'画像に対してRT-DETR-lモデルで推論を実行します
results = model("path/to/bus.jpg")

from ultralytics import RTDETR

rtdetr = RTDETR("rtdetr-l.pt")
head = rtdetr.model.model[-1]

# 速度と精度のトレードオフを検証したうえで、いずれか一方または両方の設定を選択してください。
head.decoder.eval_idx = 3  # 6層のうち4層のデコーダーレイヤーを使用します。
head.num_queries = 100  # オブジェクトクエリの数を減らします。

results = rtdetr("path/to/image.jpg")

# エクスポートでは、TensorRTへのエクスポートを含め、同じデコーダー設定とクエリ設定が使用されます。
rtdetr.export(format="engine", device=0, quantize=16)

サポート対象のタスクとモード#

この表では、モデルの種類、対応する事前学習済み重み、各モデルがサポートするタスク、およびサポート対象を✅で示した対応モード（Train、Val、Predict、Export）を紹介します。

最適なユースケース#

RT-DETRは、高い精度とリアルタイム性能の両方が求められる用途に特に適しています。

• 自動運転： 速度と精度の両方が重要となる自動運転システムで、信頼性の高い環境認識を実現します。自動運転車におけるAIについて詳しく見る。
• 高度なロボティクス： 動的な環境で正確な物体認識とインタラクションを必要とする複雑なタスクを、ロボットが実行できるようにします。ロボティクスにおけるAIの役割をご覧ください。
• 医用画像： 物体検出の精度が診断に不可欠となる医療分野の用途に適しています。医療分野におけるAIをご覧ください。
• 監視システム： 高い検出精度によるリアルタイム監視が求められるセキュリティ用途に適しています。セキュリティアラームシステムについて詳しく見る。
• 衛星画像解析： グローバルなコンテキストの理解が重要となる、高解像度画像の詳細な解析に適しています。衛星画像におけるコンピュータービジョンについて読む。

引用と謝辞#

研究または開発でBaiduのRT-DETRを使用する場合は、原著論文を引用してください。

@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

RTDETRv2については、2024年の論文を引用できます。

@misc{lv2024rtdetrv2,
      title={RTDETRv2: All-in-One Detection Transformer Beats YOLO and DINO},
      author={Wenyu Lv and Yian Zhao and Qinyao Chang and Kui Huang and Guanzhong Wang and Yi Liu},
      year={2024},
      eprint={2407.17140},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

この貴重なリソースを作成・保守しているBaiduとPaddlePaddleチームに、コンピュータービジョンコミュニティを代表して感謝します。Vision Transformerベースのリアルタイム物体検出器RT-DETRの開発を通じた、この分野への貢献に深く感謝します。

よくある質問#