BaiduのRT-DETR：Vision Transformerベースのリアルタイム物体検出器#

概要#

Baiduが開発したReal-Time Detection Transformer（RT-DETR）は、高い精度を維持しながらリアルタイム性能を提供する、最先端のエンドツーエンド物体検出器です。DETR（NMSフレームワーク）を基盤としつつ、畳み込みベースのバックボーンと効率的なハイブリッドエンコーダーを導入して、リアルタイム速度を実現しています。RT-DETRは、スケール内の相互作用とスケール間の融合を分離することで、マルチスケール特徴を効率的に処理します。このモデルは高い適応性を備えており、再学習なしで異なるデコーダーレイヤーを使用して推論速度を柔軟に調整できます。RT-DETRは、TensorRTを使用したCUDAなどの高速化バックエンドで優れた性能を発揮し、他の多くのリアルタイム物体検出器を上回ります。

BaiduのRT-DETRの概要。 RT-DETRモデルのアーキテクチャ図では、バックボーンの最後の3段階 {S3, S4, S5} がエンコーダーへの入力として示されています。効率的なハイブリッドエンコーダーは、スケール内特徴の相互作用（AIFI）とスケール間特徴融合モジュール（CCFM）を通じて、マルチスケール特徴を画像特徴のシーケンスに変換します。IoU対応クエリ選択を使用して、固定数の画像特徴を選択し、デコーダーの初期オブジェクトクエリとして使用します。最後に、補助予測ヘッドを備えたデコーダーがオブジェクトクエリを反復的に最適化し、ボックスと信頼度スコアを生成します（出典）。

主な特徴#

• 効率的なハイブリッドエンコーダー： BaiduのRT-DETRは、スケール内の相互作用とスケール間の融合を分離することでマルチスケール特徴を処理する、効率的なハイブリッドエンコーダーを使用します。この独自のVision Transformerベースの設計により、計算コストを削減し、リアルタイムの物体検出を可能にします。
• IoU対応クエリ選択： BaiduのRT-DETRは、IoU対応クエリ選択を利用してオブジェクトクエリの初期化を改善します。これにより、モデルはシーン内で最も関連性の高いオブジェクトに集中でき、検出精度が向上します。
• 適応可能な推論速度： BaiduのRT-DETRは、再学習を必要とせず、異なるデコーダーレイヤーを使用して推論速度を柔軟に調整できます。この適応性により、さまざまなリアルタイム物体検出シナリオでの実用的な適用が容易になります。
• NMSフリーフレームワーク： DETRを基盤とするRT-DETRは、非最大抑制の後処理を不要にし、検出パイプラインを簡素化するとともに、効率を向上させる可能性があります。
• アンカーフリー検出： アンカーフリー検出器であるRT-DETRは、検出プロセスを簡素化し、異なるデータセット間での汎化性能を向上させる可能性があります。

事前トレーニング済みモデル#

Ultralytics Python APIは、異なるスケールの事前学習済みPaddlePaddle RT-DETRモデルを提供します。

• RT-DETR-L：COCO val2017で53.0% AP、T4 GPUで114 FPS
• RT-DETR-X：COCO val2017で54.8% AP、T4 GPUで74 FPS

さらに、Baiduは2024年7月にRTDETRv2をリリースしました。これは、性能指標を向上させることで従来のアーキテクチャをさらに改良したものです。

使用例#

この例では、RT-DETRのトレーニングと推論の簡単な例を紹介します。これらおよびその他のモードの完全なドキュメントについては、Predict、Train、Val、Exportのドキュメントページを参照してください。モデルは、Ultralytics Platformを通じてクラウドGPU上でトレーニングすることもできます。

from ultralytics import RTDETR

# Load a COCO-pretrained RT-DETR-l model
model = RTDETR("rtdetr-l.pt")

# Display model information (optional)
model.info()

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the RT-DETR-l model on the 'bus.jpg' image
results = model("path/to/bus.jpg")

from ultralytics import RTDETR

rtdetr = RTDETR("rtdetr-l.pt")
head = rtdetr.model.model[-1]

# Choose one or both settings after validating the speed/accuracy trade-off.
head.decoder.eval_idx = 3  # Use 4 of 6 decoder layers.
head.num_queries = 100  # Use fewer object queries.

results = rtdetr("path/to/image.jpg")

# Export uses the same decoder and query settings, including TensorRT exports.
rtdetr.export(format="engine", device=0, quantize=16)

サポートされるタスクとモード#

このテーブルは、モデルタイプ、特定の事前学習済みウェイト、各モデルがサポートするタスク、および ✅ 絵文字で示されているサポートされているさまざまなモード（Train、Val、Predict、Export）を示しています。

理想的なユースケース#

RT-DETRは、高い精度とリアルタイム性能の両方が求められるアプリケーションに特に適しています。

• 自動運転：速度と精度の両方が重要な自動運転システムで、信頼性の高い環境認識を実現します。自動運転車におけるAIについて詳しく見る。
• 高度なロボティクス：動的な環境で、正確な物体認識とインタラクションを必要とする複雑なタスクをロボットが実行できるようにします。ロボティクスにおけるAIの役割を見る。
• 医用画像：物体検出の精度が診断に不可欠となる可能性がある、ヘルスケア分野のアプリケーションに適しています。ヘルスケアにおけるAIについて見る。
• 監視システム：高い検出精度でのリアルタイム監視を必要とするセキュリティアプリケーションに適しています。セキュリティアラームシステムについて学ぶ。
• 衛星画像分析：グローバルコンテキストの理解が重要となる、高解像度画像の詳細な分析に適しています。衛星画像におけるコンピュータービジョンについて読む。

引用と謝辞#

研究または開発でBaiduのRT-DETRを使用する場合は、原論文を引用してください。

@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

RTDETRv2については、2024年の論文を引用できます。

@misc{lv2024rtdetrv2,
      title={RTDETRv2: All-in-One Detection Transformer Beats YOLO and DINO},
      author={Wenyu Lv and Yian Zhao and Qinyao Chang and Kui Huang and Guanzhong Wang and Yi Liu},
      year={2024},
      eprint={2407.17140},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

この貴重なリソースを作成・維持しているBaiduおよびPaddlePaddleチームに、コンピュータービジョンコミュニティを代表して謝意を表します。Vision Transformerベースのリアルタイム物体検出器RT-DETRの開発を通じた同チームの分野への貢献に、深く感謝いたします。

FAQ#