はじめる

BaiduのRT-DETR:Vision Transformerベースのリアルタイムオブジェクト検出器

概要#

Baiduが開発したリアルタイム検出トランスフォーマー(RT-DETR)は、高い精度を維持しながらリアルタイム性能を実現するエンドツーエンドの物体検出器です。NMSを使用しないトランスフォーマーベースの検出フレームワークであるDETRを基盤とし、畳み込みバックボーンと効率的なハイブリッドエンコーダーを追加することで、リアルタイム速度を実現します。RT-DETRは、スケール内の相互作用とスケール間の融合を分離することで、マルチスケール特徴を効率的に処理します。このモデルは高い適応性を備えており、再学習せずに異なるデコーダーレイヤーを使用して推論速度を柔軟に調整できます。RT-DETRは、CUDAとTensorRTなどの高速化バックエンドで最高の性能を発揮します。



視聴: BaiduのRT-DETRでオブジェクト検出を行う方法 | Ultralyticsでの推論とベンチマーク

Baidu RT-DETRモデルのアーキテクチャ概要 BaiduのRT-DETRの概要。 RT-DETRモデルのアーキテクチャ図では、バックボーンの最後の3つのステージ{S3、S4、S5}がエンコーダーへの入力として示されています。効率的なハイブリッドエンコーダーは、スケール内特徴相互作用(AIFI)とスケール間特徴融合モジュール(CCFM)を通じて、マルチスケール特徴を画像特徴のシーケンスに変換します。IoUを考慮したクエリ選択により、デコーダーの初期オブジェクトクエリとして機能する一定数の画像特徴を選択します。最後に、補助予測ヘッドを備えたデコーダーがオブジェクトクエリを反復的に最適化し、バウンディングボックスと信頼度スコアを生成します(出典)。

主な機能#

  • 効率的なハイブリッドエンコーダー: BaiduのRT-DETRは、スケール内の相互作用とスケール間の融合を分離してマルチスケール特徴を処理する、効率的なハイブリッドエンコーダーを使用します。このTransformerベースの設計は計算コストを削減し、リアルタイムのオブジェクト検出を可能にします。
  • IoUを考慮したクエリ選択: BaiduのRT-DETRは、IoUを考慮したクエリ選択によって、オブジェクトクエリの初期化を改善します。これにより、シーン内で最も関連性の高いオブジェクトにモデルが注目し、検出精度が向上します。
  • 調整可能な推論速度: BaiduのRT-DETRは、再トレーニングすることなく、異なるデコーダーレイヤーを使用して推論速度を柔軟に調整できます。この適応性により、さまざまなリアルタイム物体検出シナリオで実用的に活用できます。
  • NMSを使用しないフレームワーク: DETRを基盤とするRT-DETRは、後処理の非最大抑制を不要にし、検出パイプラインを簡素化して効率を高める可能性があります。
  • アンカーフリー検出: アンカーフリー検出器であるRT-DETRは、検出プロセスを簡素化し、さまざまなデータセットに対する汎化性能を向上させる可能性があります。

事前学習済みモデル#

Ultralytics Python APIでは、異なるスケールの事前学習済みPaddlePaddle RT-DETRモデルを提供しています。

  • RT-DETR-L:COCO val2017で53.0% AP、T4 GPUで114 FPS
  • RT-DETR-X:COCO val2017でAP 54.8%、T4 GPUで74 FPS

Baiduは2024年7月にRTDETRv2を公開し、元のアーキテクチャをさらに改善しました。

使用例#

以下の例では、RT-DETRのシンプルな学習と推論を示します。Ultralytics Platformを通じて、クラウドGPUでモデルを学習することもできます。

例
from ultralytics import RTDETR

# COCOで事前学習済みのRT-DETR-lモデルを読み込みます
model = RTDETR("rtdetr-l.pt")

# モデル情報を表示(任意)
model.info()

# COCO8サンプルデータセットでモデルを100エポック学習する
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# 'bus.jpg'画像に対してRT-DETR-lモデルで推論を実行します
results = model("path/to/bus.jpg")
決定論的なトレーニング

PyTorch 2.0以降を使用してCUDA上でRT-DETRをトレーニングする場合は、deterministic=Falseを設定してください。変形可能アテンションではF.grid_sampleを使用しますが、これは決定論的なCUDAバックワード処理に対応していないため、deterministic=Trueを設定しても実行を再現可能にはできず、トレーニングのスループットが低下する場合があります。seedは引き続き、重みの初期化、データの順序、データ拡張のサンプリングを制御します。

推論速度を高める際のトレードオフ

RT-DETRの事前学習済み重みでは、再トレーニングせずにレイテンシを削減するため、推論時に2つの設定を利用できます。

  • eval_idx:デコードを早期に停止します。デフォルトの6層デコーダーでは、0始まりのインデックス(0~5)を使用します。eval_idx=5では全レイヤーを使用し、eval_idx=3では4レイヤーを使用します。TensorRT v10.11を使用するT4 GPUでは、RT-DETR-Lの性能は4レイヤーの場合、8.0 ms / 52.7 mAPから7.4 ms / 52.5 mAPに向上します。
  • num_queries:オブジェクトクエリを減らします(デフォルト:300)。同じ設定で100に減らすと、COCOで7.4 ms / 51.7 mAPを達成できます。1画像あたりのオブジェクト数が少ないデータセットでは、通常mAPの低下は小さくなりますが、値は1画像あたりに想定される最大オブジェクト数を上回るようにしてください。

どちらの設定でもmAPが低下する可能性があるため、デプロイ前にデータセットでトレードオフを検証してください。

from ultralytics import RTDETR

rtdetr = RTDETR("rtdetr-l.pt")
head = rtdetr.model.model[-1]

# 速度と精度のトレードオフを検証したうえで、いずれか一方または両方の設定を選択してください。
head.decoder.eval_idx = 3  # 6層のうち4層のデコーダーレイヤーを使用します。
head.num_queries = 100  # オブジェクトクエリの数を減らします。

results = rtdetr("path/to/image.jpg")

# エクスポートでは、TensorRTへのエクスポートを含め、同じデコーダー設定とクエリ設定が使用されます。
rtdetr.export(format="engine", device=0, quantize=16)

サポート対象のタスクとモード#

この表では、モデルの種類、各モデルの事前学習済み重み、対応タスク、および✅で示される対応モード(Train、Val、Predict、Export)を示します。

モデルタイプ事前学習済み重みサポートされるタスクトレーニング検証推論エクスポート
RT-DETR Largertdetr-l.pt物体検出✅✅✅✅
RT-DETR Extra-Largertdetr-x.pt物体検出✅✅✅✅
アーキテクチャのみのバリアント

rtdetr-resnet50.yamlとrtdetr-resnet101.yamlは、YAMLアーキテクチャのみで提供されています。Ultralyticsが事前学習済み重みをリリースしているのは、rtdetr-lとrtdetr-xのみです。YAMLからResNetの各バリアントをインスタンス化し(例:RTDETR("rtdetr-resnet50.yaml"))、必要に応じてトレーニングまたはファインチューニングしてください。

最適なユースケース#

RT-DETRは、高い精度とリアルタイム性能の両方が求められる用途に特に適しています。

引用と謝辞#

研究または開発でBaiduのRT-DETRを使用する場合は、原著論文を引用してください。

引用
@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

RTDETRv2については、2024年の論文を引用できます。

引用
@misc{lv2024rtdetrv2,
      title={RT-DETRv2: Improved Baseline with Bag-of-Freebies for Real-Time Detection Transformer},
      author={Wenyu Lv and Yian Zhao and Qinyao Chang and Kui Huang and Guanzhong Wang and Yi Liu},
      year={2024},
      eprint={2407.17140},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

コンピュータビジョンコミュニティにとって貴重なリソースを作成・維持してくださったBaiduとPaddlePaddleチームに感謝します。Transformerベースのリアルタイムオブジェクト検出器RT-DETRの開発に、心より感謝申し上げます。

よくある質問#

  • BaiduのRT-DETR(リアルタイム物体検出Transformer)は、Transformerベースのリアルタイム物体検出モデルです。効率的なハイブリッドエンコーダーを通じて、スケール内の相互作用とスケール間の融合を分離し、マルチスケール特徴を効率的に処理します。IoUを考慮したクエリ選択により、最も関連性の高い物体に注目し、検出精度を高めます。再トレーニングを行わずにデコーダー層を調整して推論速度を変更できるため、RT-DETRはさまざまなリアルタイム物体検出シナリオに適しています。

  • Ultralytics Python APIを使用して、事前学習済みPaddlePaddle RT-DETRモデルを読み込みます。たとえば、COCOで事前学習したRT-DETR-lモデルを読み込み、ファインチューニングして推論を実行するには、次のようにします。

    例
    from ultralytics import RTDETR
    
    # COCOで事前学習済みのRT-DETR-lモデルを読み込みます
    model = RTDETR("rtdetr-l.pt")
    
    # モデル情報を表示(任意)
    model.info()
    
    # COCO8サンプルデータセットでモデルを100エポック学習する
    results = model.train(data="coco8.yaml", epochs=100, imgsz=640)
    
    # 'bus.jpg'画像に対してRT-DETR-lモデルで推論を実行します
    results = model("path/to/bus.jpg")
  • BaiduのRT-DETRは、効率的なハイブリッドエンコーダーとIoUを考慮したクエリ選択を組み合わせ、計算コストを抑えながら高い精度を維持します。再学習せずに異なるデコーダーレイヤーを使用して推論速度を調整できるため、柔軟性が高く、CUDAとTensorRTなどの高速化バックエンドを用いるリアルタイムアプリケーションで役立ちます。また、Transformerアーキテクチャは、従来のCNNベースの検出器よりも広範なコンテキストを捉えます。

  • BaiduのRT-DETRでは、再学習せずに異なるデコーダーレイヤーを使用して推論速度を柔軟に調整できます。これにより、リアルタイムオブジェクト検出タスクで速度と精度のバランスを取れます。デコーダーレイヤーを少なくすると精度がわずかに下がる代わりに処理が高速になり、すべてのレイヤーを使うと最も高精度な検出が得られます。この機能は、計算能力が異なるデバイスにモデルをデプロイする際に特に役立ちます。

  • いいえ。RT-DETRでは、max_detによって推論後に返される予測数の上限を設定できますが、デコーダーが生成するオブジェクトクエリの数は増えません。UltralyticsのRT-DETR事前学習済みチェックポイントは300個のオブジェクトクエリを使用するため、max_detにそれより大きな値を設定しても、1画像あたり300件を超える検出結果は返せません。

    高信頼度の予測結果を少数だけ必要とする場合は、たとえばmax_det=100のようにmax_detを使用して、返される検出結果を減らしてください。データセットに1画像あたり300個を超えるオブジェクトが含まれる可能性がある場合は、モデルYAMLのデコーダークエリ数(nq)を増やしてカスタムRT-DETRモデルをトレーニングしてください。トレーニング後に事前学習済みチェックポイントのこの値を変更しても同等の結果にはならず、追加のクエリを学習するために再トレーニングが必要です。

  • はい。RT-DETRモデルは、Ultralyticsの学習、検証、予測、エクスポートモードに対応しています。Ultralyticsフレームワークは、モデルアーキテクチャを問わず一貫したAPIを提供するため、RT-DETRもYOLOモデルと同じワークフローで使用できます。

コメント148

質問したり、結果を共有したり、ほかの人をサポートしたりできます。

    1. Glenn JocherUltralytics

      Hey there! 👋

      We're really glad you're interested in diving deep into the parameters detailed in the original paper. Specifically, for utilizing parameters as mentioned in the RT-DETR paper ("DETRs Beat YOLOs on Real-time Object Detection"), I recommend focusing on the key components such as the Efficient Hybrid Encoder, IoU-aware Query Selection, and adaptability in Inference Speed adjustments that make RT-DETR efficient.

      Details on these components can be extrapolated to parameter usage within your model through our Python API. For instance, when initializing the RT-DETR model or adjusting inference speed, you would consider the different scales of pre-trained models available:

      from ultralytics import RTDETR
      
      # For a larger model with potentially higher accuracy but lower FPS (Frames Per Second)
      model = RTDETR('rtdetr-l.pt')  
      
      # For an extra-large model prioritizing accuracy over speed
      model_x = RTDETR('rtdetr-x.pt')

      Adjustments for inference speed and applying IoU-aware query selection can directly correlate with your focus during the .train() or .predict() processes, especially understanding what goes behind each configuration setting in these functions.

      Unfortunately, we don't provide a direct mapping for every parameter mentioned in the appendix to code-level argument settings as the implementation abstracts many complexities for user convenience and to maintain the API's simplicity. However, understanding the RT-DETR's key features and translating that understanding into practical API usage is a great way to leverage the power of RT-DETR. 😊

      For more tailored guidance, always feel free to ask or refer to our official documentation for specific examples and deeper insights.

      Happy coding! 🚀

  1. Murat Raimbekov

    hey @wba-zzu, thanks for raising this.

    quick rundown of where things stand:

    resnet50 / resnet101 - the architectures are already shipped as yaml configs:

    you can build and train them straight from yaml:

    from ultralytics import RTDETR
    
    model = RTDETR("rtdetr-resnet50.yaml")
    model.train(data="coco.yaml", epochs=100, imgsz=640)

    however, ultralytics does not publish pretrained weights for these. the only official rt-detr checkpoints in the ultralytics/assets releases are rtdetr-l.pt and rtdetr-x.pt, both of which use the hgnetv2 backbone (not resnet). this is also flagged in the model docs under "architecture-only variants".

    resnet18 - not shipped. there is no rtdetr-resnet18.yaml in the repo, so a resnet18 variant would need its own yaml and corresponding modules added.

    loading external pretrained weights: ultralytics builds the model from yaml, so the state_dict keys follow a pattern like model.<index>.layer.<...>.conv.weight. weights from another implementation will not load directly - they would need a key-mapping / conversion step to match this layout.

    hope this helps!

  2. Boao Wang

    想要将原版RT-DETR中的ResNet50和ResNet18以及ResNet101完全移植到Ultralytics,并且获得其预训练模型

  3. 995742853GitHub

    您好,我想请问一下,在哪里有基于rtdetr-resnet50的预训练pt权重,我知道看到rtdetr-l以及x的预训练权重

    1. Glenn JocherUltralytics

      Ultralytics currently exposes the original RT-DETR pretrained weights (rtdetr-l.pt, rtdetr-x.pt) via the RTDETR API; RT-DETRv2 pretrained weights/configs aren’t packaged in ultralytics yet, so if you share what RT-DETRv2 checkpoint you have (Paddle vs PyTorch) and how you’re trying to run it, we can point you to the right conversion/workflow—meanwhile you can use RT-DETR as shown in the RT-DETR docs.

      from ultralytics import RTDETR
      
      model = RTDETR("rtdetr-l.pt")
      results = model("path/to/image.jpg")
  4. fxc0627GitHub

    你好,请问RE-DETR模型适用于小目标工业缺陷检测吗?对于小目标检测有什么天然的优势?

  5. wang18382140151-hubGitHub

    你好,最近deim,dfine等对于rtdetr有了很好的改进,尤其是deim能很好的加速训练的速度,能将其整合进rtdetr中吗?