YOLOE：リアルタイムオープンボキャブラリー検出およびセグメンテーション#

Ultralytics YOLOE (Real-Time Seeing Anything) は、オープンボキャブラリー検出およびインスタンスセグメンテーションモデルです。トレーニング時に固定されたクラスリストの代わりに、推論時にテキストプロンプト、視覚的な例、または組み込みの4,585名のボキャブラリーとして、必要なカテゴリを受け取ります。Ultralytics YOLO アーキテクチャ（YOLOv8、YOLO11、YOLO26）をベースにし、YOLO-WorldにインスパイアされたYOLOEは、クローズドセットのYOLOに近い速度でありながら、最先端のゼロショット精度を実現します。

クイックスタート#

必要なクラスを指定して実行します。YOLOE-26は、これまでに一度もトレーニングされたことのないカテゴリのバウンディングボックスとインスタンスセグメンテーションマスクを返します。

from ultralytics import YOLOE

model = YOLOE("yoloe-26s-seg.pt")

# "double-decker bus" is not a COCO class; YOLOE resolves it from the words alone
model.set_classes(["double-decker bus", "person"])

results = model.predict("https://ultralytics.com/images/bus.jpg")
results[0].show()

最初の set_classes() の呼び出しによりテキストエンコーダーがダウンロードされます。ネットワーク接続のないマシンにデプロイする前に、インストールと要件を確認してください。

プロンプトモードの選択#

YOLOEは3つのプロンプトモードをサポートしており、選択によってロードするチェックポイントとクラスラベルの外観が決まります。推論時に提供できるものに一致する行を選択してください。

インストールと要件#

YOLOEはメインのUltralyticsパッケージに含まれて提供されます：

pip install -U ultralytics

テキストプロンプトには、その上にテキストエンコーダーが必要であり、インストール時ではなく、初回の使用時に取得されます：

• 最初の set_classes() の呼び出しにより、GitHubから pip を用いて ultralytics/CLIP がインストールされ（トークナイザーを提供）、カレントワーキングディレクトリに TorchScript テキストエンコーダーがダウンロードされます。YOLOE-26は約254 MBの mobileclip2_b.ts を取得し、YOLOE-11およびYOLOE-v8は mobileclip_blt.ts を取得します。実行元のディレクトリから一度ダウンロードを実行するか、ファイルをそこにコピーしてください。そうしないと、再度取得されます。
• 両方のステップでネットワークアクセスが必要になるため、オフラインまたはエアギャップ環境のマシンにデプロイする前に、プロンプト付きの予測を1回実行してください。
• ビジュアルプロンプトとプロンプトフリーのチェックポイントには、テキストエンコーダーは一切不要です。

YOLOE-26チェックポイントには ultralytics 8.4.0 以降が必要ですが、YOLOE-11およびYOLOE-v8ファミリーは以前のリリースでも利用可能です。テキストプロンプトによる予測を1回行うことで、チェックポイントのダウンロード、CLIPのインストール、テキストエンコーダー、推論の一連のパスが実行されます：

yolo predict model=yoloe-26s-seg.pt source="https://ultralytics.com/images/bus.jpg" classes="person"

推論時のテキストエンコーダーのダウンロードを完全にスキップするには、プロンプトを重みに一度埋め込んで再利用します。プロンプト埋め込みの再利用を参照してください。

アーキテクチャの概要#

YOLOEは、標準的なYOLO構造（特徴抽出用の畳み込みバックボーン、マルチスケール融合用のネック、クラスとボックスを予測するアンカーフリーのデカップルドヘッド）を維持し、プロンプトモードごとに1つずつ、合計3つのモジュールを追加しています：

• Re-parameterizable Region-Text Alignment (RepRTA) は、小型の補助ネットワークを介してCLIPからのテキスト埋め込みを洗練させます。このネットワークは set_classes() の呼び出しごとに1回実行され、エクスポート時には畳み込まれて消失するため、フレームあたりのコストは発生しません。すべてのフォワードパスで実際に実行されるのは、保存されたプロンプト埋め込みと領域特徴量との比較です。大規模なプロンプトセットを使用する場合のコストについては、制限事項を参照してください。
• Semantic-Activated Visual Prompt Encoder (SAVPE) は、サンプルボックスからセマンティックおよびアクティベーションの特徴量をエンコードし、それに似たオブジェクトにモデルを適応させます。これは、ロゴや特定のパーツなど、名前を付けにくいターゲットのためのワンショットパスです。
• Lazy Region-Prompt Contrast (LRPC) は、領域埋め込みを組み込みの4,585名のボキャブラリーと照合するため、プロンプトフリーのチェックポイントは、外部プロンプトやテキストエンコーダーなしでオブジェクトを認識します。

インスタンスセグメンテーションは、YOLOv8-Segと同様に検出ヘッドのマスクブランチから行われ、すべての予測には results[0].masks 上にマスクが付属します。モデルがエクスポートされると、オープンワールドモジュールは標準のYOLOヘッドに再パラメータ化されるため、エクスポートされたファイルは通常の検出/セグメンテーションパスを実行します。

利用可能なモデル#

以下の各チェックポイントはインスタンスセグメンテーションモデルであり、val、predict、export、trackをサポートしています。テキストプロンプトまたはビジュアルプロンプトには *-seg.ptファイルをロードし、プロンプトフリーの推論には *-seg-pf.ptファイルをロードします。これらは互換性がありません。プロンプトモードの選択を参照してください。trainをサポートしているのは *-seg.ptファイルのみです。プロンプトフリーのチェックポイントは、トレーニング済みのテキストプロンプトモデルから生成されます。スクラッチからの公式モデルのトレーニングを参照してください。

LVISにおけるYOLOEのパフォーマンス#

Ultralytics YOLO26の論文に基づく、640ピクセルでのLVIS minivalでのゼロショット結果。

テキストおよびビジュアルプロンプト#

各精度およびパラメータのセルは テキストプロンプト / ビジュアルプロンプト を示し、FLOPsは1回分記載されています。パラメータとFLOPsは、論文が評価している検出構成の値です。精度は論文のNon-E2Eの数値であり、比較対象のすべてのモデルで報告されている唯一のプロトコルです。YOLOE-26のエンドツーエンドヘッドは、テキストプロンプトで最大1.1 AP、ビジュアルプロンプトで最大2.6 AP下回ります。

プロンプトフリー#

プロンプトフリーのチェックポイントは、プロンプトを指定することなく、組み込みのボキャブラリーから応答します。各精度セルは、YOLOE-26が評価されている2つのプロトコルである エンドツーエンド / Non-E2E を示しています。YOLO26ページではNon-E2Eの列を引用しています。

テキストおよびビジュアルプロンプトの下で、YOLOE-26モデルはmAP_50-95のすべての対応するスケールでYOLOE-11およびYOLOE-v8の対応モデルを上回る一方、パラメータとFLOPsの面ではv8を下回っています。同じ分割において、論文はYOLO-Worldv2を24.4 (S)、32.4 (M)、35.5 (L) と報告しており、Transformerベースの検出器であるGLIP-Tを26.0、GDINO-Tを27.4、DetCLIP-Tを34.4と報告しています。それぞれ1億5,500万から2億3,200万のパラメータを持っています。オリジナルのYOLOEの論文では、導入されたv8スケールのモデルに対する2つの結果が追加されています。LVISにおいて、YOLOE-v8sはYOLO-Worldv2-Sを 3.5 AP 上回り、トレーニングコストは3分の1、推論速度は1.4倍となっています。COCOに転移した場合、YOLOE-v8lはクローズドセットのYOLOv8-Lと比較して、4倍近い少ないトレーニング時間で 0.6ボックスAP および 0.4マスクAP の向上を達成しています。

使用例#

以下のすべてのYOLOEの例は、Python APIから実行されます。テキストプロンプトによる予測、検証、エクスポート、トラッキング、および通常のトレーニングはCLIからも機能しますが、ファインチューニングのレシピとビジュアルプロンプトでは、引数としてトレーナーまたはプレディクタークラスを渡す必要があり、これはPython APIでのみ受け付けられます。

学習の使用方法#

リリースされた任意の *-seg.pt チェックポイントをご自身のYOLOデータセットでファインチューニングします。これは基本的に標準的なYOLOトレーニング手順に従いますが、違いはどのトレーナーを渡すかという点です。YOLOEPESegTrainer はクラス名をヘッドに統合し、そこからファインチューニングを行います。これは独自のラベルを使用する場合に望ましい動作であり、デフォルトのトレーナーはクラス名に対してトレーニングを行いません。

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEPESegTrainer

model = YOLOE("yoloe-26s-seg.pt")

results = model.train(
    data="coco128-seg.yaml",
    epochs=80,
    patience=10,
    trainer=YOLOEPESegTrainer,  # <- Important: the fine-tuning trainer, not the default
)

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEPETrainer

model = YOLOE("yoloe-26s.yaml").load("yoloe-26s-seg.pt")

results = model.train(data="coco128.yaml", epochs=80, patience=10, trainer=YOLOEPETrainer)

Predictの使用方法#

テキストプロンプトの呼び出しは、クイックスタートに示されているものです。残りの2つのモードには、それぞれ追加の引数が必要です：

import numpy as np

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEVPSegPredictor

model = YOLOE("yoloe-26l-seg.pt")

# One example box per target, each with its own class ID
visual_prompts = {
    "bboxes": np.array([[221.52, 405.8, 344.98, 857.54], [120, 425, 160, 445]]),  # person, glasses
    "cls": np.array([0, 1]),
}

results = model.predict(
    "ultralytics/assets/bus.jpg",
    visual_prompts=visual_prompts,
    predictor=YOLOEVPSegPredictor,
)
results[0].show()

import numpy as np

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEVPSegPredictor

model = YOLOE("yoloe-26l-seg.pt")

visual_prompts = {"bboxes": np.array([[221.52, 405.8, 344.98, 857.54]]), "cls": np.array([0])}  # person

results = model.predict(
    "ultralytics/assets/zidane.jpg",  # Target image
    refer_image="ultralytics/assets/bus.jpg",  # Where the example boxes live
    visual_prompts=visual_prompts,
    predictor=YOLOEVPSegPredictor,
)
results[0].show()

# refer_image also sets the classes permanently, so later calls need no prompts at all
results = model("ultralytics/assets/bus.jpg")
model.export(format="onnx")  # And the export keeps them

import numpy as np
import torch

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEVPSegPredictor

model = YOLOE("yoloe-11l-seg.pt")

img_tensor = torch.rand(1, 3, 480, 480)  # (1, 3, H, W) float tensor in [0, 1]
visual_prompts = {"bboxes": np.array([[10, 10, 50, 50]]), "cls": np.array([0])}

results = model.predict(
    img_tensor,
    refer_image=img_tensor,
    visual_prompts=visual_prompts,
    predictor=YOLOEVPSegPredictor,
    imgsz=640,
)

import numpy as np

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEVPSegPredictor

model = YOLOE("yoloe-26l-seg.pt")

visual_prompts = {
    "bboxes": [
        np.array([[221.52, 405.8, 344.98, 857.54], [120, 425, 160, 445]]),  # bus.jpg: person, glasses
        np.array([[150, 200, 1150, 700]]),  # zidane.jpg: person
    ],
    "cls": [np.array([0, 1]), np.array([0])],
}

results = model.predict(
    ["ultralytics/assets/bus.jpg", "ultralytics/assets/zidane.jpg"],
    visual_prompts=visual_prompts,
    predictor=YOLOEVPSegPredictor,
)
results[0].show()

Valの使用方法#

検証は、セグメンテーションデータセット上の他のモデルと同様に実行されます：

from ultralytics import YOLOE

model = YOLOE("yoloe-26l-seg.pt")  # or yoloe-26s/m-seg.pt for other sizes

metrics = model.val(data="coco128-seg.yaml")

同じ呼び出しの2つのバリエーションで、他のプロンプトモードをカバーできます：

• ビジュアルプロンプト — model.val(data="coco128-seg.yaml", load_vp=True) はデータセット自体からカテゴリごとにビジュアル埋め込みを抽出します。まったく同じカテゴリを含む必要がある別のデータセットから埋め込みを取得するには、refer_data="coco.yaml" を追加します。
• プロンプトフリー — *-seg-pf.pt チェックポイントをロードし、single_cls=True を渡します。

エクスポートの使用#

プロンプト埋め込みは一度保存しておき、ONNX、OpenVINO、TensorRT、CoreML、LiteRT、RKNN などの静的エクスポートを生成する際に再利用できます。NPZ プロファイルはエクスポート前に元の PyTorch モデルによってロードされます。追加のランタイム入力ではなく、エクスポートされたモデルに NPZ ファイルは必要ありません。

from ultralytics import YOLOE

model = YOLOE("yoloe-26n-seg.pt")
model.set_classes(["person", "bus"])
model.save_prompt_embeddings("person-bus.npz")

# The profile is bound to the source checkpoint and can be reused for later exports.
model = YOLOE("yoloe-26n-seg.pt")
model.load_prompt_embeddings("person-bus.npz")
model.export(format="onnx")

同じプロンプトプロファイルを使用して、一致する YOLOE アーキテクチャから構築された検出専用モデルを設定することもできます。これにより、プロンプトされたクラスを保持したまま、マスクブランチが削除されます。

from ultralytics import YOLOE

model = YOLOE("yoloe-26n.yaml").load("yoloe-26n-seg.pt")
model.load_prompt_embeddings("person-bus.npz")
model.export(format="rknn", name="rk3588", quantize=16)

Trackの使用方法#

プロンプト設定されたクラスはそのままトラッキングに引き継がれるため、トラッカーが一度もトレーニングされていないオブジェクトを追跡できます：

from ultralytics import YOLOE

model = YOLOE("yoloe-26s-seg.pt")
model.set_classes(["forklift", "pallet"])

# persist=True keeps track IDs stable across frames
for result in model.track("path/to/video.mp4", stream=True, persist=True):
    print(result.boxes.id)

YOLOEの比較#

YOLOEは、クローズドセット検出器と重量級のオープンボキャブラリーモデルの中間に位置します。適切な選択であるかどうかは、3つの比較によって決定されます：

• クローズドセットのYOLOとの比較。 プロンプトが設定されると、YOLOEは通常の検出/セグメンテーションパスを通じて予測を行い、他のモデルと同様にエクスポートします。追加される機能は、再トレーニングを行わずに推論時にクラスリストを変更できる点であり、コストとなるのは、独自のクラスでトレーニングされたモデルのゼロショット精度を大きく下回る点です。
• 以前のYOLOEファミリーとの比較。 YOLOE-26はYOLO26のNMSフリーのエンドツーエンドヘッドを継承し、従来の3つのスケール（s/m/l）に対して5つのスケール（n/s/m/l/x）をカバーし、パフォーマンスのすべての対応するスケールでリードしています。
• Transformerベースのオープンボキャブラリー検出器との比較。 GLIPやOWL-ViTは、推論時にビジョン言語Transformerを実行します。YOLOEはプロンプトを一度エンコードし、畳み込みヘッド内で領域特徴量とそれらを比較します。

最も近い代替手段はいずれもテキストプロンプトを受け入れますが、マスクを返すのはYOLOEとSAM 3のみであり、3つはそれぞれ異なる質問に答えます：

YOLO-World からの移行ですか? API の形状は同じです。YOLOWorld を YOLOE に置き換え、*-seg.pt チェックポイントをロードし、set_classes() 呼び出しをそのまま維持してください。マスクとビジュアルプロンプトが追加されます。固定クラスに関するエクスポートの注意事項は両方に適用されます。

使用事例とアプリケーション#

オープンボキャブラリー検出により、クラスごとの再トレーニングのステップが不要になります。これは、ターゲットリストが事前に分からない場合に最も重要となります：

• オープンワールド検出 — トレーニング時に誰も列挙していなかったオブジェクトに遭遇するロボティクスやセキュリティシステム。
• 1つのサンプルからのワンショット検出 — 単一の参照ボックスから特定のパーツ、ロゴ、または欠陥をビジュアルプロンプトで抽出し、産業用検査で役立ちます。
• ロングテールカタログ作成 — 組み込まれた 4,585 名のボキャブラリーは、生物多様性モニタリングや小売在庫の調査に十分な広さを持っています。
• データセットのブートストラップ — 人間によるレビューの前に、ボックスとマスクで画像に事前ラベリングを行い、その結果をもとに高速なクローズドセットモデルをトレーニングします。
• 任意のターゲットのセグメンテーション — リリースされた *-seg.pt チェックポイントはすべての予測にマスクを返すため、2つ目のモデルを使用することなく、医療用画像処理や衛星解析でピクセル単位の正確な出力を得ることができます。

一般的なパターンでは、2つのモードを組み合わせます。プロンプトフリーを一度実行して何が存在するかを検出し、その後、重要なカテゴリに対してテキストプロンプトに切り替えます。

制限事項#

YOLOE は、推論時にクラスを変更する機能と引き換えに精度をトレードオフします。コミットする前に知っておくべき結果は次のとおりです：

• ゼロショット精度は、クラスでトレーニングされたモデルよりもはるかに低くなります。 プロンプト付きチェックポイントは、LVIS minival においておおむね 22〜40 mAP の範囲に収まります。独自のデータでトレーニングされたクローズドセットの YOLO は、それらのクラスにおいてその精度を上回ります。トレーニングの代わりとしてではなく、トレーニングできないクラスをカバーするために YOLOE を使用してください。
• レアなカテゴリが弱点です。 Performance の mAP_r 列は、LVIS のレアなクラスの精度を具体的にレポートしており、テキストプロンプトの下では、すべての行でコモンクラスやフリーエントクラスの列を下回ります。ターゲットが珍しい場合は、ヘッドラインの mAP ではなくこちらを確認してください。
• プロンプトは外見を記述し、関係性を記述するものではありません。 検出は領域の特徴とプロンプトの埋め込みを比較することで機能するため、状態、文脈、または比較に依存するプロンプト（「損傷した」、「一番左の」、「運ばれているもの」など）には、一致させるための信頼できるハンドルがありません。日常的なカテゴリ名に近い表現を好んで使用してください。
• 大きなプロンプトセットはレイテンシをコストにします。 プロンプトの埋め込みは一度だけ計算されますが、すべてのフォワードパスで領域の特徴と比較されます。CPU 上で yoloe-26s-seg.pt を用いて測定した場合、フォワードパスは 80 クラスから 1,203 クラスへの移行で約 19% 増加し、完全な 4,585 名のボキャブラリーでは約 89% 増加します。領域とテキストの類似性はカウントされないため、報告される FLOPs はまったく変動せず、プロファイルでは警告されません。
• クラス名は、プロンプトするまでプレースホルダーです。 新しくロードされた *-seg.pt チェックポイントは、数値名（"0"、"1" など）を持つ nc=80 を報告するため、ラベルを読み取る前に set_classes() を呼び出してください。プロンプトフリーのチェックポイントには、すでに設定された完全なボキャブラリーが同梱されています。

デプロイに関する注意事項#

• ハードウェア。 推論には 4〜8 GB の VRAM を搭載した NVIDIA GPU が必要です。n および s のスケールは、Jetson などのエッジ GPU、または解像度を下げた CPU 上で動作します。ファインチューニングには単一の GPU が必要です。
• NMS はデフォルトでクラス非依存です。 YOLOE は agnostic_nms=True で予測を行います。YOLOE-11 および YOLOE-v8 では、これは同じクラス内だけでなく、異なるクラスにわたるスコアの低い重複ボックスを抑制するため、1つのオブジェクトが複数のカテゴリに一致する場合の重複を防ぎます。エンドツーエンドの YOLOE-26 モデルは IoU 抑制を一切適用しません。そこでは、非依存モードは、1つのアンカーに複数のクラスラベルを発行させる代わりに、アンカーごとに単一の最適なクラスのみを維持します。上書きするには agnostic_nms=False を渡してください。
• バッチ処理。 バッチ推論は直接機能し、ビジュアルプロンプトは同じ呼び出し内の画像ごとに異なることができます。

スクラッチからの公式モデルのトレーニング#

ほとんどの読者にはこれは必要ありません。Objects365、GQA、Flickr30k から公開されているオープンボキャブラリーチェックポイント（8× RTX 4090 で約 140万件のトレーニングサンプル）を再現するものであり、上記のTrain Usageで説明されている独自のデータに対するファインチューニングとは無関係です。

トレーニングにはセグメントアノテーションが必要です。以下の処理済みファイルをダウンロードするか、公式チームが提供するスクリプト（SAM 2.1 を搭載）を使用して独自に生成してください。検証には LVIS minival が使用されます。

テキストプロンプトモデルが最初にトレーニングされ、他の2つのプロンプトモードはその洗練版です：

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOESegTrainerFromScratch

data = {
    "train": {
        "yolo_data": ["Objects365.yaml"],
        "grounding_data": [
            {
                "img_path": "flickr/full_images/",
                "json_file": "flickr/annotations/final_flickr_separateGT_train_segm.json",
            },
            {
                "img_path": "mixed_grounding/gqa/images",
                "json_file": "mixed_grounding/annotations/final_mixed_train_no_coco_segm.json",
            },
        ],
    },
    "val": {"yolo_data": ["lvis.yaml"]},
}

model = YOLOE("yoloe-26l-seg.yaml")
model.train(
    data=data,  # or the path to a YAML file holding the same structure
    batch=128,
    epochs=30,
    close_mosaic=2,
    optimizer="AdamW",
    lr0=2e-3,
    warmup_bias_lr=0.0,
    weight_decay=0.025,
    momentum=0.9,
    workers=4,
    trainer=YOLOESegTrainerFromScratch,
    device="0,1,2,3,4,5,6,7",
)

ビジュアルプロンプトおよびプロンプトフリーのチェックポイントは、そのトレーニング済みのテキストプロンプトモデルから開始し、それぞれ1つのモジュールをアップデートします。YOLOESegVPTrainer はビジュアルプロンプトレシピであり、YOLOEPEFreeTrainer はプロンプトフリーのレシピですが、どちらのクラスもそれ単体では何もフリーズしません。選択的なトレーニングは、その隣に渡す freeze リストから行われます。これは savpe を除くすべてのヘッドの子（またはすべての分類タワー）を指定し、プロンプトフリーの実行にはさらに single_cls=True が必要です。アップストリームの YOLOE リポジトリには、v8 スケールモデル用の完全なレシピが記載されています。

完了したプロンプトフリーの実行は、get_vocab および set_vocab を使用して、推論時にプロンプトなしで名前を報告するチェックポイントに再パラメータ化されます：

from ultralytics import YOLOE

# Weights written by the prompt-free run and by the text-prompt run it started from. Each
# rerun creates a new directory (train-2, train-3, ...), so take the paths the runs printed.
model = YOLOE("runs/segment/train-2/weights/best.pt")  # prompt-free run, its head is already fused
text_model = YOLOE("runs/segment/train/weights/best.pt")  # text-prompt run, its head is still unfused

names = list(YOLOE("yoloe-26l-seg-pf.pt").model.names.values())  # the 4,585-name vocabulary, or your own list
vocab = text_model.get_vocab(names)

model.set_vocab(vocab, names)
model.save("yoloe-26l-seg-pf-custom.pt")  # never overwrite the released checkpoint

引用と謝辞#

YOLOEがあなたの研究やプロジェクトに貢献した場合は、清華大学のAo Wang、Lihao Liu、Hui Chen、Zijia Lin、Jungong Han、およびGuiguang Dingによる元の論文を引用してください:

@misc{wang2025yoloerealtimeseeing,
      title={YOLOE: Real-Time Seeing Anything},
      author={Ao Wang and Lihao Liu and Hui Chen and Zijia Lin and Jungong Han and Guiguang Ding},
      year={2025},
      eprint={2503.07465},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2503.07465},
}

詳細な読み物として、オリジナルの YOLOE 論文が arXiv で入手可能です。プロジェクトのソースコードおよびその他のリソースには、GitHub リポジトリからアクセスできます。

よくある質問 (FAQ)#