Explorer GUI#
ultralytics>=8.3.12以降、Ultralytics Explorerは削除されています。Explorerを使用するには、pip install ultralytics==8.3.11をインストールしてください。同様の（拡張された）データセット探索機能はUltralytics Platformで利用できます。
Explorer GUIはUltralytics Explorer APIを基盤として構築されています。LLMを活用したAsk AI機能により、セマンティック検索やベクトル類似検索、SQLクエリ、自然言語クエリを実行できます。
視聴: Ultralytics Explorer ダッシュボードの概要
インストール#
pip install "ultralytics[explorer]==8.3.11"Ask AI機能はOpenAIを使用するため、GUIの初回起動時にOpenAI APIキーの設定を求められます。 yolo settings openai_api_key="..."で設定してください。
ベクトル・セマンティック類似検索#
セマンティック検索は、指定した画像に類似する画像を見つける手法です。類似画像は類似した埋め込みを持つという考えに基づいています。UIでは1枚以上の画像を選択し、それらに類似する画像を検索できます。指定した画像や、期待どおりに機能しない画像のセットに類似する画像を見つけたい場合に役立ちます。
たとえば、このVOC探索ダッシュボードでは、ユーザーが数枚の飛行機の画像を選択しています。
類似検索を実行すると、類似した結果が表示されます。
Ask AI#
この機能を使うと、SQLを記述せずに自然言語でデータセットをフィルタリングできます。AIを活用したクエリ生成機能がプロンプトをクエリに変換し、一致する結果を返します。たとえば、「人物がちょうど1人、犬が2匹写っている画像を100枚表示してください。他のオブジェクトが写っていてもかまいません」と質問すると、クエリが生成され、該当する結果が表示されます。「人物がちょうど5人写っている画像を10枚表示してください」と質問した場合の出力例を次に示します。
注: この機能は大規模言語モデルを使用するため、結果は確率的であり、不正確な場合があります。
CVデータセットに対するSQLクエリの実行#
データセットに対してSQLクエリを実行し、データをフィルタリングできます。WHERE句のみを指定する方法も利用できます。たとえば、次のWHERE句は、人物が少なくとも1人、犬が少なくとも1匹含まれる画像を返します。
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
このデモはExplorer APIを使用して構築されています。Explorer APIを使うと、データセットの分析情報を得るための独自の探索用ノートブックやスクリプトを作成できます。使い始めるには、Explorer APIのドキュメントをご覧ください。
よくある質問#
Ultralytics Explorer GUIは、Ultralytics Explorer APIを活用した高度なデータ探索機能を提供する強力なインターフェースです。大規模言語モデル（LLMs）を活用したAsk AI機能により、セマンティック検索やベクトル類似検索、SQLクエリ、自然言語クエリを実行できます。
Explorer GUIをインストールするには、pipを使用します。
pip install "ultralytics[explorer]==8.3.11"注: Ask AI機能を使用するには、OpenAI APIキーを設定する必要があります:
yolo settings openai_api_key="..."。はい。大規模言語モデル（LLMs）を活用したAsk AI機能を使うと、自然言語のクエリでデータセットをフィルタリングできます。SQLに精通している必要はありません。たとえば、「人物がちょうど1人、犬が2匹写っている画像を100枚表示してください。他のオブジェクトが写っていてもかまいません」と質問すると、AIがバックグラウンドで適切なクエリを生成し、目的の結果を返します。
Ultralytics Explorer GUIでは、データセットに対してSQLクエリを直接実行し、効率的にデータをフィルタリングおよび管理できます。クエリを実行するには、GUIのSQLクエリセクションに移動し、クエリを記述します。たとえば、人物が少なくとも1人、犬が少なくとも1匹写っている画像を表示するには、次のように記述します。
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'WHERE句のみを指定することもできるため、クエリをより柔軟に実行できます。
詳しくは、SQLクエリのセクションを参照してください。
Ultralytics Explorer GUIは、セマンティック検索、SQLクエリ、Ask AI機能による自然言語での操作などの機能でデータ探索を強化します。これらの機能により、次のことが可能になります。
- 視覚的に類似する画像を効率よく見つけられます。
- 複雑なSQLクエリを使用してデータセットをフィルタリングできます。
- 高度なSQLの知識がなくても、AIを活用して自然言語検索を実行できます。
これらの機能により、データセットへの理解を深めたい開発者、研究者、データサイエンティストにとって、汎用性の高いツールとなっています。
これらの機能について詳しくは、Explorer GUIのドキュメントをご覧ください。