コンテンツへスキップ

エクスプローラーGUI

エクスプローラーGUIは、Ultralytics エクスプローラーAPIを使用して構築された遊び場のようなものです。セマンティック/ベクトル類似検索、SQLクエリ、そしてLLMを利用したask AI機能を使った自然言語による検索が可能です。

エクスプローラー・ダッシュボード スクリーンショット1



見るんだ: Ultralytics エクスプローラー・ダッシュボードの概要

インストール

pip install ultralytics[explorer]

注

Ask AI機能はOpenAIを使用しているため、最初にGUIを実行する際にOpenAIのapiキーを設定するよう促されます。 次のように設定します。 yolo settings openai_api_key="..."

セマンティック検索は、与えられた画像に類似した画像を見つける技術である。似た画像は似た埋め込みを持つという考えに基づいています。UIでは、1つ以上の画像を選択して、その画像に類似する画像を検索することができます。これは、指定された画像に類似した画像を探したい場合や、期待通りの結果が得られない画像群を探したい場合に便利です。

例えば このVOC Explorationダッシュボードでは、ユーザーはこのように飛行機の画像をいくつか選択する:

エクスプローラー・ダッシュボード スクリーンショット2

類似検索を行うと、同じような結果が表示されるはずだ:

エクスプローラー・ダッシュボード スクリーンショット3

AIに聞く

これにより、自然言語を使ってデータセットをどのようにフィルタリングしたいかを書くことができる。SQLクエリの記述に習熟する必要はありません。私たちのAIクエリージェネレーターが、自動でクエリーを生成します。例えば、「人が1人、犬が2匹写っている画像を100枚表示してください。他のオブジェクトもあります "と言えば、内部でクエリを生成し、その結果を表示します。正確に5人の人物が写っている画像を10枚表示してください」とお願いすると、このような結果が出力されます:

エクスプローラー・ダッシュボード スクリーンショット 4

注:これはLLMを使用しているため、結果は確率的であり、時には間違う可能性があります。

CVデータセットに対してSQLクエリーを実行

データセットに対してSQLクエリーを実行し、フィルタリングすることができます。WHERE句だけを指定しても動作します。SQLクエリの例は、少なくとも1人の人間と1匹の犬が写っている画像だけを表示します:

WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

エクスプローラー・ダッシュボード スクリーンショット 5

これはエクスプローラAPIを使用したデモビルドです。このAPIを使用して、独自の探索的ノートブックやスクリプトを構築し、データセットに対する洞察を得ることができます。Explorer APIの詳細については、こちらをご覧ください。



作成日:2024-01-08 更新日:2024-03-03
著者:glenn-jocher(5),RizwanMunawar(3),AyushExel(1)

コメント