エージェント#

エージェントを使うと、画像、モデル、条件、アクションをビジュアルワークフローでつなげられます。YOLOで詳しく確認する画像を判定したり、ビジョン言語モデルに画像の説明を求めたり、選択した画像をデータセットに集めてレビューしたりできます。

サイドバーでエージェントを開くか、platform.ultralytics.com/agentsにアクセスしてください。サインインしているすべてのユーザーは、個人ワークスペースとチームワークスペースの両方でサイドバーからエージェントを利用でき、Early access設定を有効にする必要はありません。

最初のワークフローを実行する#

1. エージェントを開き、ブロックを追加 > テンプレートをクリックして、YOLO → VLM Monitorを選択します。
2. 入力画像ブロックを選択し、アップロード済みのデータセットを選んで、人が写っている画像を選択します。共有トライアルでは、最大4メガピクセルの画像を使用してください。
3. デフォルトのYOLO26 nanoモデルをそのまま使用します。YOLOが1人以上を検出すると、条件が成立します。
4. シーンを説明を選択し、ビジョン言語モデルを選んで、プロンプトを入力します。まだ設定していない場合は、設定 > APIキーで対応するプロバイダーキーを追加してください。チームワークスペースでは、ワークスペースのオーナーにプロバイダーキーの追加または置き換えを依頼してください。
5. 小規模な実行では共有トライアル · 60秒を選択したまま、実行をクリックします。
6. ブロックの更新を確認し、出力を確認します。人が検出されない場合、条件が完了し、説明の分岐は実行されません。

保存する前にドラフトを実行できます。ワークフローを保存を使用してワークフローに名前を付けて保存すると、後で利用できます。変更後は再度保存してください。Pythonボタンには、生成されたワークフローコードが表示されます。

テンプレートから始める#

テンプレートは編集可能な出発点です。実行前に、ワークスペース用の画像、デプロイメント、保存先データセット、インテグレーションを選択してください。これらのワークフローは実行をクリックすると動作します。Monitorテンプレートは、選択した入力画像を解析します。

実行場所を選択する#

実行の横にある実行環境セレクターで、ワークフローを実行するハードウェアを選択します。

共有トライアルは1分あたり3回まで実行できます。専用デプロイメントでの実行にはレート制限がありません。Platformでの実行は最大20ブロックに対応しています。モデルまたはプロバイダーの呼び出しには、YOLO、ビジョン言語モデル、デプロイメントの予測、SlackおよびWebhookのアクションが含まれます。分岐によって、入力画像1枚あたりの呼び出し回数が増える場合があります。

専用デプロイメントでの実行は、選択したデプロイメント上でチェックポイント付きリクエストとして継続します。ブラウザーを閉じたり再読み込みしたりしても、実行は停止しません。既存のデプロイメントの制限とプロバイダーの制限は引き続き適用されます。また、言語モデルの使用料金は、キーに関連付けられたプロバイダーから請求されます。ハードウェアの選択肢については、デプロイメントの料金をご覧ください。

デプロイメントブロックでは、予測ステップに使用するエンドポイントを選択します。実行環境セレクターでは、ワークフロー自体を実行する場所を選択します。どちらにも同じ専用デプロイメントを選択できます。

ブロックを設定する#

ブロックを選択して設定を編集します。出力を別のブロックに接続すると、その結果を下流に渡せます。1つの出力を複数のブロックに接続できます。たとえば、1つの条件を保存先データセットとSlackの両方に接続できます。各分岐では、同じ評価済み条件が使われます。

条件で検出結果をフィルタリングする#

検出数と信頼度のフィルタリングには、同じゲートブロックを使用します。上流の結果、任意のクラスまたは特定のクラス、比較方法を選択します。例：

• 人物数 ≥ 1：人物が1人以上検出された場合に処理を続行します。
• 信頼度が0.25～0.5：この範囲内の一致する検出結果が1つ以上ある場合に処理を続行します。
• 信頼度の範囲内にある特定のクラス：そのクラスの不確実な検出結果のみを収集します。

信頼度フィルターは、個々の検出結果を調べます。0.3と0.9のスコアを持つ画像は、1つの検出結果が一致するため、0.25–0.5の範囲を通過します。検出結果のない画像は、信頼度条件を通過しません。評価する検出結果を保持できるよう、予測モデルの信頼度しきい値を十分に低く設定してください。

条件に一致しない場合、後続の出力なしで処理が完了します。その画像について、接続されているアクションは実行されません。

レビュー用の画像を収集する#

不確実な検出結果を収集を開き、ソースデータセットと分割を選択して、予測デプロイメントを選び、信頼度の範囲を設定します。最後のデータセットブロックで、既存の保存先データセットを選択してください。必要に応じて、まずデータセットページでデータセットを作成します。

保存先には、元の画像がラベルなしでtrain分割に追加されます。すでに存在する画像はスキップされ、通常のデータセットストレージ容量制限が適用されます。ソースのラベルとモデルの予測結果はアノテーションとしてコピーされません。既存のアノテーションエディターで保存先を開き、収集した画像を確認してラベルを付けてください。

ワークスペースからアクセスできるホスト画像と、編集権限のある保存先データセットを使用してください。接続されたクラウドストレージとオンプレミスのデータセットは、収集先として使用できません。

条件付きSlackアラートを送信する#

設定 > インテグレーションでSlackを接続し、条件をSlackブロックに接続します。メッセージを入力し、{output}を使って上流の結果を含めます。キャプチャして通知では、同じ条件をデータセットにも接続するため、条件に一致した画像が収集され、接続先のチャンネルにメッセージが送信されます。

ワークフローのSlackメッセージはブロック内で設定します。設定にあるトレーニング、エクスポート、デプロイメントの通知設定とは別です。

Webhookを送信する#

Webhookブロックは、各結果につきPOSTをContent-Type: application/jsonとともに公開HTTPS URLへ送信するため、JSONリクエストを受け付けるサービスであれば、条件の結果を受信できます。送信先URLと、文字列内に{output}を含む最大10,000文字のJSON本文を入力します。この文字列は上流の結果に置き換えられます。このブロックは終端ブロックであり、出力接続はできません。リダイレクトは追跡されず、接続は5秒後にタイムアウトします。また、2xx以外のレスポンスが返るとブロックは失敗します。

進行状況を確認して実行を停止する#

実行中のブロックには緑色のスピナーが表示されます。完了したブロックには緑色のチェックマークと枠線、失敗したブロックには赤い枠線が表示されます。カウントには各ブロックに到達した入力数が示され、条件に一致しない場合、下流のブロックは実行されません。

ページを再読み込みすると、実行の進行状況と選択した実行デプロイメントが復元されます。一致するワークフローでは、完了した結果が引き続き表示されます。実行中の処理をキャンセルするには停止をクリックします。キャンセルは、実行中のブロックがキャンセル可能な地点に達するまで待機します。実行デプロイメントを停止または削除した場合も、ワークフローはキャンセルされます。

トラブルシューティング#

• **実行が共有トライアルの制限を超えています：**対象となる無料デプロイメントを含む専用デプロイメントを選択するか、画像解像度、入力数、モデルまたはプロバイダーの呼び出し回数を減らしてください。
• **デプロイメントの準備中または停止中です：**稼働可能になるまで待つか、デプロイメントから起動してください。
• プロバイダーキーがありません：選択したプロバイダーを接続してください（設定 > APIキー）。チームワークスペースでは、ワークスペースのオーナーにキーの追加または置き換えを依頼してください。
• **保存先に画像が届きません：**条件と予測の信頼度しきい値を確認してください。検出結果が空の場合、信頼度の範囲を満たすことはありません。
• **収集した画像にラベルがありません：**画像の収集では、レビュー用に元の画像が追加されます。既存のアノテーションツールを使ってラベルを付けてください。