エージェント#
Agentsでは、画像、モデル、条件、アクションをビジュアルワークフローで接続できます。YOLOを使って詳しく確認する画像を選び、視覚言語モデルに内容の説明を依頼したり、選択した画像をデータセットに収集してレビューしたりできます。
サイドバーで Agents を開くか、platform.ultralytics.com/agents にアクセスしてください。サインインしているすべてのユーザーについて、個人ワークスペースとチームワークスペースの両方でサイドバーにAgentsが表示され、Early accessの設定を有効にする必要はありません。
最初のワークフローを実行する#
- Agents を開き、ブロックを追加 > テンプレート をクリックして、YOLO → VLM Monitor を選択します。
- 入力画像 ブロックを選択し、アップロード済みのデータセットを選んで、人が写っている画像を選択します。共有トライアルでは、最大4メガピクセルの画像を使用してください。
- デフォルトのYOLO26 nanoモデルをそのまま使用します。YOLOが人を1人以上検出すると、条件が成立します。
- シーンを説明 を選択し、視覚言語モデルを選んでプロンプトを入力します。まだ設定していない場合は、設定 > APIキー で対応するプロバイダーキーを追加してください。チームワークスペースでは、ワークスペースのオーナーにプロバイダーキーの追加または置き換えを依頼してください。
- 小規模な実行では 共有トライアル · 60秒 を選択したまま、実行 をクリックします。
- ブロックの更新を確認し、出力 を調べます。人が検出されない場合、条件は説明の分岐を実行せずに終了します。
保存前に下書きを実行できます。ワークフローを保存 でワークフローに名前を付けて保存し、後から変更した場合はもう一度保存してください。Python ボタンをクリックすると、生成されたワークフローコードが表示されます。
テンプレートから始める#
| テンプレート | ワークフロー | 用途 |
|---|---|---|
| YOLO → VLM Monitor | 画像 → YOLO → 条件 → 視覚言語モデル → 出力 | 人が検出された場合にのみシーンを説明する |
| 不確実な検出結果を収集 | データセット → デプロイ → 信頼度条件 → データセット | 検出結果が不確実な画像からレビュー用セットを作成する |
| キャプチャして通知 | 画像 → YOLO → 条件 → データセットとSlack | 同じ条件から画像を保存し、チャンネルに通知する |
テンプレートは編集可能な出発点です。実行前に、ワークスペースに合わせて画像、デプロイ、保存先データセット、インテグレーションを選択してください。これらのワークフローは 実行 をクリックしたときに動作します。Monitorテンプレートは、選択した入力画像を解析します。
実行場所を選択する#
実行 の横にある実行セレクターで、ワークフローを実行するハードウェアを選択します。
| 選択肢 | 用途 | 制限と料金 |
|---|---|---|
| 共有トライアル · 60秒 | 小規模なワークフローを試す | 実行時間は最大60秒、入力画像は合計20枚まで（各画像は最大4メガピクセル）、モデルまたはプロバイダーの呼び出しは20回までです。ローカルYOLOモデルを1つ使用でき、公式YOLO26 nanoモデルが対象です |
| 既存の専用デプロイ | 大規模なデータセット、長時間の実行、またはその他のローカルモデル | 対象となる無料の専用デプロイを含め、そのデプロイの既存のハードウェアと料金が適用されます。ワークフロー全体の実行時間や画像数に上限はありません |
| 新しいデプロイ… | ビルダーから専用ハードウェアを作成する | 既存のデプロイ作成・料金ダイアログが開きます。リソースを選択し、デプロイの準備が整うまでお待ちください |
共有トライアルは1分あたり3回まで実行できます。専用デプロイでの実行にレート制限はありません。Platformで実行できるブロックは最大20個です。モデルまたはプロバイダーの呼び出しには、YOLO、視覚言語モデル、デプロイの予測、SlackおよびWebhookのアクションが含まれます。分岐によって、入力画像1枚あたりの呼び出し数が増えることがあります。
専用環境での実行は、選択したデプロイ上でチェックポイント付きリクエストとして継続されます。ブラウザーを閉じたり再読み込みしたりしても、実行は停止しません。既存のデプロイ制限とプロバイダー制限は引き続き適用され、言語モデルの使用料金はキーに関連付けられたプロバイダーから請求されます。ハードウェアの選択肢については、デプロイ料金をご覧ください。
デプロイ ブロックでは、予測ステップで使用するエンドポイントを選択します。実行セレクターでは、ワークフロー自体を実行する場所を選択します。両方に同じ専用デプロイを選ぶこともできます。
ブロックを設定する#
| ブロック | 用途 |
|---|---|
| 画像 | 画像をアップロードするか、デフォルトで最大10フレームにサンプリングした動画をアップロードします。または、アップロード済みデータセットから画像を1枚選択します |
| 入力接続のない データセット | 選択したデータセットと分割から、設定可能な入力数の上限に従って画像を読み込みます |
| YOLO | 公式モデルまたはワークスペースのトレーニング済みモデルを実行します |
| デプロイ | 準備完了状態の既存Platformデプロイを通じて予測します |
| LLM | 画像と上流のコンテキストを、選択した言語モデルまたは視覚言語モデルに送信します |
| ゲート | 条件または実行間隔を使って、後続の処理を制御します |
| 入力接続のある データセット | 入力画像を保存先データセットに追加します |
| Slack | ワークスペースに接続されたSlackチャンネルにメッセージを送信します |
| Webhook | HTTPSエンドポイントにJSONボディを POST |
| エクスポート | Platformの既存のエクスポートワークフローを使用してモデルをエクスポートします |
| 出力 | 上流の結果を表示します |
ブロックを選択して設定を編集します。出力を別のブロックに接続すると、その結果を後続の処理に渡せます。1つの出力を複数のブロックに接続できます。たとえば、1つの条件を保存先データセットとSlackの両方に接続できます。各分岐では、評価済みの同じ条件が使用されます。
条件で検出結果をフィルタリングする#
検出数と信頼度のフィルタリングには、同じ ゲート ブロックを使用します。上流の結果、すべてのクラスまたは特定のクラス、比較条件を選択してください。例：
- 人物数 ≥ 1: 人物が1人以上検出された場合に続行します。
- 信頼度が0.25〜0.5: この範囲内にある一致する検出が1つ以上あれば続行します。
- 信頼度範囲内の特定クラス: そのクラスの不確実な検出のみを収集します。
信頼度フィルターは個々の検出を調べます。スコアが 0.3 と 0.9 の画像は、1つの検出が一致するため、0.25–0.5 の範囲条件を満たします。検出がない画像は信頼度条件を満たしません。評価対象の検出を保持できるよう、予測モデルの信頼度しきい値を十分に低く設定してください。
条件が一致しない場合、後続の出力を生成せずに処理が完了します。その画像について、接続されたアクションは実行されません。
レビュー用画像を収集#
不確かな検出結果を収集を開き、ソースデータセットと分割を選択し、予測デプロイメントを選択して、信頼度の範囲を設定します。最後のデータセットブロックで既存の宛先データセットを選択します。必要に応じて、先にデータセットページからデータセットを作成してください。
宛先には、ラベルのない元画像がtrain分割に追加されます。既存のコピーはスキップされ、通常のデータセットストレージ容量制限が適用されます。ソースのラベルとモデルの予測結果はアノテーションとしてコピーされません。宛先を既存のアノテーションエディターで開き、収集した画像を確認してラベル付けします。
ワークスペースからアクセスできるホスト画像と、編集できる宛先データセットを使用してください。接続されたクラウドストレージとオンプレミスのデータセットは、収集先として使用できません。
条件付きSlackアラートを送信#
設定 > インテグレーションでSlackを接続し、条件をSlackブロックに接続します。メッセージを入力し、{output}を使って上流の結果を含めます。収集してアラートでは、同じ条件をデータセットにも接続するため、一致する画像が収集され、接続先のチャンネルにメッセージが送信されます。
ワークフローのSlackメッセージはブロック内で設定します。設定にあるトレーニング、エクスポート、デプロイメントの通知設定とは別です。
Webhookを送信#
Webhookブロックは、結果ごとにPOSTをContent-Type: application/jsonとともにパブリックHTTPS URLへ送信するため、JSONリクエストを受け付けるサービスであれば、条件の結果を受信できます。宛先URLと、文字列内に{output}を含む10,000文字以内のJSON本文を入力します。この文字列は上流の結果に置き換えられます。このブロックは終端ブロックで、出力先への接続はできません。リダイレクトは追跡されず、接続は5秒後にタイムアウトし、2xx以外の応答ではブロックが失敗します。
進行状況を確認して実行を停止#
実行中のブロックには緑色のスピナーが表示されます。完了したブロックには緑色のチェックマークと枠線が、失敗したブロックには赤色の枠線が表示されます。入力のうち各ブロックに到達した数が表示され、条件に一致しない場合、後続のブロックは実行されません。
ページを再読み込みすると、実行の進行状況と選択した実行デプロイメントが復元されます。一致するワークフローでは、完了した結果が引き続き表示されます。実行中の実行をキャンセルするには、停止をクリックします。キャンセルは、実行中のブロックがキャンセル可能な地点に到達するまで待機します。実行デプロイメントを停止または削除した場合も、ワークフローはキャンセルされます。
APIでAgentsを管理#
Agents APIでは、コードからAgentsの一覧表示、保存、削除ができ、Python SDKではultralytics-platform>=0.1.74内のclient.agentsとして利用できます。保存時には、キャンバスに表示されるものと同じブロックエラーが返されます。実行は引き続きキャンバスから開始します。保存したAgentをhttps://platform.ultralytics.com/agents?workflow={id}で開き、実行をクリックします。
トラブルシューティング#
- 実行が共有トライアルの上限を超えています: 対象となる無料デプロイメントを含む専用デプロイメントを選択するか、画像解像度、入力数、モデル／プロバイダー呼び出し数を減らしてください。
- デプロイメントの準備中、または停止中です: 使用可能になるまで待つか、デプロイメントから起動してください。
- プロバイダーキーがありません: 設定 > APIキーで選択したプロバイダーを接続してください。チームワークスペースの場合は、ワークスペースのオーナーにキーの追加または置き換えを依頼してください。
- 宛先に画像が届きません: 条件と予測の信頼度しきい値を確認してください。検出結果が空の場合、信頼度の範囲を満たすことはありません。
- 収集した画像にラベルがありません: 収集では、レビュー用に元画像が追加されます。既存のアノテーションツールを使ってラベルを付けてください。