エージェント#
エージェントは、画像、モデル、条件、およびアクションをビジュアルワークフロー内で接続します。YOLOを使用して詳細な確認が必要な画像を判断し、ビジョン言語モデルに画像の説明を依頼したり、選択した画像をデータセットに収集してレビューしたりできます。
サイドバーのワークスペースセレクターを使用して個人のワークスペースに切り替え、設定 > プロフィールで早期アクセスを有効にします。次に、サイドバーでエージェントを開くか、platform.ultralytics.com/agentsにアクセスします。早期アクセスは個人的な設定であり、チームワークスペースで作業している場合も適用されます。
最初のワークフローを実行する#
- エージェントを開き、ブロックを追加 > テンプレートをクリックし、YOLO → VLMモニターを選択します。
- 入力画像ブロックを選択し、アップロードしたデータセットを選択して、人物が含まれる画像を選択します。共有トライアルでは、4メガピクセルまでの画像を使用してください。
- デフォルトのYOLO26 nanoモデルをそのまま使用します。YOLOが少なくとも1人の人物を検出すると、条件が満たされます。
- シーンを説明を選択し、ビジョン言語モデルを選択して、プロンプトを入力します。まだ設定していない場合は、設定 > APIキーで一致するプロバイダーキーを追加します。チームワークスペースの場合は、ワークスペースの所有者にプロバイダーキーの追加または置き換えを依頼してください。
- 小規模な実行には共有トライアル · 60秒を選択したままにし、実行をクリックします。
- ブロックの更新を確認し、出力を検査します。人物が検出されない場合、説明ブランチを実行せずに条件が終了します。
保存する前にドラフトを実行できます。ワークフローを保存を使用してワークフローに名前を付けて後で使用できるように保存し、変更を加えた後にも再度保存します。Pythonボタンには生成されたワークフローコードが表示されます。
テンプレートから開始する#
| テンプレート | ワークフロー | 用途 |
|---|---|---|
| YOLO → VLMモニター | 画像 → YOLO → 条件 → ビジョン言語モデル → 出力 | 人物が検出された場合のみシーンを説明する |
| 不確実な検出の収集 | データセット → デプロイメント → 信頼度条件 → データセット | 不確実な検出が含まれる画像からレビューセットを構築する |
| キャプチャとアラート | 画像 → YOLO → 条件 → データセットおよびSlack | 同じ条件から画像を保存し、チャンネルに通知する |
テンプレートは編集可能な開始点です。実行する前に、ワークスペースの画像、デプロイメント、宛先データセット、および統合を選択してください。これらのワークフローは実行をクリックすると実行され、モニターテンプレートは選択された入力画像を分析します。
実行場所を選択する#
実行の横にある実行セレクターで、ワークフローのハードウェアを選択します。
| 選択肢 | 用途 | 制限と価格 |
|---|---|---|
| 共有トライアル · 60秒 | 小さなワークフローを試す | 最大60秒、それぞれ最大4メガピクセルの合計20個の入力画像、および20個のモデル/プロバイダー呼び出し。公式のYOLO26 nanoモデルを使用する1つのローカルYOLOモデル |
| 既存の専用デプロイメント | より大規模なデータセット、長時間の実行、またはその他のローカルモデル | 対象となる無料の専用デプロイメントを含め、そのデプロイメントの既存のハードウェアと価格を使用する。ワークフローの全体的な実行時間や画像数の上限なし |
| 新しいデプロイメント… | ビルダーから専用ハードウェアを作成する | 既存のデプロイメント作成および価格設定ダイアログを開き、リソースを選択してデプロイメントの準備が完了するまで待つ |
共有トライアルでは、5分間に2回の送信が許可されます。プラットフォームの実行では最大20個のブロックをサポートします。モデル/プロバイダーの呼び出しには、YOLO、ビジョン言語モデル、デプロイメント予測、およびSlackアクションが含まれます。分岐により、入力画像あたりの呼び出し数が増加する場合があります。
専用の実行は、選択したデプロイメント上のチェックポイント化されたリクエストで継続します。ブラウザを閉じるか再読み込みしても、実行は停止しません。既存のデプロイメントの制限とプロバイダーの制限が引き続き適用され、言語モデルの使用量はキーに関連付けられたプロバイダーによって請求されます。ハードウェアオプションについては、デプロイメントの価格を参照してください。
デプロイメントブロックは、予測ステップに使用されるエンドポイントを選択します。実行セレクターは、ワークフロー自体が実行される場所を選択します。両方に同じ専用デプロイメントを選択できます。
ブロックの設定#
| ブロック | 目的 |
|---|---|
| 画像 | アップロードされたデータセットから1つの画像を選択する |
| 受信接続のないデータセット | 選択したデータセットから画像を読み込み、設定可能な入力制限付きで分割する |
| YOLO | 公式モデルまたはワークスペースからトレーニング済みモデルを実行する |
| デプロイメント | 既存の準備完了プラットフォームデプロイメントを介して予測する |
| LLM | 画像とアップストリームコンテキストを、選択した言語モデルまたはビジョン言語モデルに送信する |
| ゲート | 条件またはケイデンスを使用してダウンストリームの実行を制御する |
| 受信接続のあるデータセット | 受信した画像を宛先データセットに追加する |
| Slack | ワークスペースの接続されたSlackチャンネルにメッセージを送信する |
| エクスポート | プラットフォームの既存のエクスポートワークフローを使用してモデルをエクスポートする |
| 出力 | アップストリームの結果を表示する |
ブロックを選択してその設定を編集します。出力を別のブロックに接続して、その結果をダウンストリームに渡します。1つの出力を複数のブロックに接続できます。たとえば、1つの条件を宛先データセットとSlackの両方に接続します。各ブランチは同じ評価済み条件を使用します。
条件で検出をフィルタリングする#
検出数と信頼度フィルターに同じゲートブロックを使用します。アップストリームの結果、任意のクラスまたは特定のクラス、および比較を選択します。例:
- 人物数 ≥ 1: 少なくとも1人の人物が検出された場合に続行します。
- 信頼度が0.25から0.5の間: 一致する検出が少なくとも1つその包括的範囲内に収まる場合に続行します。
- 信頼度範囲内の特定のクラス: そのクラスの不確実な検出のみを収集します。
信頼度フィルターは個々の検出を検査します。スコアが 0.3 と 0.9 の画像は、1つの検出が一致するため、0.25–0.5 の範囲を通過します。検出のない画像は信頼度条件を通過しません。評価したい検出を保持できるように、予測モデルの信頼度カットオフを十分に低く設定してください。
一致しない条件は、ダウンストリームの出力なしで完了します。その画像に対して接続されたアクションは実行されません。
レビュー用の画像を収集する#
不確実な検出の収集を開き、ソースデータセットと分割を選択し、予測デプロイメントを選択して、信頼度範囲を設定します。最後のデータセットブロックで既存の宛先データセットを選択します。必要に応じて、まずデータセットページからデータセットを作成してください。
宛先は、train 分割で、ラベルのない元の画像を受信します。既存のコピーはスキップされ、通常のデータセットストレージクォータが適用されます。ソースのラベルとモデルの予測はアノテーションとしてコピーされません。収集された画像をレビューしてラベル付けするには、既存のアノテーションエディタで宛先を開きます。
ワークスペースがアクセスできるホストされた画像と、編集可能な宛先データセットを使用します。接続されたクラウドストレージおよびオンプレミスのデータセットを収集先として使用することはできません。
条件付きSlackアラートを送信する#
設定 > 統合でSlackを接続し、条件をSlackブロックに接続します。メッセージを入力し、{output} を使用してアップストリームの結果を含めます。キャプチャとアラートでは、同じ条件をデータセットにも接続するため、一致する画像が収集され、接続されたチャンネルにメッセージが送信されます。
ワークフローのSlackメッセージはブロック内で設定されます。これらは、設定におけるトレーニング、エクスポート、およびデプロイメントの通知の選択とは別個のものです。
進行状況を追跡して実行を停止する#
アクティブなブロックには緑色のスピナーが表示されます。完了したブロックには緑色のチェックマークと緑色の枠線が表示され、失敗したブロックには赤色の枠線が表示されます。カウントはどの入力が各ブロックに到達したかを示し、条件が一致しない場合、ダウンストリームのブロックは実行されないままになります。
ページを再読み込みすると、実行の進行状況と選択された実行デプロイメントが復元されます。完了した結果は、一致するワークフローに対して表示されたままになります。アクティブな実行をキャンセルするには停止をクリックします。キャンセルすると、実行中のブロックがキャンセルポイントに到達するまで待機します。実行デプロイメントの停止または削除によってもワークフローがキャンセルされます。
トラブルシューティング#
- サイドバーからエージェントが消えている場合: 個人の設定 > プロフィールで早期アクセスを有効にしてください。
- 実行が共有トライアルの制限を超えている場合: 対象となる無料のデプロイメントを含む専用デプロイメントを選択するか、画像の解像度、入力数、およびモデル/プロバイダーの呼び出し数を減らしてください。
- デプロイメントの準備中または停止中の場合: 準備が完了するのを待つか、デプロイメントから起動してください。
- プロバイダーキーが欠落している場合: 設定 > APIキーで選択したプロバイダーを接続します。チームワークスペースの場合は、ワークスペースの所有者にキーの追加または置き換えを依頼してください。
- 宛先に画像が届かない場合: 条件と予測の信頼度カットオフを検査してください。空の検出結果は信頼度範囲を満たすことはありません。
- 収集された画像にラベルがない場合: 収集により、レビュー用の元の画像が追加されます。既存のアノテーションツールを使用してラベル付けしてください。