Agents#
Agents verknüpft Bilder, Modelle, Bedingungen und Aktionen in einem visuellen Workflow. Verwende YOLO, um zu entscheiden, welche Bilder genauer betrachtet werden müssen, bitte ein Vision-Language-Modell um eine Erklärung oder sammle ausgewählte Bilder zur Überprüfung in einem Dataset.
Wechsle über die Workspace-Auswahl in der Seitenleiste zu deinem persönlichen Workspace und aktiviere Frühzeitiger Zugriff unter Settings > Profile. Öffne dann Agents in der Seitenleiste oder rufe platform.ultralytics.com/agents auf. Der frühzeitige Zugriff ist eine persönliche Einstellung, die auch gilt, wenn du in einem Team-Workspace arbeitest.
Deinen ersten Workflow ausführen#
- Öffne Agents, klicke auf Add block > Templates und wähle YOLO → VLM Monitor.
- Wähle den Block Input image, wähle ein hochgeladenes Dataset und ein Bild aus, das eine Person enthält. Verwende für den gemeinsamen Testlauf ein Bild mit maximal 4 Megapixeln.
- Behalte das Standardmodell YOLO26 nano bei. Die Bedingung ist erfüllt, wenn YOLO mindestens eine Person erkennt.
- Wähle Describe the scene, wähle ein Vision-Language-Modell und gib einen Prompt ein. Füge den passenden Anbieter-Schlüssel hinzu unter Settings > API Keys, falls du das noch nicht getan hast. Bitte in einem Team-Workspace den Workspace-Inhaber, den Anbieter-Schlüssel hinzuzufügen oder zu ersetzen.
- Behalte Shared trial · 60 seconds für einen kleinen Durchlauf ausgewählt und klicke dann auf Run.
- Beobachte, wie sich die Blöcke aktualisieren, und untersuche die Output. Wenn keine Person erkannt wird, wird die Bedingung beendet, ohne den Beschreibungszweig auszuführen.
Du kannst einen Entwurf ausführen, bevor du ihn speicherst. Verwende Save workflow, um einen Workflow für später zu benennen und zu speichern, und speichere ihn nach Änderungen erneut. Die Schaltfläche Python zeigt den generierten Workflow-Code.
Mit einer Vorlage beginnen#
| Vorlage | Workflow | Nützlich für |
|---|---|---|
| YOLO → VLM Monitor | Image → YOLO → Bedingung → Vision-Language-Modell → Output | Eine Szene nur dann beschreiben, wenn eine Person erkannt wird |
| Collect Uncertain Detections | Dataset → Deployment → Konfidenzbedingung → Dataset | Einen Prüfbestand aus Bildern mit unsicheren Erkennungen erstellen |
| Capture and Alert | Image → YOLO → Bedingung → Dataset und Slack | Ein Bild speichern und einen Kanal über dieselbe Bedingung benachrichtigen |
Vorlagen sind bearbeitbare Ausgangspunkte. Wähle die Bilder, das Deployment, das Zieldataset und die Integrationen für deinen Workspace aus, bevor du sie ausführst. Diese Workflows werden ausgeführt, wenn du auf Run klickst; die Monitor-Vorlage analysiert das ausgewählte Eingabebild.
Ausführungsort wählen#
Die Ausführungsauswahl neben Run wählt die Hardware für den Workflow aus.
| Auswahl | Verwende es für | Grenzwerte und Preise |
|---|---|---|
| Shared trial · 60 seconds | Einen kleinen Workflow ausprobieren | Bis zu 60 Sekunden, insgesamt 20 Eingabebilder mit jeweils bis zu 4 Megapixeln und 20 Modell-/Anbieteraufrufe; ein lokales YOLO-Modell unter Verwendung eines offiziellen YOLO26 nano-Modells |
| Existing dedicated deployment | Größere Datasets, längere Läufe oder andere lokale Modelle | Verwendet die vorhandene Hardware und Preisgestaltung dieses Deployments, einschließlich eines berechtigten kostenlosen dedizierten Deployments; keine Gesamtdauer des Workflows oder Obergrenze für die Bildanzahl |
| New deployment… | Dedizierte Hardware im Builder erstellen | Öffnet den Dialog zum Erstellen und Preisangaben des bestehenden Deployments; wähle Ressourcen aus und warte, bis das Deployment bereit ist |
Gemeinsame Testläufe erlauben zwei Übermittlungen alle fünf Minuten. Plattform-Läufe unterstützen bis zu 20 Blöcke. Modell-/Anbieteraufrufe umfassen YOLO, Vision-Language-Modelle, Deployment-Vorhersagen und Slack-Aktionen; Verzweigungen können die Anzahl der Aufrufe pro Eingabebild erhöhen.
Dedizierte Läufe werden in abgesicherten Anfragen auf dem ausgewählten Deployment fortgesetzt. Das Schließen oder Neuladen des Browsers stoppt einen Lauf nicht. Bestehende Deployment-Limits und Anbieterlimits gelten weiterhin, und die Nutzung von Sprachmodellen wird von dem Anbieter abgerechnet, der mit deinem Schlüssel verknüpft ist. Siehe deployment pricing für Hardware-Optionen.
Ein Deployment-Block wählt den Endpunkt aus, der für einen Vorhersageschritt verwendet wird. Die Ausführungsauswahl wählt aus, wo der Workflow selbst ausgeführt wird. Du kannst für beide dasselbe dedizierte Deployment auswählen.
Blöcke konfigurieren#
| Block | Zweck |
|---|---|
| Bild | Ein Bild aus einem hochgeladenen Dataset auswählen |
| Dataset ohne eingehende Verbindung | Bilder aus einem ausgewählten Dataset und Split lesen, mit einem konfigurierbaren Eingabe-Limit |
| YOLO | Ein offizielles Modell oder ein trainiertes Modell aus dem Workspace ausführen |
| Deployment | Vorhersagen über ein vorhandenes, bereites Plattform-Deployment durchführen |
| LLM | Das Bild und den vorgelagerten Kontext an das ausgewählte Sprach- oder Vision-Language-Modell senden |
| Gate | Nachgelagerte Ausführung mit einer Bedingung oder Taktung steuern |
| Dataset mit einer eingehenden Verbindung | Das eingehende Bild zu einem Zieldataset hinzufügen |
| Slack | Eine Nachricht an den verbundenen Slack-Kanal des Workspaces senden |
| Exportieren | Ein Modell über den vorhandenen Export-Workflow der Plattform exportieren |
| Output | Das vorgelagerte Ergebnis anzeigen |
Wähle einen Block aus, um dessen Einstellungen zu bearbeiten. Verbinde eine Ausgabe mit einem anderen Block, um das Ergebnis nachgeschaltet weiterzugeben. Eine Ausgabe kann mit mehreren Blöcken verbunden werden: Verbinde beispielsweise eine Bedingung sowohl mit einem Zieldataset als auch mit Slack. Jeder Zweig verwendet dieselbe ausgewertete Bedingung.
Erkennungen mit einer Bedingung filtern#
Verwende denselben Gate-Block für Erkennungszählungen und Konfidenzfilter. Wähle das vorgelagerte Ergebnis, eine beliebige Klasse oder eine bestimmte Klasse sowie einen Vergleich aus. Zum Beispiel:
- Personenanzahl ≥ 1: Fortfahren, wenn mindestens eine Person erkannt wird.
- Konfidenz zwischen 0,25 und 0,5: Fortfahren, wenn mindestens eine übereinstimmende Erkennung in diesen inklusiven Bereich fällt.
- Eine bestimmte Klasse in einem Konfidenzbereich: Unsichere Erkennungen nur für diese Klasse sammeln.
Konfidenzfilter untersuchen einzelne Erkennungen. Ein Bild mit Scores von 0.3 und 0.9 besteht einen 0.25–0.5-Bereich, da eine Erkennung übereinstimmt. Bilder ohne Erkennungen bestehen eine Konfidenzbedingung nicht. Stelle den Konfidenzgrenzwert des Vorhersagemodells niedrig genug ein, um die Erkennungen beizubehalten, die du auswerten möchtest.
Eine Bedingung, die nicht übereinstimmt, wird ohne nachgeschaltete Ausgabe abgeschlossen. Die damit verbundenen Aktionen werden für dieses Bild nicht ausgeführt.
Bilder zur Überprüfung sammeln#
Öffne Collect Uncertain Detections, wähle ein Quelldataset und einen Split aus, wähle dein Vorhersage-Deployment aus und konfiguriere den Konfidenzbereich. Wähle im letzten Dataset-Block ein bestehendes Zieldataset aus. Erstelle bei Bedarf zuerst ein Dataset über die Datasets-Seite.
Das Ziel empfängt die Originalbilder unbeschriftet in seinem train-Split. Vorhandene Kopien werden übersprungen, und es gelten die normalen Quoten für den Datasetspeicher. Quell-Labels und Modellvorhersagen werden nicht als Annotationen kopiert. Öffne das Ziel im bestehenden Annotationseditor, um die gesammelten Bilder zu überprüfen und zu beschriften.
Verwende gehostete Bilder, auf die dein Workspace zugreifen kann, und ein Zieldataset, das du bearbeiten kannst. Verbunden sind Cloud-Storage- und On-Premise-Datasets, die nicht als Sammelziele verwendet werden können.
Bedingte Slack-Benachrichtigungen senden#
Verbinde Slack unter Settings > Integrations und verbinde dann eine Bedingung mit einem Slack-Block. Gib die Nachricht ein und verwende {output}, um das vorgelagerte Ergebnis einzubeziehen. Capture and Alert verbindet dieselbe Bedingung auch mit einem Dataset, sodass ein passendes Bild gesammelt und eine Nachricht an den verbundenen Kanal gesendet wird.
Workflow-Slack-Nachrichten werden im Block konfiguriert. Sie sind von den Benachrichtigungsauswahlmöglichkeiten für Training, Export und Deployment in den Einstellungen getrennt.
Fortschritt verfolgen und einen Lauf stoppen#
Aktive Blöcke zeigen einen grünen Spinner. Abgeschlossene Blöcke zeigen einen grünen Haken und eine grüne Umrandung; fehlgeschlagene Blöcke zeigen eine rote Umrandung. Zählungen zeigen an, welche Eingaben jeden Block erreicht haben, und nachgeschaltete Blöcke bleiben unbestimmt, wenn eine Bedingung nicht übereinstimmt.
Das Neuladen der Seite stellt den Fortschritt des Laufs und das ausgewählte Ausführungs-Deployment wieder her. Abgeschlossene Ergebnisse bleiben für den passenden Workflow sichtbar. Klicke auf Stop, um einen aktiven Lauf abzubrechen; das Abbrechen wartet darauf, dass der ausführende Block einen Abbruchpunkt erreicht. Das Stoppen oder Löschen seines Ausführungs-Deployments bricht auch den Workflow ab.
Fehlerbehebung#
- Agents fehlt in der Seitenleiste: Aktiviere Frühzeitiger Zugriff in deinem persönlichen Settings > Profile.
- Der Lauf überschreitet die Limits des gemeinsamen Testlaufs: Wähle ein dediziertes Deployment, einschließlich eines berechtigten kostenlosen Deployments, oder reduziere die Bildauflösung, die Eingabeanzahl und die Modell-/Anbieteraufrufe.
- Das Deployment wird vorbereitet oder gestoppt: Warte, bis es bereit ist, oder starte es unter Deployments.
- Ein Anbieter-Schlüssel fehlt: verbinde den ausgewählten Anbieter unter Settings > API Keys. Bitte in einem Team-Workspace den Workspace-Inhaber, den Schlüssel hinzuzufügen oder zu ersetzen.
- Keine Bilder erreichen das Ziel: Überprüfe die Bedingung und den Konfidenzgrenzwert der Vorhersage. Leere Erkennungsergebnisse erfüllen niemals einen Konfidenzbereich.
- Gesammelte Bilder haben keine Labels: Die Sammlung fügt Originalbilder zur Überprüfung hinzu. Verwende die vorhandenen Annotationstools, um sie zu beschriften.