Agents#
Agents verbindet Bilder, Modelle, Bedingungen und Aktionen in einem visuellen Workflow. Nutze YOLO, um zu entscheiden, welche Bilder genauer betrachtet werden müssen, bitte ein Vision-Language-Modell, sie zu erklären, oder sammle ausgewählte Bilder zur Überprüfung in einem Datensatz.
Öffne Agents in der Seitenleiste oder gehe zu platform.ultralytics.com/agents. Agents wird in der Seitenleiste für alle angemeldeten Nutzer in persönlichen und Team-Arbeitsbereichen angezeigt. Eine Einstellung für den Early Access muss nicht aktiviert werden.
Starte deinen ersten Workflow#
- Öffne Agents, klicke auf Add block > Templates und wähle YOLO → VLM Monitor.
- Wähle den Block Input image, wähle einen hochgeladenen Datensatz und anschließend ein Bild aus, auf dem eine Person zu sehen ist. Verwende für den gemeinsamen Test ein Bild mit höchstens 4 Megapixeln.
- Behalte das standardmäßig ausgewählte YOLO26-nano-Modell bei. Die Bedingung ist erfüllt, wenn YOLO mindestens eine Person erkennt.
- Wähle Describe the scene, entscheide dich für ein Vision-Language-Modell und gib eine Eingabeaufforderung ein. Füge den passenden Anbieterschlüssel hinzu unter Settings > API Keys, falls du das noch nicht getan hast. Bitte in einem Team-Arbeitsbereich den Arbeitsbereichsinhaber, den Anbieterschlüssel hinzuzufügen oder zu ersetzen.
- Lass Shared trial · 60 seconds für einen kleinen Durchlauf ausgewählt und klicke dann auf Run.
- Beobachte, wie die Blöcke aktualisiert werden, und prüfe die Output. Wird keine Person erkannt, wird die Bedingung abgeschlossen, ohne den Beschreibungszweig auszuführen.
Du kannst einen Entwurf ausführen, bevor du ihn speicherst. Verwende Save workflow, um einen Workflow zu benennen und für später zu speichern. Speichere ihn nach Änderungen erneut. Über die Schaltfläche Python wird der generierte Workflow-Code angezeigt.
Beginne mit einer Vorlage#
| Vorlage | Workflow | Geeignet für |
|---|---|---|
| YOLO → VLM Monitor | Bild → YOLO → Bedingung → Vision-Language-Modell → Ausgabe | Eine Szene beschreiben, aber nur, wenn eine Person erkannt wird |
| Collect Uncertain Detections | Datensatz → Deployment → Konfidenzbedingung → Datensatz | Einen Prüfsatz aus Bildern mit unsicheren Erkennungen erstellen |
| Capture and Alert | Bild → YOLO → Bedingung → Datensatz und Slack | Aufgrund derselben Bedingung ein Bild speichern und einen Kanal benachrichtigen |
Vorlagen sind bearbeitbare Ausgangspunkte. Wähle vor der Ausführung die Bilder, das Deployment, den Zieldatensatz und die Integrationen für deinen Arbeitsbereich aus. Diese Workflows werden ausgeführt, wenn du auf Run klickst; die Monitor-Vorlage analysiert das ausgewählte Eingabebild.
Ausführungsort auswählen#
Über die Auswahlliste neben Run legst du die Hardware für den Workflow fest.
| Auswahl | Verwendung | Limits und Preise |
|---|---|---|
| Shared trial · 60 seconds | Einen kleinen Workflow ausprobieren | Bis zu 60 Sekunden, insgesamt 20 Eingabebilder mit jeweils höchstens 4 Megapixeln und 20 Modell-/Anbieteraufrufe; ein lokales YOLO-Modell mit einem offiziellen YOLO26-nano-Modell |
| Vorhandenes dediziertes Deployment | Größere Datensätze, längere Ausführungen oder andere lokale Modelle | Nutzt die vorhandene Hardware und Preisgestaltung des Deployments, einschließlich eines geeigneten kostenlosen dedizierten Deployments; keine Obergrenze für die Gesamtdauer des Workflows oder die Anzahl der Bilder |
| Neues Deployment… | Dedizierte Hardware im Builder erstellen | Öffnet den vorhandenen Dialog zum Erstellen eines Deployments und zur Preisgestaltung. Wähle die Ressourcen aus und warte, bis das Deployment bereit ist. |
Gemeinsame Testläufe sind auf drei pro Minute begrenzt; für Ausführungen auf einem dedizierten Deployment gibt es keine Ratenbegrenzung. Platform-Ausführungen unterstützen bis zu 20 Blöcke. Zu den Modell-/Anbieteraufrufen zählen YOLO, Vision-Language-Modelle, Deployment-Vorhersagen sowie Slack- und Webhook-Aktionen. Durch Verzweigungen kann die Anzahl der Aufrufe pro Eingabebild steigen.
Dedizierte Ausführungen laufen in gespeicherten Prüfpunkten auf dem ausgewählten Deployment weiter. Wenn du den Browser schließt oder neu lädst, wird eine Ausführung nicht angehalten. Die bestehenden Limits für Deployments und Anbieter gelten weiterhin. Die Nutzung von Sprachmodellen wird vom Anbieter abgerechnet, der deinem Schlüssel zugeordnet ist. Unter Preise für Deployments findest du Hardwareoptionen.
Ein Deployment-Block wählt den Endpunkt aus, der für einen Vorhersageschritt verwendet wird. Über die Auswahlliste legst du fest, wo der Workflow selbst ausgeführt wird. Du kannst für beides dasselbe dedizierte Deployment auswählen.
Blöcke konfigurieren#
| Block | Zweck |
|---|---|
| Bild | Lade ein Bild oder ein Video hoch, aus dem standardmäßig bis zu 10 Einzelbilder entnommen werden, oder wähle ein Bild aus einem hochgeladenen Datensatz aus. |
| Datensatz ohne eingehende Verbindung | Liest Bilder aus einem ausgewählten Datensatz und Split. Die Anzahl der Eingaben lässt sich festlegen. |
| YOLO | Führt ein offizielles Modell oder ein trainiertes Modell aus dem Arbeitsbereich aus. |
| Deployment | Führt Vorhersagen über ein vorhandenes, betriebsbereites Platform-Deployment aus. |
| LLM | Sendet das Bild und den vorgelagerten Kontext an das ausgewählte Sprach- oder Vision-Language-Modell. |
| Gate | Steuert nachgelagerte Ausführungen anhand einer Bedingung oder eines Zeitintervalls. |
| Datensatz mit eingehender Verbindung | Fügt das eingehende Bild einem Zieldatensatz hinzu. |
| Slack | Sendet eine Nachricht an den verbundenen Slack-Kanal des Arbeitsbereichs. |
| Webhook | POST einen JSON-Body an einen HTTPS-Endpunkt senden |
| Exportieren | Exportiert ein Modell mithilfe des vorhandenen Export-Workflows von Platform. |
| Ausgabe | Zeigt das vorgelagerte Ergebnis an. |
Wähle einen Block aus, um seine Einstellungen zu bearbeiten. Verbinde einen Ausgang mit einem anderen Block, um dessen Ergebnis weiterzugeben. Ein Ausgang kann mit mehreren Blöcken verbunden werden: Verbinde beispielsweise eine Bedingung sowohl mit einem Zieldatensatz als auch mit Slack. Jeder Zweig verwendet dieselbe ausgewertete Bedingung.
Erkennungen mit einer Bedingung filtern#
Verwende denselben Gate-Block für die Anzahl der Erkennungen und Konfidenzfilter. Wähle das vorgelagerte Ergebnis, eine beliebige oder eine bestimmte Klasse und einen Vergleich aus. Zum Beispiel:
- Anzahl der Personen ≥ 1: Wird fortgesetzt, wenn mindestens eine Person erkannt wird.
- Konfidenz zwischen 0,25 und 0,5: Wird fortgesetzt, wenn mindestens eine passende Erkennung in diesem einschließlich der Grenzwerte geltenden Bereich liegt.
- Eine bestimmte Klasse innerhalb eines Konfidenzbereichs: Sammelt nur unsichere Erkennungen dieser Klasse.
Konfidenzfilter prüfen einzelne Erkennungen. Ein Bild mit den Werten 0.3 und 0.9 erfüllt einen Bereich 0.25–0.5, wenn eine Erkennung passt. Bilder ohne Erkennungen erfüllen keine Konfidenzbedingung. Lege den Konfidenzgrenzwert des Vorhersagemodells niedrig genug fest, damit die Erkennungen erhalten bleiben, die du auswerten möchtest.
Wird eine Bedingung nicht erfüllt, wird sie ohne nachgelagerte Ausgabe abgeschlossen. Die verbundenen Aktionen werden für dieses Bild nicht ausgeführt.
Bilder zur Überprüfung sammeln#
Öffne Collect Uncertain Detections, wähle einen Quelldatensatz und Split aus, wähle dein Vorhersage-Deployment und stelle den Konfidenzbereich ein. Wähle im letzten Dataset-Block einen vorhandenen Zieldatensatz aus. Erstelle bei Bedarf zuerst auf der Seite Datasets einen Datensatz.
Der Zieldatensatz erhält die Originalbilder ohne Beschriftungen in seinem Split train. Vorhandene Kopien werden übersprungen; es gelten die üblichen Speicherplatzkontingente für Datensätze. Quellbeschriftungen und Modellvorhersagen werden nicht als Annotationen kopiert. Öffne den Zieldatensatz im vorhandenen Anmerkungseditor, um die gesammelten Bilder zu überprüfen und zu beschriften.
Verwende gehostete Bilder, auf die dein Arbeitsbereich zugreifen kann, und einen Zieldatensatz, den du bearbeiten darfst. Datensätze auf verbundenem Cloud-Speicher und lokalen Servern können nicht als Sammelziele verwendet werden.
Bedingte Slack-Benachrichtigungen senden#
Verbinde Slack unter Settings > Integrations und verbinde dann eine Bedingung mit einem Slack-Block. Gib die Nachricht ein und verwende {output}, um das vorgelagerte Ergebnis einzufügen. Capture and Alert verbindet dieselbe Bedingung außerdem mit einem Datensatz. Dadurch wird ein passendes Bild gesammelt und eine Nachricht an den verbundenen Kanal gesendet.
Slack-Nachrichten für Workflows werden im Block konfiguriert. Sie sind unabhängig von den Benachrichtigungsoptionen für Training, Export und Deployments unter Settings.
Webhooks senden#
Ein Webhook-Block sendet pro Ergebnis einen POST mit Content-Type: application/json an eine öffentliche HTTPS-URL. Jeder Dienst, der eine JSON-Anfrage entgegennimmt, kann so das Ergebnis einer Bedingung empfangen. Gib die Ziel-URL und einen JSON-Body mit höchstens 10.000 Zeichen ein. Füge {output} innerhalb einer Zeichenfolge ein; dieser Wert wird durch das vorgelagerte Ergebnis ersetzt. Der Block ist ein Endpunkt und akzeptiert keine ausgehende Verbindung. Weiterleitungen werden nicht verfolgt, nach 5 Sekunden läuft die Verbindung ab und eine nicht erfolgreiche 2xx-Antwort lässt den Block fehlschlagen.
Fortschritt verfolgen und Ausführung stoppen#
Aktive Blöcke zeigen einen grünen Ladekreis. Abgeschlossene Blöcke haben ein grünes Häkchen und einen grünen Rahmen; fehlgeschlagene Blöcke haben einen roten Rahmen. Die Zähler zeigen, welche Eingaben jeden Block erreicht haben. Wenn eine Bedingung nicht erfüllt ist, werden nachgelagerte Blöcke nicht ausgeführt.
Beim Neuladen der Seite werden der Fortschritt der Ausführung und das ausgewählte Ausführungs-Deployment wiederhergestellt. Abgeschlossene Ergebnisse bleiben für den zugehörigen Workflow sichtbar. Klicke auf Stop, um eine aktive Ausführung abzubrechen. Der Abbruch wird erst wirksam, wenn der gerade ausgeführte Block einen Abbruchpunkt erreicht. Wird das Ausführungs-Deployment angehalten oder gelöscht, wird der Workflow ebenfalls abgebrochen.
Fehlerbehebung#
- Die Ausführung überschreitet die Limits des gemeinsamen Testlaufs: Wähle ein dediziertes Deployment, auch ein geeignetes kostenloses Deployment, oder verringere die Bildauflösung, die Anzahl der Eingaben und die Modell-/Anbieteraufrufe.
- Das Deployment wird vorbereitet oder ist angehalten: Warte, bis es bereit ist, oder starte es unter Deployments.
- Ein Anbieterschlüssel fehlt: Verbinde den ausgewählten Anbieter unter Settings > API Keys. Bitte in einem Team-Arbeitsbereich den Arbeitsbereichsinhaber, den Schlüssel hinzuzufügen oder zu ersetzen.
- Es erreichen keine Bilder das Ziel: Prüfe die Bedingung und den Konfidenzgrenzwert der Vorhersage. Leere Erkennungsergebnisse erfüllen niemals einen Konfidenzbereich.
- Gesammelte Bilder haben keine Beschriftungen: Beim Sammeln werden Originalbilder zur Überprüfung hinzugefügt. Beschrifte sie mit den vorhandenen Anmerkungswerkzeugen.