Agenten#
Agents verbindet Bilder, Modelle, Bedingungen und Aktionen in einem visuellen Workflow. Verwende YOLO, um zu entscheiden, welche Bilder genauer betrachtet werden sollen, bitte ein Vision-Language-Modell, sie zu erläutern, oder sammle ausgewählte Bilder zur Überprüfung in einem Datensatz.
Öffne Agents in der Seitenleiste oder rufe platform.ultralytics.com/agents auf. Agents wird für alle angemeldeten Nutzer in der Seitenleiste angezeigt, sowohl in persönlichen als auch in Team-Arbeitsbereichen. Es muss keine Einstellung für den frühen Zugriff aktiviert werden.
Führe deinen ersten Workflow aus#
- Öffne Agents, klicke auf Block hinzufügen > Vorlagen und wähle YOLO → VLM-Monitor aus.
- Wähle den Block Eingabebild aus, wähle einen hochgeladenen Datensatz und dann ein Bild mit einer Person aus. Verwende für den gemeinsamen Test ein Bild mit höchstens 4 Megapixeln.
- Behalte das standardmäßig ausgewählte YOLO26-Nano-Modell bei. Die Bedingung ist erfüllt, wenn YOLO mindestens eine Person erkennt.
- Wähle Szene beschreiben, dann ein Vision-Language-Modell und gib eine Eingabeaufforderung ein. Füge den passenden Anbieterschlüssel hinzu unter Einstellungen > API-Schlüssel, falls du das noch nicht getan hast. Bitte in einem Team-Arbeitsbereich den Inhaber des Arbeitsbereichs, den Anbieterschlüssel hinzuzufügen oder zu ersetzen.
- Lass Gemeinsamer Test · 60 Sekunden für einen kleinen Durchlauf ausgewählt und klicke dann auf Ausführen.
- Beobachte, wie die Blöcke aktualisiert werden, und prüfe die Ausgabe. Wird keine Person erkannt, endet die Bedingung, ohne den Beschreibungszweig auszuführen.
Du kannst einen Entwurf ausführen, bevor du ihn speicherst. Verwende Workflow speichern, um einen Workflow zu benennen und für später zu speichern. Speichere ihn nach Änderungen erneut. Über die Schaltfläche Python wird der generierte Workflow-Code angezeigt.
Beginne mit einer Vorlage#
| Vorlage | Workflow | Geeignet für |
|---|---|---|
| YOLO → VLM-Monitor | Bild → YOLO → Bedingung → Vision-Language-Modell → Ausgabe | Eine Szene nur beschreiben, wenn eine Person erkannt wird |
| Unsichere Erkennungen sammeln | Datensatz → Bereitstellung → Konfidenzbedingung → Datensatz | Eine Prüfmenge aus Bildern mit unsicheren Erkennungen erstellen |
| Aufnehmen und benachrichtigen | Bild → YOLO → Bedingung → Datensatz und Slack | Ein Bild speichern und über dieselbe Bedingung einen Kanal benachrichtigen |
Vorlagen sind bearbeitbare Ausgangspunkte. Wähle vor der Ausführung die Bilder, die Bereitstellung, den Zieldatensatz und die Integrationen für deinen Arbeitsbereich aus. Diese Workflows werden ausgeführt, wenn du auf Ausführen klickst; die Monitorvorlage analysiert das ausgewählte Eingabebild.
Wähle den Ausführungsort#
Mit der Ausführungsauswahl neben Ausführen legst du die Hardware für den Workflow fest.
| Auswahl | Verwendung | Limits und Preise |
|---|---|---|
| Gemeinsamer Test · 60 Sekunden | Einen kleinen Workflow ausprobieren | Bis zu 60 Sekunden, insgesamt 20 Eingabebilder mit jeweils höchstens 4 Megapixeln und 20 Modell-/Anbieteraufrufe; ein lokales YOLO-Modell unter Verwendung eines offiziellen YOLO26-Nano-Modells |
| Bestehende dedizierte Bereitstellung | Größere Datensätze, längere Ausführungen oder andere lokale Modelle | Verwendet die bestehende Hardware und Preisgestaltung dieser Bereitstellung, einschließlich einer berechtigten kostenlosen dedizierten Bereitstellung; keine Begrenzung der Gesamtdauer des Workflows oder der Bildanzahl |
| Neue Bereitstellung … | Dedizierte Hardware über den Builder erstellen | Öffnet den vorhandenen Dialog zum Erstellen einer Bereitstellung mit den dazugehörigen Preisen. Wähle die Ressourcen aus und warte, bis die Bereitstellung bereit ist. |
Gemeinsame Tests sind auf drei Ausführungen pro Minute begrenzt; Ausführungen auf einer dedizierten Bereitstellung haben kein Ratenlimit. Platform-Workflows unterstützen bis zu 20 Blöcke. Zu den Modell-/Anbieteraufrufen zählen YOLO, Vision-Language-Modelle, Vorhersagen über Bereitstellungen sowie Slack- und Webhook-Aktionen. Verzweigungen können die Anzahl der Aufrufe pro Eingabebild erhöhen.
Dedizierte Ausführungen werden in Anfragen mit Prüfpunkten auf der ausgewählten Bereitstellung fortgesetzt. Das Schließen oder Neuladen des Browsers beendet eine Ausführung nicht. Die Limits der vorhandenen Bereitstellung und des Anbieters gelten weiterhin. Die Nutzung von Sprachmodellen wird vom Anbieter abgerechnet, der deinem Schlüssel zugeordnet ist. Unter Preise für Bereitstellungen findest du Hardwareoptionen.
Ein Bereitstellungsblock wählt den Endpunkt aus, der für einen Vorhersageschritt verwendet wird. Mit der Ausführungsauswahl legst du fest, wo der Workflow selbst ausgeführt wird. Du kannst für beides dieselbe dedizierte Bereitstellung wählen.
Blöcke konfigurieren#
| Block | Zweck |
|---|---|
| Bild | Lade ein Bild oder ein Video hoch, aus dem standardmäßig bis zu 10 Einzelbilder entnommen werden, oder wähle ein Bild aus einem hochgeladenen Datensatz aus |
| Datensatz ohne eingehende Verbindung | Liest Bilder aus einem ausgewählten Datensatz und einer Aufteilung mit konfigurierbarem Eingabelimit |
| YOLO | Führt ein offizielles Modell oder ein trainiertes Modell aus dem Arbeitsbereich aus |
| Bereitstellung | Führt Vorhersagen über eine vorhandene, einsatzbereite Platform-Bereitstellung aus |
| LLM | Sendet das Bild und den vorgelagerten Kontext an das ausgewählte Sprach- oder Vision-Language-Modell |
| Gate | Steuert die nachgelagerte Ausführung anhand einer Bedingung oder eines Zeitintervalls |
| Datensatz mit eingehender Verbindung | Fügt das eingehende Bild einem Zieldatensatz hinzu |
| Slack | Sendet eine Nachricht an den verbundenen Slack-Kanal des Arbeitsbereichs |
| Webhook | POST einen JSON-Body an einen HTTPS-Endpunkt senden |
| Exportieren | Exportiert ein Modell mithilfe des vorhandenen Export-Workflows von Platform |
| Ausgabe | Zeigt das Ergebnis des vorgelagerten Blocks an |
Wähle einen Block aus, um seine Einstellungen zu bearbeiten. Verbinde den Ausgang eines Blocks mit einem anderen Block, um sein Ergebnis weiterzugeben. Ein Ausgang kann mit mehreren Blöcken verbunden werden: Verbinde zum Beispiel eine Bedingung sowohl mit einem Zieldatensatz als auch mit Slack. Jeder Zweig verwendet dieselbe ausgewertete Bedingung.
Erkennungen mit einer Bedingung filtern#
Verwende denselben Gate-Block für die Anzahl erkannter Objekte und Konfidenzfilter. Wähle das vorgelagerte Ergebnis, eine beliebige Klasse oder eine bestimmte Klasse und einen Vergleich aus. Beispiele:
- Anzahl der Personen ≥ 1: Wird mindestens eine Person erkannt, wird der Workflow fortgesetzt.
- Konfidenz zwischen 0,25 und 0,5: Der Workflow wird fortgesetzt, wenn mindestens eine passende Erkennung innerhalb dieses einschließlich geltenden Bereichs liegt.
- Eine bestimmte Klasse innerhalb eines Konfidenzbereichs: Sammelt nur unsichere Erkennungen dieser Klasse.
Konfidenzfilter prüfen einzelne Erkennungen. Ein Bild mit den Werten 0.3 und 0.9 erfüllt einen Bereich von 0.25–0.5, wenn eine Erkennung darin liegt. Bilder ohne Erkennungen erfüllen keine Konfidenzbedingung. Lege den Konfidenzgrenzwert des Vorhersagemodells niedrig genug fest, damit die Erkennungen erhalten bleiben, die du auswerten möchtest.
Wird eine Bedingung nicht erfüllt, endet sie ohne nachgelagerte Ausgabe. Die verbundenen Aktionen werden für dieses Bild nicht ausgeführt.
Bilder zur Überprüfung sammeln#
Öffne Collect Uncertain Detections, wähle ein Quelldataset und einen Split aus, wähle deine Vorhersagebereitstellung aus und lege den Konfidenzbereich fest. Wähle im letzten Block Dataset ein vorhandenes Zieldataset aus. Erstelle bei Bedarf zuerst auf der Seite Datasets ein Dataset.
Das Ziel erhält die Originalbilder ohne Labels in seinem Split train. Bereits vorhandene Kopien werden übersprungen; es gelten die üblichen Speicherkontingente für Datasets. Quelllabels und Modellvorhersagen werden nicht als Annotationen kopiert. Öffne das Zieldataset im vorhandenen Annotation-Editor, um die gesammelten Bilder zu überprüfen und zu beschriften.
Verwende gehostete Bilder, auf die dein Arbeitsbereich zugreifen kann, und ein Zieldataset, das du bearbeiten darfst. Verbundene Cloud-Speicher und lokal betriebene Datasets können nicht als Sammelziele verwendet werden.
Bedingte Slack-Benachrichtigungen senden#
Verbinde Slack unter Settings > Integrations und verbinde dann eine Bedingung mit einem Slack-Block. Gib die Nachricht ein und verwende {output}, um das Ergebnis des vorherigen Schritts einzufügen. Capture and Alert verbindet dieselbe Bedingung außerdem mit einem Dataset, sodass ein passendes Bild gesammelt und eine Nachricht an den verbundenen Kanal gesendet wird.
Slack-Nachrichten für Workflows werden im Block konfiguriert. Sie sind unabhängig von den Benachrichtigungsoptionen für Training, Export und Bereitstellung in den Einstellungen.
Webhooks senden#
Ein Webhook-Block sendet für jedes Ergebnis eine POST mit Content-Type: application/json an eine öffentliche HTTPS-URL. So kann jeder Dienst, der eine JSON-Anfrage akzeptiert, das Ergebnis einer Bedingung empfangen. Gib die Ziel-URL und einen JSON-Text mit bis zu 10.000 Zeichen ein, der {output} innerhalb einer Zeichenfolge enthält. Dieser Platzhalter wird durch das Ergebnis des vorherigen Schritts ersetzt. Der Block ist ein Endpunkt und akzeptiert keine ausgehende Verbindung. Weiterleitungen werden nicht verfolgt, die Verbindung wird nach 5 Sekunden abgebrochen und eine Antwort außerhalb des 2xx-Bereichs lässt den Block fehlschlagen.
Fortschritt verfolgen und einen Lauf stoppen#
Aktive Blöcke zeigen einen grünen Drehindikator. Abgeschlossene Blöcke sind mit einem grünen Häkchen und grünem Rahmen markiert; fehlgeschlagene Blöcke haben einen roten Rahmen. Die Zähler zeigen, welche Eingaben jeden Block erreicht haben. Nachgelagerte Blöcke werden nicht ausgeführt, wenn eine Bedingung nicht erfüllt ist.
Beim erneuten Laden der Seite werden der Fortschritt des Laufs und die ausgewählte Ausführungsbereitstellung wiederhergestellt. Abgeschlossene Ergebnisse bleiben für den entsprechenden Workflow sichtbar. Klicke auf Stop, um einen aktiven Lauf abzubrechen. Der Abbruch wird ausgeführt, sobald der gerade laufende Block einen Abbruchpunkt erreicht. Wenn du die Ausführungsbereitstellung stoppst oder löschst, wird der Workflow ebenfalls abgebrochen.
Agents mit der API verwalten#
Die Agents-API listet, speichert und löscht Agents per Code. Das Python-SDK stellt sie als client.agents in ultralytics-platform>=0.1.74 bereit. Beim Speichern werden dieselben Blockfehler zurückgegeben, die auch auf der Arbeitsfläche angezeigt werden. Läufe werden weiterhin auf der Arbeitsfläche gestartet: Öffne einen gespeicherten Agent unter https://platform.ultralytics.com/agents?workflow={id} und klicke auf Run.
Fehlerbehebung#
- Der Lauf überschreitet die gemeinsamen Testlimits: Wähle eine dedizierte Bereitstellung aus, einschließlich einer geeigneten kostenlosen Bereitstellung, oder verringere die Bildauflösung, die Anzahl der Eingaben und die Anzahl der Modell- oder Anbieteraufrufe.
- Die Bereitstellung wird vorbereitet oder ist gestoppt: Warte, bis sie bereit ist, oder starte sie unter Deployments.
- Ein Anbieterschlüssel fehlt: Verbinde den ausgewählten Anbieter unter Settings > API Keys. Bitte in einem Teamarbeitsbereich die Inhaberin oder den Inhaber des Arbeitsbereichs, den Schlüssel hinzuzufügen oder zu ersetzen.
- Es erreichen keine Bilder das Ziel: Überprüfe die Bedingung und den Konfidenzschwellenwert der Vorhersage. Leere Erkennungsergebnisse erfüllen niemals einen Konfidenzbereich.
- Gesammelte Bilder haben keine Labels: Beim Sammeln werden Originalbilder zur Überprüfung hinzugefügt. Beschrifte sie mit den vorhandenen Annotationstools.