Überwachung#

Die Ultralytics Platform bietet Überwachung für bereitgestellte Endpunkte. Verfolge Anfragen, Latenz, Fehler und Protokolle der Endpunkte. Bereite dedizierte Endpunkte mit einer aktuellen Laufzeitumgebung vor, um außerdem Live-Statistiken zu Vorhersagen und temporäre Beispiele zu erhalten, die du prüfen und in Datensätzen speichern kannst.

Tab „Bereitstellungen“#

Der Tab Bereitstellungen in deinem Profil dient als Überwachungsdashboard für alle deine Bereitstellungen. Er vereint die Weltkarte, Übersichtsmetriken und die Verwaltung der Bereitstellungen in einer Ansicht. Unter Dedizierte Endpunkte erfährst du, wie du Bereitstellungen erstellst und verwaltest.

graph TB
    subgraph "Deployments Tab"
        Map[World Map]:::proc --- Cards[Overview Cards]:::proc
        Cards --- List[Deployments List]:::decide
    end
    subgraph "Deployment Page"
        Metrics[Metrics Cards]:::out
        Overview[Overview Tab: Endpoint and Health Check]:::out
        Monitoring[Monitoring Tab]:::out
        Predict[Predict Tab]:::out
        Logs[Logs Tab]:::out
    end
    List --> Metrics
    List --> Overview
    List --> Monitoring
    List --> Predict
    List --> Logs

    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Übersichtskarten#

Vier Übersichtskarten oben auf der Seite zeigen:

Es wird die P95-Latenz statt der medianen Latenz angezeigt, da Zustandsprüfungen innerhalb weniger Millisekunden abgeschlossen sind und sonst das Bild der tatsächlichen Inferenzlatenz verzerren würden.

Weltkarte#

Die interaktive Weltkarte zeigt:

• Regionsmarkierungen für alle 42 verfügbaren Regionen
• Grüne Markierungen für Regionen mit einer bereitstehenden Bereitstellung
• Animierte blaue Markierungen für Regionen mit laufenden aktiven Bereitstellungen
• Größe der Markierungen variiert je nach Bereitstellungsstatus und Latenz

Klicke auf eine beliebige Region, um den Dialog New Deployment zu öffnen. Auf kleinen Bildschirmen wird die Karte ausgeblendet.

Bereitstellungsliste#

Unter den Übersichtskarten zeigt die Bereitstellungsliste alle Endpunkte deiner Projekte. Mit dem Ansichtsmodus kannst du wechseln zwischen:

Metriken einzelner Bereitstellungen#

Auf der Seite jeder Bereitstellung werden oberhalb der Tabs Overview, Monitoring, Predict und Logs Echtzeitmetriken angezeigt:

Metrikkarten#

Jede Karte zeigt einen Sparkline-Verlauf und wird jede Minute aktualisiert. Daneben befindet sich eine Karte mit einem Link zum bereitgestellten Modell. Metriken werden nur für Bereitstellungen im Status Bereit erfasst. Im Tab „Bereitstellungen“ werden Metriken für die 20 zuletzt erstellten Bereitstellungen abgerufen.

Zustandsprüfung#

Die Karte Endpunkt im Tab Overview einer laufenden Bereitstellung zeigt eine Zustandsprüfungsanzeige:

Bei einem nicht funktionsfähigen Endpunkt werden Zustandsprüfungen automatisch wiederholt und beendet, sobald der Endpunkt antwortet. Beim Öffnen der Bereitstellungsseite wird eine Zustandsprüfung ausgeführt. Über die Schaltfläche zum erneuten Anpingen wird eine weitere Prüfung ausgelöst. Damit kannst du auch einen auf null skalierten Endpunkt aufwärmen, bevor du Datenverkehr sendest.

Tab „Überwachung“#

Öffne die Bereitstellungsseite eines dedizierten Endpunkts mit dem Status Bereit und wähle den Tab Überwachung aus. Sende über den Tab Vorhersage oder die API des Endpunkts ein Bild oder lasse eine Hintergrundkamera laufen, um Temporäre Beispiele und Vorhersagestatistiken zu füllen. Bevor das erste Bild verarbeitet wurde, wird auf dem Tab Keine Bilder verarbeitet angezeigt.

Temporäre Beispiele#

Die Galerie enthält kürzlich verarbeitete Bilder mit eingeblendeten Vorhersagen. Öffne ein Bild, um die Vorhersagen in der Vollbildansicht zu prüfen, und passe die Einblendungen über die Sichtbarkeitseinstellungen an. In der Galerie werden zunächst bis zu 12 Beispiele angezeigt. Mit Alle anzeigen kannst du sie erweitern.

• Erfassung: Kürzlich verarbeitete Bilder erscheinen als temporäre Beispiele, höchstens eines pro Sekunde. Die Erfassung erfolgt nach Möglichkeit; die Inferenz wartet nicht auf die Kodierung der Beispiele.
• Kapazität: Höchstens 100 Bilder innerhalb eines gemeinsamen Arbeitsspeicherbudgets von 100 MiB für komprimierte Bilder, Vorhersagemetadaten und zugehörige Ressourcen. Die Benutzeroberfläche gibt dieses Budget als 100 MB an.
• Ersetzung: Ältere Beispiele werden ersetzt, sobald eine der beiden Grenzen erreicht ist. Ein Beispiel kann während der Ansicht nicht mehr verfügbar sein.
• Speicherung: Temporäre Beispiele bleiben im Arbeitsspeicher des Endpunkts. Beim Speichern in einem Datensatz gelten die üblichen Speicher- und Verarbeitungsgrenzen des Arbeitsbereichs.

Beispiele in einem Datensatz speichern#

Mitglieder des Arbeitsbereichs, die Inhalte bearbeiten dürfen, können Beispiele in einem Datensatz des Arbeitsbereichs speichern, zu dem der Endpunkt gehört:

1. Wähle einzelne Beispiele über ihre Kontrollkästchen aus oder klicke auf Alle auswählen.
2. Klicke auf In Datensatz speichern.
3. Wähle einen vorhandenen Datensatz aus, dessen Aufgabe mit der des bereitgestellten Modells übereinstimmt. Datensätze mit verbundenen Quellen sind ausgeschlossen. Wenn kein geeigneter Datensatz verfügbar ist, erstelle zuerst einen passenden Datensatz.
4. Klicke auf Speichern. Die Schaltfläche zeigt die Anzahl der ausgewählten Bilder an. Öffne anschließend den Datensatz, um die Verarbeitung nachzuverfolgen.

Die ausgewählten Bilder und Vorhersagen werden über den üblichen Workflow zum Hochladen und Einlesen von Datensätzen kopiert. Es gelten die üblichen Kontingente sowie die Regeln für die Klassenzuordnung und den Umgang mit Duplikaten. Beim Speichern bleiben die temporären Beispiele in der Galerie. Erfolgreich eingelesene Datensatzbilder bleiben auch nach einem Neustart oder Löschen des Endpunkts erhalten. Überprüfe vorhergesagte Bezeichnungen, bevor du sie zum Trainieren verwendest. Für jedes gespeicherte Bild werden deploymentId, deploymentName, deploymentRegion und deploymentRegionName in den benutzerdefinierten Metadaten erfasst, nach denen die Datensatzsuche sucht. Die Namen werden so gespeichert, wie sie zum Speicherzeitpunkt lauten. Wird ein Bild als Duplikat übersprungen, bleiben seine vorhandenen Metadaten erhalten.

Um temporäre Beispiele zu entfernen, bewege den Mauszeiger über ein Bild und verwende die Papierkorb-Schaltfläche. Alternativ kannst du mehrere Beispiele auswählen, auf die Schaltfläche zum Löschen mehrerer Elemente klicken und anschließend Löschen bestätigen. Das Löschen von Beispielen ändert weder die aggregierten Vorhersagestatistiken noch Bilder, die bereits in Datensätzen gespeichert wurden.

Vorhersagestatistiken#

Die Statistiken fassen verarbeitete Bilder unabhängig von der Galerie zusammen. Wenn ein Beispiel gelöscht oder ersetzt wird, wird sein Beitrag nicht abgezogen. Die Übersicht zeigt für den ausgewählten Zeitraum die Anzahl der Bilder, Vorhersagen und Bilder ohne Vorhersagen. Tiefenmodelle zeigen die Anzahl der Bilder an.

Standardmäßig ist im Datumsauswahlfeld der Zeitraum der letzten 30 Tage eingestellt. Es sind Zeiträume von bis zu 365 Tagen möglich. Für die ausgewählten Datumsgrenzen gilt UTC; die Zeitstempel in Diagrammen werden in der lokalen Zeit angezeigt. Bei kürzeren Zeiträumen von bis zu drei Tagen wird der Stundenverlauf verwendet, wenn der gesamte Zeitraum innerhalb der letzten 72 Stunden liegt. Für andere Zeiträume wird der Tagesverlauf verwendet. Der Datumsbereich filtert die Statistiken; in der Galerie werden weiterhin die aktuellen temporären Beispiele angezeigt.

Der Verlauf ist auf 72 Stundenintervalle und 365 Tagesintervalle begrenzt und ist nur seit dem Start der aktuellen Instanz verfügbar. Wenn im ausgewählten Zeitraum keine Bilder verarbeitet wurden, wird In diesem Zeitraum wurden keine Bilder verarbeitet angezeigt.

Die verfügbaren Diagramme hängen von der Aufgabe und den erfassten Vorhersagen ab:

Die Überwachung wird automatisch aktualisiert, solange das zugehörige Bedienfeld geöffnet und sichtbar ist. Sie wird angehalten, wenn das Bedienfeld außerhalb des sichtbaren Bereichs liegt oder der Browser-Tab ausgeblendet ist. Erfolgreiche Inferenz über den Tab Predict der Bereitstellung löst ebenfalls eine Aktualisierung der Statistiken aus.

Protokolle#

Auf jeder Bereitstellungsseite gibt es einen Tab Logs, in dem du die neuesten Protokolleinträge ansehen kannst:

Protokolleinträge#

Jeder Protokolleintrag enthält:

Die Benutzeroberfläche zeigt die 20 neuesten Einträge an und blendet leere Einträge aus. Die API gibt standardmäßig 50 Einträge pro Anfrage zurück (max. 200) und liefert ein nextPageToken, um weiter zurückzublättern.

Codebeispiele#

Der Ergebnis-Tab Docs im Tab Predict jeder Bereitstellung zeigt sofort verwendbaren API-Code mit der Endpunkt-URL und – für Workspace-Eigentümer – dem zugehörigen API-Schlüssel der Bereitstellung. Du kannst den Code direkt kopieren und ausführen. Nicht-Eigentümer sehen einen Platzhalter YOUR_API_KEY:

import requests

# Endpunkt der Bereitstellung
url = "https://YOUR_DEPLOYMENT_URL.run.app/predict"

# Header mit dem API-Schlüssel deiner Bereitstellung
headers = {"Authorization": "Bearer YOUR_API_KEY"}

# Inferenzparameter
data = {"conf": 0.25, "iou": 0.7, "imgsz": 640}

# Bild zur Inferenz senden
with open("image.jpg", "rb") as f:
    response = requests.post(url, headers=headers, data=data, files={"file": f})

print(response.json())

Vorhersage für Bereitstellungen#

Der Tab Predict auf jeder Bereitstellungsseite bietet ein integriertes Vorhersagefeld – dieselbe Oberfläche wie im Tab Predict des Modells, aber mit Inferenz über den Bereitstellungsendpunkt statt über den gemeinsam genutzten Dienst. Damit kannst du einen bereitgestellten Endpunkt direkt im Browser testen. Unter Inferenz findest du Details zu Parametern und Antwortformaten.

API-Endpunkte#

Jede Bereitstellung wird über den Namen des Eigentümers und den Namen der Bereitstellung adressiert. Für jede Route ist ein API-Schlüssel erforderlich. Details zur Authentifizierung findest du in der API-Referenz.

Bereitstellungsmetriken#

GET /api/deployments/{owner}/{deployment}/metrics?range=24h

Python SDK: client.deployments.metrics(owner, deployment, range="24h")

Gibt die vollständige Nutzlast der Metriken einer Bereitstellung zurück: einen summary-Block mit der Gesamtzahl der Anfragen, der Anzahl und Rate von Fehlern sowie der durchschnittlichen Latenz und der P50-, P95- und P99-Latenz. Dazu kommen timeSeries-Arrays für Anfragen, Fehler, P50- und P95-Latenz, CPU- und Arbeitsspeicherauslastung sowie die Anzahl der Instanzen.

Mit sparkline=true ist die Antwort eine kompakte Übersicht: stündliche Anfragezahlen der letzten 24 Stunden (Stunden ohne Anfragen werden ausgelassen) sowie die Gesamtzahl der Anfragen, die Fehlerrate und avgLatencyMs, der Durchschnitt der stündlichen P95-Latenzen. Mit view=overview enthält summary die Werte totalRequests, errorRate und p95LatencyMs, während timeSeries die Werte requests, errors und latencyP95 enthält. Die Statistikfelder auf der Bereitstellungsseite verwenden diese Ansicht und werden automatisch aktualisiert.

Bereitstellungsprotokolle#

GET /api/deployments/{owner}/{deployment}/logs?limit=50&severity=ERROR,WARNING

Python SDK: client.deployments.logs(owner, deployment, limit=50, severity="ERROR,WARNING")

Gibt aktuelle Protokolleinträge mit optionalem Filter nach Schweregrad und Paginierung zurück.

Status der Bereitstellung#

GET /api/deployments/{owner}/{deployment}/health

Python SDK: client.deployments.health(owner, deployment)

Sendet eine Ping-Anfrage an die Bereitstellung und gibt ihren Status sowie die gemessene Round-Trip-Latenz zurück:

{
    "healthy": true,
    "status": 200,
    "latencyMs": 142
}

Bei einer fehlerhaften Antwort wird status ausgelassen, wenn der Endpunkt überhaupt nicht erreichbar war, und eine Meldung error hinzugefügt.

Leistungsoptimierung#

Nutze Überwachungsdaten, um deine Bereitstellungen zu optimieren:

Häufig gestellte Fragen#