Überwachung#

Ultralytics Platform bietet Monitoring für bereitgestellte Endpunkte. Verfolge Endpunkt-Anfragen, Latenz, Fehler und Protokolle. Kostenpflichtige, dedizierte Endpunkte bieten außerdem Live-Vorhersagestatistiken sowie temporäre Beispiele, die du inspizieren und in Datensätzen speichern kannst.

Dashboard für Bereitstellungen#

Die Seite Deploy in der Seitenleiste dient als Überwachungs-Dashboard für alle deine Bereitstellungen. Sie kombiniert die Weltkarte, Übersichtsmetriken und die Verwaltung der Bereitstellungen in einer Ansicht. Unter Dedizierte Endpunkte erfährst du, wie du Bereitstellungen erstellst und verwaltest.

graph TB
    subgraph Dashboard
        Map[World Map]:::proc --- Cards[Overview Cards]:::proc
        Cards --- List[Deployments List]:::decide
    end
    subgraph "Per Ready Deployment"
        Monitoring[Monitoring Tab: Paid Endpoints]:::out
        Metrics[Metrics Row]:::out
        Health[Health Check]:::out
        Logs[Logs Tab]:::out
        Code[Code Tab]:::out
        Predict[Predict Tab]:::out
    end
    List --> Monitoring
    List --> Metrics
    List --> Health
    List --> Logs
    List --> Code
    List --> Predict

    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Übersichtskarten#

Vier Übersichtskarten oben auf der Seite zeigen:

Die P95-Latenz und nicht die mediane Latenz wird angezeigt, da Integritätsprüfungen innerhalb weniger Millisekunden zurückgegeben werden und andernfalls das Bild der tatsächlichen Inferenzlatenz dominieren würden.

Weltkarte#

Die interaktive Weltkarte zeigt:

• Regionsmarkierungen für alle 42 verfügbaren Regionen
• Grüne Markierungen für Regionen mit einer bereiten Bereitstellung
• Animierte blaue Markierungen für Regionen mit laufenden aktiven Bereitstellungen
• Größe der Markierungen variiert je nach Bereitstellungsstatus und Latenz

Klicke auf eine beliebige Region, um den Dialog New Deployment zu öffnen. Auf kleinen Bildschirmen wird die Karte ausgeblendet.

Liste der Bereitstellungen#

Unterhalb der Übersichtskarten zeigt die Liste der Bereitstellungen alle Endpunkte deiner Projekte. Mit dem Umschalter für den Ansichtsmodus wechselst du zwischen:

Metriken pro Bereitstellung#

Jede Bereitstellungskarte (in der Kartenansicht) zeigt Echtzeitmetriken. Die Metrikzeile, die Integritätsprüfung und die unten beschriebenen Tabs Logs, Code und Predict werden nur angezeigt, solange sich die Bereitstellung im Status Ready befindet:

Metrikzeile#

Die Metriken werden automatisch aktualisiert. Endpunkte, die noch keine Anfrage verarbeitet haben, zeigen „Noch kein Datenverkehr“ an. Metriken werden nur für Bereitstellungen im Status Ready erfasst. Im Dashboard für Bereitstellungen werden Metriken für die 20 zuletzt erstellten Bereitstellungen abgerufen.

Integritätsprüfung#

Laufende Bereitstellungen zeigen einen Indikator für die Integritätsprüfung:

Integritätsprüfungen werden bei einem nicht gesunden Status automatisch wiederholt und beendet, sobald der Endpunkt antwortet. Klicke auf das Aktualisierungssymbol, um eine Integritätsprüfung manuell auszulösen. Dadurch wird gleichzeitig ein auf null skalierter Endpunkt vor dem Senden von Datenverkehr vorgewärmt.

Monitoring-Registerkarte#

Öffne Bereitstellen, wechsle zur Karten-Ansicht und wähle Monitoring bei einem Bereit-Status auf einem kostenpflichtigen, dedizierten Endpunkt aus. Sende ein Bild über dessen Vorhersage-Registerkarte oder Endpunkt-API, um Temporäre Beispiele und Vorhersagestatistiken zu befüllen. Vor dem ersten verarbeiteten Bild zeigt die Registerkarte Keine Bilder verarbeitet an.

Temporäre Beispiele#

Die Galerie enthält eine fortlaufende Stichprobe verarbeiteter Bilder mit Vorhersageüberlagerungen. Öffne ein Bild, um dessen Vorhersagen im Vollbild-Viewer zu inspizieren, und nutze die Steuerelemente zur Sichtbarkeit, um die Überlagerungen anzupassen. Die Galerie zeigt anfangs bis zu 12 Beispiele an; Alle anzeigen erweitert sie.

• Stichprobenerhebung: Anfangs bis zu zwei Beispiele, danach bis zu ein zusätzliches Bild pro Minute. Die Erfassung erfolgt nach bestem Wissen und Gewissen; die Inferenz wartet nicht auf die Beispielkodierung.
• Kapazität: Höchstens 100 Bilder innerhalb eines gemeinsamen 100-MiB-Speicherbudgets für komprimierte Bilder, Vorhersagemetadaten und zugehörige Assets. Die Benutzeroberfläche bezeichnet dieses Budget als 100 MB.
• Ersetzung: Ältere Beispiele werden ersetzt, wenn eines der beiden Limits erreicht wird. Ein Beispiel kann während des Betrachtens möglicherweise nicht mehr verfügbar sein.
• Speicherung: Temporäre Beispiele verbleiben im Endpunktspeicher. Das Speichern in einem Datensatz verwendet normale Workspace-Speicher- und Verarbeitungslimits.

Beispiele in einem Datensatz speichern#

Workspace-Mitglieder mit Berechtigung zur Inhaltsbearbeitung können Beispiele in einem Datensatz im Workspace des Endpunkts speichern:

1. Wähle einzelne Beispiele über deren Kontrollkästchen aus oder klicke auf Alle auswählen.
2. Klicke auf Im Datensatz speichern.
3. Wähle einen bestehenden Datensatz mit derselben Aufgabe wie das bereitgestellte Modell aus. Datensätze mit verbundener Quelle sind ausgeschlossen; erstelle zuerst einen kompatiblen Datensatz, falls keiner verfügbar ist.
4. Klicke auf die Schaltfläche Speichern, die die Anzahl der ausgewählten Bilder anzeigt, und öffne dann den Datensatz, um die Verarbeitung zu verfolgen.

Ausgewählte Bilder und Vorhersagen werden über den Standard-Datensatz-Upload- und Ingestions-Workflow kopiert. Es gelten normale Kontingente, Klassenmapping und Duplikatsbehandlung. Das Speichern belässt die temporären Beispiele in der Galerie; erfolgreich aufgenommene Datensatzbilder überstehen Endpunkt-Neustarts und -Löschungen. Überprüfe vorhergesagte Beschriftungen, bevor du sie für das Training verwendest.

Um temporäre Beispiele zu entfernen, verwende das Papierkorb-Steuerelement beim Überfahren mit der Maus oder wähle Beispiele aus und klicke auf die Massen-Papierkorb-Schaltfläche. Bestätige anschließend mit Löschen. Das Löschen von Beispielen belässt aggregierte Vorhersagestatistiken und bereits in Datensätzen gespeicherte Bilder unverändert.

Vorhersagestatistiken#

Statistiken aggregieren verarbeitete Bilder unabhängig von der Galeriedichprobe. Das Löschen oder Ersetzen eines Beispiels subtrahiert nicht dessen Beitrag. Die Zusammenfassung zeigt Bilder, Vorhersagen und Bilder ohne Vorhersagen für den ausgewählten Zeitraum; Tiefenmodelle zeigen Bildanzahlen an.

Die Datumsverknüpfung verwendet standardmäßig die letzten 30 Tage und akzeptiert Bereiche von bis zu 365 Tagen. Ausgewählte Daten verwenden UTC-Grenzen; Diagramm-Zeitstempel werden in Ortszeit angezeigt. Aktuelle Bereiche von bis zu drei Tagen verwenden stündlichen Verlauf, wenn der gesamte Bereich in die letzten 72 Stunden fällt; andere Bereiche verwenden täglichen Verlauf. Der Datumsbereich filtert Statistiken, während die Galerie weiterhin die aktuellen temporären Beispiele anzeigt.

Der Verlauf ist auf 72 stündliche Buckets und 365 tägliche Buckets begrenzt und nur seit dem Start der aktuellen Instanz verfügbar. Ein ausgewählter Zeitraum ohne verarbeitete Bilder zeigt Keine Bilder in diesem Zeitraum verarbeitet an.

Verfügbare Diagramme hängen von der Aufgabe und den gesammelten Vorhersagen ab:

Das Monitoring wird etwa alle 2 Sekunden aktualisiert, während sein Panel geöffnet und sichtbar ist. Das Polling pausiert, wenn sich das Panel außerhalb des Bildschirms befindet oder der Browser-Tab ausgeblendet ist. Eine erfolgreiche Inferenz über den Vorhersage-Tab des Deployments löst ebenfalls eine Statistiken-Aktualisierung aus.

Protokolle#

Jede Bereitstellungskarte enthält einen Tab Logs zum Anzeigen der neuesten Protokolleinträge:

Protokolleinträge#

Jeder Protokolleintrag zeigt:

Die Benutzeroberfläche zeigt die 20 neuesten Einträge an und blendet leere Einträge aus. Die API verwendet standardmäßig 50 Einträge pro Anfrage (maximal 200) und gibt ein nextPageToken zurück, um weiter zurückliegende Einträge abzurufen.

Codebeispiele#

Jede Bereitstellungskarte enthält einen Tab Code mit sofort verwendbarem API-Code, in den die Endpunkt-URL bereits eingetragen ist. Für Besitzer eines Arbeitsbereichs wird der mit der Bereitstellung verknüpfte API-Schlüssel eingefügt und kann direkt kopiert und ausgeführt werden. Nichtbesitzer sehen einen Platzhalter YOUR_API_KEY:

import requests

# Deployment endpoint
url = "https://YOUR_DEPLOYMENT_URL.run.app/predict"

# Headers with your deployment API key
headers = {"Authorization": "Bearer YOUR_API_KEY"}

# Inference parameters
data = {"conf": 0.25, "iou": 0.7, "imgsz": 640}

# Send image for inference
with open("image.jpg", "rb") as f:
    response = requests.post(url, headers=headers, data=data, files={"file": f})

print(response.json())

Bereitstellungs-Predict#

Der Tab Predict auf jeder Bereitstellungskarte bietet ein integriertes Vorhersagepanel – dieselbe Oberfläche wie im Tab Predict des Modells, aber mit Inferenz über den Bereitstellungsendpunkt statt über den gemeinsam genutzten Dienst. Das ist nützlich, um einen bereitgestellten Endpunkt direkt im Browser zu testen. Unter Inferenz findest du Details zu Parametern und Antwortformaten.

API-Endpunkte#

Jede Bereitstellung wird über ihren Besitzer und ihren Bereitstellungsnamen adressiert, und jede Route erfordert einen API-Schlüssel. In der API-Referenz findest du Details zur Authentifizierung.

Bereitstellungsmetriken#

GET /api/deployments/{owner}/{deployment}/metrics?range=24h

Python SDK: client.deployments.metrics(owner, deployment, range="24h")

Gibt die vollständige Metriknutzlast für eine Bereitstellung zurück: einen Block summary mit der Gesamtzahl der Anfragen, der Fehleranzahl und -rate sowie der durchschnittlichen Latenz und der Latenz für P50, P95 und P99; außerdem Arrays timeSeries für Anfragen, Fehler, die Latenz für P50 und P95, CPU- und Speicherauslastung sowie die Anzahl der Instanzen.

Mit sparkline=true ist die Antwort kompakt und entspricht der Form, die die Bereitstellungskarten verwenden – 24 stündliche Anforderungszahlen sowie die Gesamtzahl der Anfragen, die Fehlerrate und die durchschnittliche Latenz. Dieser Aufruf wird alle 60 Sekunden aktualisiert.

Bereitstellungsprotokolle#

GET /api/deployments/{owner}/{deployment}/logs?limit=50&severity=ERROR,WARNING

Python SDK: client.deployments.logs(owner, deployment, limit=50, severity="ERROR,WARNING")

Gibt aktuelle Protokolleinträge mit optionalem Schweregradfilter und Seitenumbruch zurück.

Zustand der Bereitstellung#

GET /api/deployments/{owner}/{deployment}/health

Python SDK: client.deployments.health(owner, deployment)

Sendet einen Ping an die Bereitstellung und gibt ihren Zustand mit der gemessenen Round-Trip-Latenz zurück:

{
    "healthy": true,
    "status": 200,
    "latencyMs": 142
}

Eine Antwort mit dem Zustand „nicht gesund“ lässt status weg, wenn der Endpunkt überhaupt nicht erreicht werden konnte, und fügt eine error-Nachricht hinzu.

Leistungsoptimierung#

Nutze Überwachungsdaten, um deine Bereitstellungen zu optimieren:

FAQ#