Überwachung

Die Ultralytics Platform bietet eine Überwachung für bereitgestellte Endpunkte. Verfolge Anfragemetriken, sieh dir Protokolle an und prüfe den Gesundheitsstatus durch automatische Abfragen.

Ultralytics Platform Deploy Page Overview Cards And World Map

Dashboard für Bereitstellungen

Die Seite Deploy in der Seitenleiste dient als Überwachungs-Dashboard für alle deine Bereitstellungen. Sie kombiniert eine Weltkarte, Übersichtskennzahlen und die Bereitstellungsverwaltung in einer Ansicht. Siehe Dedicated Endpoints für das Erstellen und Verwalten von Bereitstellungen.

graph TB
    subgraph Dashboard
        Map[World Map] --- Cards[Overview Cards]
        Cards --- List[Deployments List]
    end
    subgraph "Per Deployment"
        Metrics[Metrics Row]
        Health[Health Check]
        Logs[Logs Tab]
        Code[Code Tab]
        Predict[Predict Tab]
    end
    List --> Metrics
    List --> Health
    List --> Logs
    List --> Code
    List --> Predict

    style Dashboard fill:#f5f5f5,color:#333
    style Map fill:#2196F3,color:#fff
    style Cards fill:#FF9800,color:#fff
    style List fill:#4CAF50,color:#fff

Übersichtskarten

Vier Zusammenfassungskarten am oberen Seitenrand zeigen:

Ultralytics Platform Deploy Page Four Overview Cards

MetrikBeschreibung
Anfragen gesamt (24h)Anfragen über alle Endpunkte hinweg
Aktive BereitstellungenAktuell laufende Endpunkte
Fehlerrate (24h)Prozentsatz der fehlgeschlagenen Anfragen
P95 Latenz (24h)Reaktionszeit beim 95. Perzentil
Fehlerraten-Alarm

Die Fehlerratenkarte wird rot hervorgehoben, wenn die Rate 5 % übersteigt. Überprüfe den Tab Logs bei den einzelnen Bereitstellungen, um Fehler zu diagnostizieren.

Weltkarte

Die interaktive Weltkarte zeigt:

  • Regions-Pins für alle 43 verfügbaren Regionen
  • Grüne Pins für bereitgestellte Regionen
  • Animierte blaue Pins für Regionen mit laufenden Bereitstellungsvorgängen
  • Pin-Größe variiert basierend auf Bereitstellungsstatus und Latenz

Ultralytics Platform Deploy Page World Map With Deployed Regions

Bereitstellungsliste

Unter den Übersichtskarten zeigt die Bereitstellungsliste alle Endpunkte deiner Projekte an. Nutze den Ansichtsmodus-Umschalter, um zwischen folgenden Optionen zu wechseln:

AnsichtBeschreibung
KartenVollständige Detailkarten mit Tabs für Metriken, Protokolle, Code und Vorhersagen
KompaktRaster aus kleineren Karten (1-4 Spalten) mit den wichtigsten Metriken
TabelleDatentabelle mit sortierbaren Spalten: Name, Region, Status, Anfragen, P95, Fehler
Echtzeit-Aktualisierungen

Das Dashboard ruft alle 15 Sekunden Updates zum Bereitstellungsstatus ab. Wenn sich Bereitstellungen in einem Übergangszustand befinden (creating, deploying oder stopping), erhöht sich die Abfragefrequenz auf alle 3 Sekunden. Metrikdiagramme aktualisieren sich alle 60 Sekunden. Klicke auf die Schaltfläche zum Aktualisieren für sofortige Updates.

Metriken pro Bereitstellung

Jede Bereitstellungskarte (in der Kartenansicht) zeigt Echtzeit-Metriken:

Metrikzeile

MetrikBeschreibung
AnfragenAnzahl der Anfragen (24h) mit Symbol
P95 LatenzReaktionszeit beim 95. Perzentil
FehlerrateProzentsatz der fehlgeschlagenen Anfragen

Metriken werden über den Sparkline-API-Endpunkt abgerufen und alle 60 Sekunden aktualisiert.

Health Check

Laufende Bereitstellungen zeigen einen Indikator für die Gesundheitsprüfung:

IndikatorBedeutung
Grünes HerzGesund — zeigt Antwortlatenz
Rotes HerzUngesund — zeigt Fehlermeldung
Drehendes SymbolGesundheitsprüfung läuft

Gesundheitsprüfungen werden bei einem ungesunden Status alle 20 Sekunden automatisch wiederholt. Klicke auf das Aktualisierungssymbol, um manuell eine Gesundheitsprüfung auszulösen. Die Gesundheitsprüfung nutzt ein 55-Sekunden-Timeout, um Kaltstarts bei Scale-to-Zero-Endpunkten zu berücksichtigen.

Ultralytics Platform Deployment Card Health Check Healthy With Latency

Toleranz gegenüber Kaltstarts

Die Gesundheitsprüfung nutzt ein 55-Sekunden-Timeout, um Kaltstarts bei Scale-to-Zero-Endpunkten (im schlimmsten Fall bis zu ~45 Sekunden) zu berücksichtigen. Sobald der Endpunkt aufgewärmt ist, schließen Gesundheitsprüfungen in Millisekunden ab.

Protokolle

Jede Bereitstellungskarte enthält einen Logs-Tab zur Anzeige aktueller Protokolleinträge:

Ultralytics Platform Deployment Card Logs Tab With Severity Filter

Protokolleinträge

Jeder Protokolleintrag zeigt:

FeldBeschreibung
SchweregradFarbcodierter Balken (siehe unten)
ZeitstempelAnfragezeit (lokales Format)
NachrichtProtokollinhalt
HTTP-InfoStatuscode und Latenz (falls zutreffend)

Filtere Protokolle nach Schweregrad über die Filterschaltflächen:

EbeneFarbeBeschreibung
DEBUGGrauDebug-Nachrichten
INFOBlauNormale Anfragen
WARNINGGelbNicht-kritische Probleme
ERRORRotFehlgeschlagene Anfragen
CRITICALDunkelrotKritische Ausfälle

Die UI zeigt die 20 aktuellsten Einträge. Die API standardisiert auf 50 Einträge pro Anfrage (maximal 200).

Debugging-Arbeitsablauf

Bei der Untersuchung von Fehlern: Klicke zuerst auf Errors, um nach ERROR- und WARNING-Einträgen zu filtern, und überprüfe dann die Zeitstempel und HTTP-Statuscodes. Kopiere Protokolle in die Zwischenablage, um sie mit deinem Team zu teilen.

Code-Beispiele

Jede Bereitstellungskarte enthält einen Code-Tab, der gebrauchsfertigen API-Code mit deiner tatsächlichen Endpunkt-URL und deinem API-Schlüssel anzeigt:

import requests

# Deployment endpoint
url = "https://predict-abc123.run.app/predict"

# Headers with your deployment API key
headers = {"Authorization": "Bearer YOUR_API_KEY"}

# Inference parameters
data = {"conf": 0.25, "iou": 0.7, "imgsz": 640}

# Send image for inference
with open("image.jpg", "rb") as f:
    response = requests.post(url, headers=headers, data=data, files={"file": f})

print(response.json())
Automatisch ausgefüllte Anmeldeinformationen

Wenn du im Code-Tab auf der Plattform bist, werden deine tatsächliche Endpunkt-URL und dein API-Schlüssel automatisch ausgefüllt. Kopiere den Code und führe ihn direkt aus. Sieh unter API Keys nach, um einen Schlüssel zu generieren.

Deployment Predict

Der Predict-Tab auf jeder Deployment-Karte bietet ein Inline-Predict-Panel – dieselbe Schnittstelle wie der Predict-Tab des Modells, jedoch wird die Inferenz über den Deployment-Endpunkt statt über den gemeinsam genutzten Dienst ausgeführt. Dies ist nützlich, um einen bereitgestellten Endpunkt direkt aus dem Browser zu testen. Siehe Inference für Parameterdetails und Antwortformate.

API-Endpunkte

Überblick über das Monitoring

GET /api/monitoring

Gibt aggregierte Metriken für alle Deployments zurück, die dem authentifizierten Benutzer gehören. Workspace-bewusst über den optionalen owner-Abfrageparameter.

Deployment-Metriken

GET /api/deployments/{deploymentId}/metrics?sparkline=true&range=24h

Gibt Sparkline-Daten und zusammenfassende Metriken für ein bestimmtes Deployment zurück. Aktualisierungsintervall: 60 Sekunden.

ParameterTypBeschreibung
sparklineboolSparkline-Daten einbeziehen
rangestringZeitbereich: 1h, 6h, 24h, 7d oder 30d

Deployment-Logs

GET /api/deployments/{deploymentId}/logs?limit=50&severity=ERROR,WARNING

Gibt kürzliche Log-Einträge mit optionalem Schweregradfilter und Paginierung zurück.

ParameterTypBeschreibung
limitintMaximale Anzahl der zurückzugebenden Einträge (Standard: 50, Maximum: 200)
severitystringDurch Kommas getrennter Schweregradfilter
pageTokenstringPaginierungs-Token aus der vorherigen Antwort

Deployment-Gesundheit

GET /api/deployments/{deploymentId}/health

Gibt den Status der Gesundheitsprüfung mit Antwortlatenz zurück.

{
    "healthy": true,
    "status": 200,
    "latencyMs": 142
}

Leistungsoptimierung

Nutze Monitoring-Daten, um deine Deployments zu optimieren:

Wenn die Latenz zu hoch ist:

  1. Instanzanzahl prüfen (möglicherweise sind mehr erforderlich)
  2. Überprüfen, ob die Modellgröße angemessen ist
  3. Eine nähere Region in Betracht ziehen
  4. Bildgrößen der gesendeten Daten überprüfen
Latenz reduzieren

Wechsle von imgsz=1280 zu imgsz=640 für eine ca. 4-fache Beschleunigung bei minimalem Genauigkeitsverlust für die meisten Anwendungsfälle. Führe das Deployment in einer Region durch, die näher an deinen Benutzern liegt, um die Netzwerklatenz zu verringern.

FAQ

Wie lange werden Daten aufbewahrt?

DatentypAufbewahrung
Metriken30 Tage
Logs7 Tage

Kann ich ein externes Monitoring einrichten?

Ja, Endpunkt-URLs funktionieren mit externen Monitoring-Tools:

  • Uptime-Monitoring (Pingdom, UptimeRobot)
  • APM-Tools (Datadog, New Relic)
  • Benutzerdefinierte Gesundheitsprüfungen über den /health-Endpunkt

Wie genau sind die Latenzwerte?

Latenzmetriken messen:

  • P50: Median-Antwortzeit
  • P95: 95. Perzentil
  • P99: 99. Perzentil

Diese stellen die serverseitige Verarbeitungszeit dar, ohne die Netzwerklatenz zu deinen Benutzern.

Warum sind meine Metriken verzögert?

Metriken haben eine Verzögerung von ca. 2 Minuten aufgrund von:

  • Metriken-Aggregations-Pipeline
  • Aggregationsfenstern
  • Dashboard-Caching

Für Echtzeit-Debugging überprüfe die Logs, welche nahezu sofort verfügbar sind.

Kann ich mehrere Endpunkte zusammen überwachen?

Ja, die Deployments-Seite zeigt alle Endpunkte mit aggregierten Übersichtskarten. Nutze die Tabellenansicht, um die Leistung über verschiedene Deployments hinweg zu vergleichen.

Kommentare