Dedicated Endpoints#

Ultralytics Platform ermöglicht die Bereitstellung von YOLO-Modellen an dedizierte Endpunkte in 42 globalen Regionen. Jeder Endpunkt ist ein Single-Tenant-Dienst mit Scale-to-Zero-Verhalten, einer eindeutigen Endpunkt-URL und unabhängiger Überwachung.

Endpunkt erstellen#

Über den Reiter „Deploy“#

Stelle ein Modell über dessen Deploy-Tab bereit:

1. Navigiere zu deinem Modell
2. Klicke auf den Reiter Deploy
3. Sieh dir die Weltkarte und die Regionentabelle an, die nach der gemessenen Latenz von deinem Standort aus sortiert ist
4. Klicke in der Zeile der gewünschten Region auf Deploy

Das Deployment startet sofort ohne Benennungsschritt: Der Name wird aus dem Modellnamen und der Region (zum Beispiel yolo26n-iowa) generiert. Das Modell muss Gewichte besitzen, ansonsten zeigt der Tab anstelle der Regionen-Tabelle einen leeren Zustand an.

Über die Seite „Deployments“#

Erstelle eine Bereitstellung über die globale Deploy-Seite in der Seitenleiste:

1. Klicke auf New Deployment
2. Wähle ein Modell aus dem Modell-Auswahlmenü aus, das deine fertiggestellten Modelle auflistet.
3. Wähle eine Region auf der Mini-Karte oder in der Latenztabelle aus.
4. Überprüfe den automatisch generierten Deployment-Namen, den du hier bearbeiten kannst.
5. Klicke auf Deploy Model

Deployment-Lebenszyklus#

stateDiagram-v2
    [*] --> Creating: Deploy
    Creating --> Deploying: Service starting
    Deploying --> Ready: Service URL published
    Ready --> Stopping: Stop
    Ready --> Deploying: Replace model
    Stopping --> Stopped: Stopped
    Stopped --> Deploying: Start
    Deploying --> Stopped: Start failed
    Ready --> [*]: Delete
    Stopped --> [*]: Delete
    Creating --> Failed: Error
    Deploying --> Failed: Error
    Failed --> [*]: Delete

    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff
    classDef error fill:#F44336,color:#fff
    classDef extern fill:#607D8B,color:#fff
    class Creating,Deploying,Stopping proc
    class Ready out
    class Failed error
    class Stopped extern

Verbinde Slack-Benachrichtigungen, um eine Nachricht zu erhalten, wenn eine Bereitstellung betriebsbereit wird oder beim Start fehlschlägt.

Regionsauswahl#

Wähle aus 42 Regionen weltweit. Die interaktive Regionskarte und die Tabelle zeigen:

• Regions-Pins: Farblich kodiert nach Latenz auf einem Grün-Rot-Verlauf (schnellere Regionen sind grüner, langsamere Regionen rötlicher)
• Bereitgestellte Regionen: In der Tabelle mit einem „Deployed“-Badge hervorgehoben.
• Regionen im Deployment: Animierter Puls-Indikator am Pin und in der Tabellenzeile.
• Bidirektionale Hervorhebung: Das Bewegen des Mauszeigers über die Karte hebt die Tabellenzeile hervor und umgekehrt

Die Regionentabelle im Modell-Tab Deploy umfasst:

Die Tabelle kann nach Stadt, Land und Zone durchsucht werden und ist standardmäßig nach Latenz sortiert.

Verfügbare Regionen#

Endpunkt-Konfiguration#

Dialog „New Deployment“#

Der New Deployment-Dialog erfordert drei Eingaben:

Unter dem Namen enthält ein schreibgeschütztes Resources-Panel ein Custom resources coming soon-Badge. Ressourcen sind zurzeit nicht konfigurierbar: Jeder Endpoint läuft als einzelne Instanz, die bei Inaktivität auf Null skaliert.

Bereitstellungs-Tab (Quick Deploy)#

Ein Deployment über den Deploy-Tab des Modells verwendet dieselben festen Ressourcen und den automatisch generierten Namen ohne Dialogschritt. Das Deployment erscheint sofort nach der Erstellung in der Liste Active Deployments unterhalb der Regionen-Tabelle.

Endpunkte verwalten#

Ansichtsmodi#

Die Liste der Bereitstellungen unterstützt drei Ansichtsmodi:

Bereitstellungskarte (Kartenansicht)#

Jede Bereitstellungskarte in der Kartenansicht zeigt:

• Header: Name, Regionsflagge, Status-Badge und die für den aktuellen Status verfügbaren Aktionen – Ersetzen und Stoppen bei Ready, Starten bei Stopped, jederzeit Löschen.
• Endpoint URL: Kopierbare URL mit einem Link zur API-Referenz des Endpoints.
• Metrics: Anzahl der Anfragen (24h), P95-Latenz, Fehlerrate oder „No traffic yet“.
• Health-Check: Live-Statusanzeige mit Latenz und manueller Aktualisierung
• Registerkarten: Logs, Code und Predict
• Footer: Das an das Deployment gebundene API-Key-Präfix und das Datum, an dem es einsatzbereit wurde.
• Status message: Der Grund für das Fehlschlagen, falls ein Deployment fehlgeschlagen ist.

Die URL, Metriken, der Status-Check und Tabs werden nur angezeigt, während das Deployment den Status Ready hat. Der Logs-Tab zeigt aktuelle Protokolleinträge mit Schweregrad-Filterung (All / Errors). Der Code-Tab zeigt einsatzbereite Code-Beispiele in Python, JavaScript und cURL mit deiner Endpoint-URL sowie den gebundenen API-Key für Workspace-Besitzer (siehe Monitoring). Der Predict-Tab bietet ein Inline-Predict-Panel zum Testen direkt auf dem Deployment.

Ein Modell ersetzen#

Ersetze das Modell hinter einem bereiten Endpoint, ohne seine URL zu ändern:

1. Öffne das Deployment in der Cards-Ansicht
2. Klicke auf Replace model
3. Wähle ein anderes fertiggestelltes Modell aus demselben Workspace aus
4. Bearbeite optional den Deployment-Namen
5. Klicke auf Replace Model

Das aktuelle Modell bedient weiterhin Anfragen, während das Ersatzmodell hochfährt. Sobald das Ersatzmodell bereit ist, wird der Datenverkehr auf das neue Modell umgeleitet. Die Deployment-ID, URL, Region und der API-Key bleiben unverändert; der Anzeigename ändert sich erst, wenn du einen neuen eingibst. Wenn das Ersetzen fehlschlägt, bleiben das vorherige Modell und der Name aktiv.

Das Ersetzen erfordert alle folgenden Bedingungen und wird andernfalls abgelehnt:

• Das Deployment ist Ready und es läuft keine andere Lifecycle-Operation.
• Das Ersatzmodell hat Gewichte und gehört zu demselben Workspace wie das Deployment.
• Das Ersatzmodell ist nicht das bereits bereitgestellte Modell.

Bereitstellungsstatus#

Endpunkt-URL#

Jeder Endpunkt hat eine eindeutige URL, zum Beispiel:

https://predict-<deployment-id>-<hash>-<region>.a.run.app

Klicke auf die Kopieren-Schaltfläche, um die URL zu kopieren. Klicke auf das Dokumentensymbol, um die API-Referenz des Endpoints zu öffnen. Der Endpoint stellt folgende Pfade bereit:

Lebenszyklus-Management#

Steuere den Status deines Endpunkts:

graph LR
    R[Ready]:::out -->|Stop| S[Stopped]:::extern
    S -->|Start| R
    R -->|Delete| D[Deleted]:::error
    S -->|Delete| D

    classDef out fill:#9C27B0,color:#fff
    classDef error fill:#F44336,color:#fff
    classDef extern fill:#607D8B,color:#fff

Endpunkt stoppen#

Stoppe einen Endpunkt, wenn er keine Anfragen mehr annehmen soll:

1. Klicke auf das Pausen-Symbol auf der Bereitstellungskarte
2. Der Endpunktstatus ändert sich zu "Stopping" und dann zu "Stopped"

Gestoppte Endpunkte:

• Akzeptieren keine Anfragen und melden keine Metriken oder Statusinformationen
• Behalten ihre URL, Region und den gebundenen API-Key bei und können jederzeit neu gestartet werden
• Belasten weiterhin das Deployment-Kontingent deines Tarifs – lösche einen Endpoint, um seinen Platz freizugeben

Endpunkt löschen#

Einen Endpunkt dauerhaft entfernen:

1. Klicke auf das Löschen-Symbol (Papierkorb) auf der Bereitstellungskarte
2. Bestätige das Löschen im Dialog

Deployments werden ebenfalls entfernt, wenn ihr Modell oder Projekt dauerhaft gelöscht wird oder wenn ein gelöschtes Modell bzw. Projekt das Ende seines Aufbewahrungszeitraums erreicht.

Endpunkte verwenden#

Authentifizierung#

Jedes Deployment ist an einen einzigen API-Key aus dem Workspace gebunden, dem das Modell gehört. Füge ihn in Anfragen ein:

Authorization: Bearer YOUR_API_KEY

Der Endpoint akzeptiert nur den bei der Erstellung gebundenen Key, sodass kein anderer Key ihn öffnet – nicht einmal ein anderer aktiver Key im selben Workspace. Um zu steuern, welcher Key gebunden wird, deploye über die API, authentifiziert mit dem Key des Workspace-Besitzers: Genau dieser Key wird gebunden, und du hältst ihn bereits in Händen. Deployments, die auf andere Weise erstellt wurden (über die Platform UI oder einen API-Aufruf, der als Teammitglied authentifiziert ist), binden automatisch einen der aktiven Keys des besitzenden Workspaces – du erkennst ihn an dem im Fußbereich der Deployment-Karte angezeigten Key-Präfix. Frage den Workspace-Besitzer nach dessen Wert, da nur der Besitzer die Key-Werte einsehen kann (siehe API Keys). Teammitglieder ohne den gebundenen Key können weiterhin Inferenz über den Platform-Predict-Proxy im Browser ausführen.

Direkte Endpunkt-Anfragen#

Sende Produktionsanfragen direkt an die auf der Deployment-Karte angezeigte URL. Diese Anfragen durchlaufen nicht das Ratenbegrenzungs-Limit der Platform-API, sodass das Vorhersagelimit von 20 Anfragen/Minute nicht gilt. Der Endpoint hat nach wie vor seine eigene Kapazitätsgrenze:

• Jeder Endpoint wird von einer einzigen Instanz bedient, die eine begrenzte Anzahl von Anfragen gleichzeitig verarbeitet
• Anfragen, die nicht zeitnah bedient werden können, geben 429 mit einem Retry-After-Header zurück
• Eine einzelne Anfrage kann bis zu 1 Stunde laufen, was den Abschluss von Video-Inferenz ermöglicht
• Antworten, die größer als 1 KB sind, werden Gzip-komprimiert, und Cross-Origin-Browser-Anfragen sind zulässig

Anfragebeispiel#

import requests

# Deployment endpoint
url = "https://YOUR_DEPLOYMENT_URL.run.app/predict"

# Headers with your deployment API key
headers = {"Authorization": "Bearer YOUR_API_KEY"}

# Inference parameters
data = {"conf": 0.25, "iou": 0.7, "imgsz": 640}

# Send image for inference
with open("image.jpg", "rb") as f:
    response = requests.post(url, headers=headers, data=data, files={"file": f})

print(response.json())

Anfrage-Parameter#

Siehe Depth responses um zu erfahren, wie bits die zurückgegebene Tiefenkarte verändert und wie sie decodiert wird.

Antwortformat#

Entspricht der gemeinsamen Inferenz mit aufgabenspezifischen Feldern.

FAQ#