Dedizierte Endpunkte#

Ultralytics Platform ermöglicht die Bereitstellung von YOLO-Modellen auf dedizierten Endpunkten in 42 globalen Regionen. Jeder Endpunkt ist ein Mandanten-isolierter Dienst mit einer eindeutigen Endpunkt-URL und unabhängiger Überwachung. Die Standardressourcengröße skaliert bei Inaktivität auf Null; benutzerdefinierte Größen behalten eine warme Instanz bei und werden nach Betriebszeit abgerechnet.

Endpunkt erstellen#

Über die Registerkarte „Bereitstellen“#

Stelle ein Modell über seine Registerkarte Deploy bereit:

1. Navigiere zu deinem Modell
2. Klicke auf die Registerkarte Bereitstellen
3. Prüfe die Weltkarte und die Regionstabelle, die nach der von deinem Standort gemessenen Latenz sortiert ist
4. Klicke in der Regionszeile, die du verwenden möchtest, auf Bereitstellen
5. Überprüfe im Dialogfeld CPU, Arbeitsspeicher, Preise und Bereitstellungsnamen und klicke dann auf Create Deployment

Der vorgeschlagene Name kombiniert den Modellnamen und die Regionsstadt (zum Beispiel yolo26n-iowa) und kann vor der Bereitstellung bearbeitet werden. Das Modell muss über Gewichte verfügen, andernfalls zeigt die Registerkarte anstelle der Regionentabelle einen leeren Zustand an.

Über die Bereitstellungsseite#

Erstelle eine Bereitstellung über die globale Seite Deploy in der Seitenleiste:

1. Klicke auf Neue Bereitstellung
2. Wähle im Modellauswahlfeld ein Modell aus. Dort werden deine abgeschlossenen Modelle aufgeführt.
3. Wähle eine Region auf der Minikarte oder in der Latenztabelle aus
4. Wähle CPU und Arbeitsspeicher aus, überprüfe die Preise und bearbeite bei Bedarf den vorgeschlagenen Bereitstellungsnamen
5. Klicke auf Create Deployment

Lebenszyklus der Bereitstellung#

stateDiagram-v2
    [*] --> Creating: Deploy
    Creating --> Deploying: Service starting
    Deploying --> Ready: Service URL published
    Ready --> Stopping: Stop
    Ready --> Deploying: Replace model
    Stopping --> Stopped: Stopped
    Stopped --> Deploying: Start
    Deploying --> Stopped: Start failed
    Ready --> [*]: Delete
    Stopped --> [*]: Delete
    Creating --> Failed: Error
    Deploying --> Failed: Error
    Failed --> [*]: Delete

    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff
    classDef error fill:#F44336,color:#fff
    classDef extern fill:#607D8B,color:#fff
    class Creating,Deploying,Stopping proc
    class Ready out
    class Failed error
    class Stopped extern

Verbinde Slack-Benachrichtigungen, um eine Nachricht zu erhalten, wenn eine Bereitstellung bereit ist oder nicht gestartet werden kann.

Auswahl der Region#

Wähle aus 42 Regionen weltweit. Die interaktive Regionskarte und die Tabelle zeigen:

• Regionsmarkierungen: Nach Latenz auf einem Verlauf von Grün bis Rot eingefärbt (schnellere Regionen sind grüner, langsamere röter)
• Bereitgestellte Regionen: In der Tabelle mit einem „Bereitgestellt“-Badge hervorgehoben
• Regionen in Bereitstellung: Animierter pulsierender Indikator auf der Markierung und in der Tabellenzeile
• Gegenseitige Hervorhebung: Wenn du auf der Karte mit dem Mauszeiger über eine Region fährst, wird die entsprechende Tabellenzeile hervorgehoben – und umgekehrt

Die Regionentabelle auf der Registerkarte für das Modell Deploy umfasst:

Die Tabelle kann nach Stadt, Land und Zone durchsucht werden und ist standardmäßig nach Latenz sortiert.

Verfügbare Regionen#

Endpoint-Konfiguration#

Dialog „Neue Bereitstellung“#

Das Dialogfeld New Deployment ermöglicht es dir, ein Modell, eine Region, Ressourcen und einen Bereitstellungsnamen auszuwählen:

Wähle die CPU- und Arbeitsspeichergröße in den Ressourcensteuerelementen aus und überprüfe die angezeigten Preise, bevor du die Bereitstellung erstellst. Die Standardgröße kann ein verfügbares kostenloses Bereitstellungskontingent nutzen; benutzerdefinierte Größen verwenden verbrauchsabhängige Preise. Die Standardgröße skaliert bei Inaktivität auf Null. Benutzerdefinierte Größen behalten eine warme Instanz bei und werden von der Betriebsbereitschaft bis zum Stoppen des Endpunkts einschließlich der Inaktivitätszeit berechnet. Agents verwenden dieses Dialogfeld wieder, wenn du New deployment… auswählst.

Tab „Bereitstellen“ (Schnellbereitstellung)#

Das Bereitstellen über die Registerkarte Deploy des Modells öffnet dasselbe Dialogfeld, wobei das Modell und die Region bereits vorausgewählt sind. Überprüfe die Ressourcengröße, die Preise und den automatisch generierten Namen, bevor du den Endpunkt erstellst. Die Bereitstellung wird während ihrer Erstellung in der Liste Active Deployments angezeigt.

Endpoints verwalten#

Ansichtsmodi#

Die Liste der Bereitstellungen unterstützt drei Ansichtsmodi:

Bereitstellungskarte (Kartenansicht)#

Jede Bereitstellungskarte in der Kartenansicht zeigt:

• Kopfbereich: Name, Regionsflagge, Status-Badge und die für den aktuellen Status verfügbaren Aktionen – Konfiguration aktualisieren, ersetzen und stoppen bei Bereit, starten bei Gestoppt, jederzeit löschen
• Endpoint-URL: Kopierbare URL mit einem Link zur eigenen API-Referenz des Endpoints
• Kennzahlen: Anzahl der Anfragen (24 h), P95-Latenz, Fehlerrate oder „Noch kein Datenverkehr“
• Zustandsprüfung: Live-Zustandsanzeige mit Latenz und manueller Aktualisierung
• Registerkarten: Logs, Code und Predict; kostenpflichtige Endpunkte zeigen auch Monitoring
• Fußzeile: Das an die Bereitstellung gebundene Präfix des API-Schlüssels und das Datum, an dem sie bereit wurde
• Statusmeldung: Der Fehlergrund, wenn eine Bereitstellung fehlgeschlagen ist

Die URL, die Kennzahlen, die Zustandsprüfung und die Tabs werden nur angezeigt, wenn die Bereitstellung Bereit ist. Der Tab Logs zeigt aktuelle Protokolleinträge mit Filterung nach Schweregrad (Alle / Fehler). Der Tab Code zeigt sofort verwendbare Codebeispiele in Python, JavaScript und cURL mit deiner Endpoint-URL sowie den gebundenen API-Schlüssel für Arbeitsbereichsbesitzer (siehe Überwachung). Der Tab Predict bietet einen integrierten Vorhersagebereich zum direkten Testen auf der Bereitstellung.

CPU und Arbeitsspeicher aktualisieren#

1. Öffne einen Bereit-Endpunkt in der Karten-Ansicht.
2. Klicke auf Bereitstellungskonfiguration aktualisieren.
3. Wähle CPU und Arbeitsspeicher aus und überprüfe die angezeigten Stundungskosten.
4. Klicke auf Konfiguration aktualisieren. Die aktuelle Konfiguration liefert so lange Anfragen aus, bis die neue bereit ist.

Benutzerdefinierte Ressourcen nutzen die Abrechnung nach Betriebszeit und halten eine Instanz warm. Die Rückkehr zu Standardressourcen stellt das Scale-to-Zero-Verhalten wieder her und entfernt die kostenpflichtige Monitoring-Registerkarte.

Modell ersetzen#

Ersetze das Modell hinter einem bereiten Endpoint, ohne dessen URL zu ändern:

1. Öffne die Bereitstellung in der Ansicht Karten
2. Klicke auf Modell ersetzen
3. Wähle ein anderes abgeschlossenes Modell aus demselben Arbeitsbereich aus
4. Bearbeite optional den Bereitstellungsnamen
5. Klicke auf Modell ersetzen

Das aktuelle Modell stellt weiterhin Inhalte bereit, während das Ersatzmodell gestartet wird. Sobald das Ersatzmodell bereit ist, wird der Datenverkehr auf das neue Modell umgeleitet. Bereitstellungs-ID, URL, Region und API-Schlüssel bleiben unverändert; der Anzeigename ändert sich nur, wenn du einen neuen Namen eingibst. Schlägt das Ersetzen fehl, bleiben das vorherige Modell und der vorherige Name aktiv.

Das Ersetzen setzt alle folgenden Bedingungen voraus und wird andernfalls abgelehnt:

• Die Bereitstellung ist Bereit, und es läuft keine andere Vorgangsaktion
• Das Ersatzmodell verfügt über Gewichte und gehört demselben Arbeitsbereich wie die Bereitstellung an
• Das Ersatzmodell ist nicht das bereits bereitgestellte Modell

Bereitstellungsstatus#

Endpoint-URL#

Jeder Endpoint hat eine eindeutige URL, zum Beispiel:

https://predict-<deployment-id>-<hash>-<region>.a.run.app

Klicke auf den Kopieren-Button, um die URL zu kopieren. Klicke auf das Dokumentationssymbol, um die eigene API-Referenz des Endpunkts zu öffnen. Der Endpunkt stellt folgende Pfade zur Verfügung:

Lebenszyklusverwaltung#

Steuere den Zustand deines Endpoints:

graph LR
    R[Ready]:::out -->|Stop| S[Stopped]:::extern
    S -->|Start| R
    R -->|Delete| D[Deleted]:::error
    S -->|Delete| D

    classDef out fill:#9C27B0,color:#fff
    classDef error fill:#F44336,color:#fff
    classDef extern fill:#607D8B,color:#fff

Endpunkt anhalten#

Halte einen Endpunkt an, wenn er keine Anfragen annehmen soll:

1. Klicke auf das Pausensymbol auf der Bereitstellungskarte
2. Der Status des Endpunkts ändert sich zunächst in „Stopping“ und anschließend in „Stopped“

Angehaltene Endpunkte:

• Keine Annahme von Anfragen und keine Meldung von Live-Metriken oder dem Status der Funktionsfähigkeit
• Keine Anhäufung von Betriebszeitkosten mehr
• Verlust temporärer Monitoring-Statistiken und Beispielbilder, wenn die bereitstellende Instanz herunterfährt
• Behalten ihre URL, Region und den zugeordneten API-Schlüssel und können jederzeit neu gestartet werden
• Werden weiterhin auf das Bereitstellungskontingent deines Tarifs angerechnet – lösche einen Endpunkt, um seinen Platz freizugeben

Endpunkt löschen#

Entferne einen Endpunkt dauerhaft:

1. Klicke auf das Löschsymbol (Papierkorb) auf der Bereitstellungskarte
2. Bestätige die Löschung im Dialog

Bereitstellungen werden ebenfalls entfernt, wenn ihr Modell oder Projekt dauerhaft gelöscht wird oder wenn ein gelöschtes Modell oder Projekt das Ende seines Aufbewahrungszeitraums erreicht.

Endpunkte verwenden#

Authentifizierung#

Jede Bereitstellung ist an einen einzelnen API-Schlüssel aus dem Arbeitsbereich gebunden, dem das Modell gehört. Füge ihn in Anfragen ein:

Authorization: Bearer YOUR_API_KEY

Der Endpunkt akzeptiert nur den bei der Erstellung gebundenen Schlüssel. Kein anderer Schlüssel kann ihn öffnen – auch kein anderer aktiver Schlüssel im gleichen Arbeitsbereich. Wenn du festlegen möchtest, welcher Schlüssel gebunden wird, führe die Bereitstellung über die API aus, die mit dem Schlüssel des Arbeitsbereichbesitzers authentifiziert ist: Dieser genau Schlüssel wird gebunden und du hast ihn bereits. Bei Bereitstellungen auf andere Weise (über die Platform-Benutzeroberfläche oder einen API-Aufruf, der als Teammitglied authentifiziert ist) wird automatisch einer der aktiven Schlüssel des zugehörigen Arbeitsbereichs gebunden. Identifiziere ihn anhand des Schlüsselpräfixes, das in der Fußzeile der Bereitstellungskarte angezeigt wird, und bitte den Arbeitsbereichbesitzer um den Wert, da nur der Besitzer Schlüsselwerte einsehen kann (siehe API-Schlüssel). Teammitglieder ohne den gebundenen Schlüssel können weiterhin über den Vorhersage-Proxy der Platform im Browser Inferenz ausführen.

Direkte Endpunktanfragen#

Sende Produktionsanfragen direkt an die auf der Bereitstellungskarte angezeigte URL. Diese Anfragen durchlaufen nicht den Ratenbegrenzer der Platform-API, daher gilt das Vorhersagelimit von 20 Anfragen pro Minute nicht. Der Endpunkt hat weiterhin eine eigene Kapazitätsgrenze:

• Eine einzelne Instanz bedient jeden Endpunkt und verarbeitet jeweils eine begrenzte Anzahl von Anfragen
• Anfragen, die nicht zeitnah bedient werden können, geben 429 mit einem Retry-After-Header zurück
• Eine einzelne Anfrage kann bis zu 1 Stunde laufen, sodass die Inferenz von Videos abgeschlossen werden kann
• Antworten mit einer Größe von mehr als 1 KB werden mit gzip komprimiert, und browserbasierte Cross-Origin-Anfragen sind zulässig

Anfragebeispiel#

import requests

# Deployment endpoint
url = "https://YOUR_DEPLOYMENT_URL.run.app/predict"

# Headers with your deployment API key
headers = {"Authorization": "Bearer YOUR_API_KEY"}

# Inference parameters
data = {"conf": 0.25, "iou": 0.7, "imgsz": 640}

# Send image for inference
with open("image.jpg", "rb") as f:
    response = requests.post(url, headers=headers, data=data, files={"file": f})

print(response.json())

Anfrageparameter#

Unter Tiefenantworten erfährst du, wie bits die zurückgegebene Tiefenkarte ändert und wie du sie dekodierst.

Antwortformat#

Wie bei der gemeinsamen Inferenz, mit aufgabenspezifischen Feldern.

FAQ#