Bereitstellung#

Ultralytics Platform bietet umfassende Optionen für die Modellbereitstellung, um deine YOLO-Modelle produktiv einzusetzen. Teste Modelle mit browserbasierter Inferenz, stelle sie in dedizierten Endpunkten in 42 Regionen weltweit bereit und überwache die Leistung in Echtzeit.

Übersicht#

Der Bereich „Bereitstellung“ unterstützt dich bei Folgendem:

• Modelle testen direkt im Browser über den Tab Predict
• Bereitstellung in dedizierten Endpunkten in 42 Regionen weltweit
• Überwache Anfragemetriken, Protokolle, Gesundheitsprüfungen und temporäre Vorhersagen auf kostenpflichtigen Endpunkten
• Ressourcen auswählen: Standardendpunkte skalieren auf Null; benutzerdefinierte Größen halten eine warme Instanz mit Betriebszeitabrechnung vor

Optionen für die Modellbereitstellung#

Ultralytics Platform bietet mehrere Wege für die Modellbereitstellung:

Workflow#

graph LR
    A[✅ Test]:::start --> B[⚙️ Configure]:::proc
    B --> C[🌐 Deploy]:::proc
    C --> D[📊 Monitor]:::out

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff

Architektur#

Gemeinsam genutzte Inferenz#

Der Dienst für gemeinsam genutzte Inferenz läuft in 3 wichtigen Regionen. Anfragen an ein Modell werden an den Dienst in der Datenregion dieses Modells weitergeleitet, sodass die Ergebnisse innerhalb der Region bleiben, in der das Modell gespeichert ist:

graph TB
    User[User Request]:::start --> API[Platform API]:::proc
    API --> Router{Model Data Region}:::decide
    Router -->|US models| US["US Predict Service<br/>Iowa"]:::out
    Router -->|EU models| EU["EU Predict Service<br/>Belgium"]:::out
    Router -->|AP models| AP["AP Predict Service<br/>Taiwan"]:::out

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Dedizierte Endpunkte#

Stelle Modelle in Ultralytics Cloud weltweit in 42 Regionen bereit:

• Amerika: 14 Regionen
• Europa: 13 Regionen
• Asien-Pazifik: 12 Regionen
• Nahost und Afrika: 3 Regionen

Jeder Endpunkt ist ein Dienst für einen einzelnen Mandanten mit:

• Konfigurierbare CPU und Arbeitsspeicher mit Preisen, die vor der Bereitstellung angezeigt werden
• Skalierung auf Null für Standardressourcen; eine warme, nach Betriebszeit abgerechnete Instanz für benutzerdefinierte Ressourcen
• Eindeutiger Endpunkt-URL mit eigener interaktiver API-Referenz unter /docs
• Eigener API-Schlüsselzuordnung, sodass nur dieser Schlüssel den Endpunkt aufrufen kann
• Unabhängiger Überwachung, Protokollen und Zustandsprüfungen

Seite „Bereitstellungen“#

Öffne die globale Bereitstellungsseite über die Seitenleiste unter Deploy. Diese Seite zeigt:

• Weltkarte mit Markierungen der bereitgestellten Regionen; klicke auf eine Region, um den Dialog New Deployment zu öffnen
• Übersichtskarten: HTTP-Anfragen (24h), Aktive Bereitstellungen, HTTP-Fehlerrate (24h), HTTP-P95-Latenz (24h)
• Liste der Bereitstellungen mit drei Ansichtsmodi: Karten, kompakt und Tabelle
• Schaltfläche Neue Bereitstellung, um aus jedem abgeschlossenen Modell Endpunkte zu erstellen
• Schaltfläche Aktualisieren und ein Zeitstempel Updated in der Kopfzeile der Seite

Wichtige Funktionen#

Globale Abdeckung#

Stelle Modelle mit 42 Regionen in der Nähe deiner Nutzer bereit, die folgende Gebiete abdecken:

• Nordamerika, Südamerika
• Europa, Nahost, Afrika
• Asien-Pazifik, Ozeanien

Skalierungsverhalten#

Endpunkte verhalten sich derzeit wie folgt:

• Standardressourcen: Inaktive Endpunkte skalieren auf Null herunter und führen beim nächsten Request einen Kaltstart durch
• Benutzerdefinierte Ressourcen: Eine Instanz bleibt warm und verursacht Betriebszeltkosten, bis sie gestoppt wird
• Eine aktive Instanz: Jeder Endpunkt stellt derzeit bei allen Tarifen über eine Instanz bereit
• Lastabweisung: Anfragen erhalten 429-Antworten, wenn der Endpunkt vorübergehend ausgelastet ist – siehe Direkte Endpunktanfragen
• Anfrage-Timeout: Direkte Endpunktanfragen haben eine maximale Dauer von 1 Stunde; siehe Inference für unterstützte Eingaben

Regionale Bereitstellung#

Nutze die gemessene Latenz der Regionen, um einen Endpunkt in der Nähe seiner Aufrufer zu platzieren. Die tatsächliche Inferenzlatenz hängt vom Modell, der Eingabegröße, dem Zustand des Endpunkts und dem Netzwerkpfad ab.

Zustandsprüfungen#

Jede laufende Bereitstellung umfasst eine automatische Zustandsprüfung mit:

• Anzeige des Live-Status (funktionsfähig/nicht funktionsfähig)
• Anzeige der Antwortlatenz
• Automatischer Wiederholungsversuch bei nicht funktionsfähigem Zustand, der beendet wird, sobald der Zustand wieder funktionsfähig ist
• Schaltfläche zum manuellen Aktualisieren

Schnellstart#

Erstelle eine Bereitstellung:

1. Trainiere ein Modell für ein Projekt oder lade eines hoch
2. Öffne den Tab Bereitstellen des Modells
3. Klicke auf Deploy für eine Region in der Latenztabelle
4. Überprüfe CPU, Arbeitsspeicher, Preise und Name im Bereitstellungsdialog
5. Klicke auf Create Deployment und warte, bis der Bereitstellungsstatus Ready lautet

Model → Deploy tab → Deploy in a region → Review configuration → Create Deployment

Schnellzugriffe#

• Inferenz: Modelle im Browser testen
• Endpunkte: Dedizierte Endpunkte bereitstellen
• Überwachung: Verfolge die Leistung deiner Bereitstellungen

FAQ#