Endpoint dedicati#

Ultralytics Platform consente il rilascio di modelli YOLO su endpoint dedicati in 42 regioni globali. Ogni endpoint è un servizio a singolo tenant con un URL di endpoint unico e un monitoraggio indipendente. La dimensione predefinita delle risorse si riduce a zero in caso di inattività; le dimensioni personalizzate mantengono un'istanza attiva e vengono fatturate in base al tempo di attività.

Crea endpoint#

Dalla scheda Deploy#

Distribuisci un modello dalla relativa scheda Deploy:

1. Vai al tuo modello
2. Fai clic sulla scheda Deploy
3. Esamina la mappa del mondo e la tabella delle regioni, ordinata in base alla latenza misurata dalla tua posizione
4. Fai clic su Deploy nella riga della regione che vuoi utilizzare
5. Nella finestra di dialogo, verifica la CPU, la memoria, i prezzi e il nome del rilascio, quindi fai clic su Create Deployment

Il nome suggerito combina il nome del modello e la città della regione (ad esempio yolo26n-iowa) e può essere modificato prima del rilascio. Il modello deve disporre di pesi, altrimenti la scheda mostra uno stato vuoto anziché la tabella delle regioni.

Dalla pagina Deployments#

Crea una distribuzione dalla pagina globale Deploy nella barra laterale:

1. Fai clic su New Deployment
2. Seleziona un modello dal selettore dei modelli, che elenca i modelli completati
3. Seleziona una regione dalla mini mappa o dalla tabella della latenza
4. Scegli CPU e memoria, verifica i prezzi e modifica il nome del rilascio suggerito se necessario
5. Fai clic su Create Deployment

Ciclo di vita del deployment#

stateDiagram-v2
    [*] --> Creating: Deploy
    Creating --> Deploying: Service starting
    Deploying --> Ready: Service URL published
    Ready --> Stopping: Stop
    Ready --> Deploying: Replace model
    Stopping --> Stopped: Stopped
    Stopped --> Deploying: Start
    Deploying --> Stopped: Start failed
    Ready --> [*]: Delete
    Stopped --> [*]: Delete
    Creating --> Failed: Error
    Deploying --> Failed: Error
    Failed --> [*]: Delete

    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff
    classDef error fill:#F44336,color:#fff
    classDef extern fill:#607D8B,color:#fff
    class Creating,Deploying,Stopping proc
    class Ready out
    class Failed error
    class Stopped extern

Collega gli avvisi Slack per ricevere un messaggio quando una distribuzione è pronta o non riesce ad avviarsi.

Selezione della regione#

Scegli tra 42 regioni in tutto il mondo. La mappa interattiva delle regioni e la tabella mostrano:

• Indicatori delle regioni: codificati per colore in base alla latenza con un gradiente dal verde al rosso (le regioni più veloci sono più verdi, quelle più lente più rosse)
• Regioni distribuite: evidenziate nella tabella con un badge "Deployed"
• Regioni in distribuzione: indicatore a impulsi animato sull'indicatore e sulla riga della tabella
• Evidenziazione bidirezionale: passando il mouse sulla mappa viene evidenziata la riga corrispondente della tabella e viceversa

La tabella delle regioni nella scheda del modello Deploy include:

La tabella è ricercabile per città, paese e zona ed è ordinata per latenza per impostazione predefinita.

Regioni disponibili#

Configurazione dell'endpoint#

Finestra di dialogo New Deployment#

La finestra di dialogo New Deployment ti permette di selezionare un modello, una regione, risorse e nome del rilascio:

Scegli le dimensioni di CPU e memoria nei controlli delle risorse e verifica i prezzi visualizzati prima di creare il rilascio. La dimensione predefinita può utilizzare un'indennità di rilascio gratuito disponibile; le dimensioni personalizzate utilizzano prezzi a consumo. La dimensione predefinita si riduce a zero in caso di inattività. Le dimensioni personalizzate mantengono un'istanza attiva e vengono addebitate dalla prontezza fino all'arresto dell'endpoint, incluso il tempo di inattività. Agents riutilizza questa finestra di dialogo quando selezioni New deployment….

Scheda Deploy (distribuzione rapida)#

Il rilascio dalla scheda Deploy del modello apre la stessa finestra di dialogo con il modello e la regione pre-selezionati. Verifica la dimensione delle risorse, i prezzi e il nome generato automaticamente prima di creare l'endpoint. Il rilascio appare nell'elenco Active Deployments mentre viene creato.

Gestione degli endpoint#

Modalità di visualizzazione#

L'elenco delle distribuzioni supporta tre modalità di visualizzazione:

Scheda della distribuzione (visualizzazione a schede)#

Ogni scheda della distribuzione nella visualizzazione a schede mostra:

• Intestazione: Nome, bandiera della regione, badge di stato e i pulsanti di azione disponibili per lo stato corrente: aggiorna la configurazione, sostituisci e arresta quando è Pronto, avvia quando è Arrestato, elimina in qualsiasi momento
• URL dell'endpoint: URL copiabile con un collegamento alla documentazione di riferimento dell'API dell'endpoint
• Metriche: numero di richieste (24 ore), latenza P95, tasso di errore o "Nessun traffico ancora"
• Controllo dello stato: indicatore dello stato in tempo reale con latenza e aggiornamento manuale
• Schede: Logs, Code e Predict; gli endpoint a pagamento mostrano anche Monitoring
• Piè di pagina: prefisso della chiave API associato alla distribuzione e data in cui è diventata pronta
• Messaggio di stato: motivo dell'errore, quando una distribuzione non è riuscita

L'URL, le metriche, il controllo dello stato e le schede vengono visualizzati solo quando la distribuzione è Pronta. La scheda Logs mostra le voci di log recenti con filtro per gravità (Tutti / Errori). La scheda Code mostra esempi di codice pronti all'uso in Python, JavaScript e cURL con l'URL del tuo endpoint, oltre alla chiave API associata per i proprietari dell'area di lavoro (consulta Monitoraggio). La scheda Predict fornisce un pannello di predizione integrato per eseguire test direttamente sulla distribuzione.

Aggiorna CPU e Memoria#

1. Apri un endpoint Pronto nella vista Schede.
2. Fai clic su Aggiorna configurazione di distribuzione.
3. Scegli CPU e Memoria e rivedi il costo orario visualizzato.
4. Fai clic su Aggiorna configurazione. La configurazione corrente continua a servire finché quella nuova non è pronta.

Le risorse personalizzate utilizzano la fatturazione basata sul tempo di attività e mantengono un'istanza calda. Il ritorno alle risorse predefinite ripristina il comportamento di scalabilità a zero e rimuove la scheda di Monitoraggio a pagamento.

Sostituire un modello#

Sostituisci il modello alla base di un endpoint pronto senza modificarne l'URL:

1. Apri la distribuzione nella visualizzazione Schede
2. Fai clic su Sostituisci modello
3. Seleziona un altro modello completato dalla stessa area di lavoro
4. Modifica facoltativamente il nome della distribuzione
5. Fai clic su Sostituisci modello

Il modello corrente continua a gestire le richieste mentre quello sostitutivo viene avviato. Quando il modello sostitutivo è pronto, il traffico viene trasferito al nuovo modello. L'ID della distribuzione, l'URL, la regione e la chiave API rimangono invariati; il nome visualizzato cambia solo se ne inserisci uno nuovo. Se la sostituzione non riesce, il modello e il nome precedenti rimangono attivi.

La sostituzione richiede tutte le condizioni seguenti e, in caso contrario, viene rifiutata:

• La distribuzione è Pronta e non è in corso nessun'altra operazione del ciclo di vita
• Il modello sostitutivo dispone dei pesi e appartiene alla stessa area di lavoro della distribuzione
• Il modello sostitutivo non è quello già distribuito

Stati della distribuzione#

URL dell'endpoint#

Ogni endpoint ha un URL univoco, ad esempio:

https://predict-<deployment-id>-<hash>-<region>.a.run.app

Fai clic sul pulsante di copia per copiare l'URL. Fai clic sull'icona della documentazione per aprire il riferimento API dell'endpoint. L'endpoint serve questi percorsi:

Gestione del ciclo di vita#

Controlla lo stato del tuo endpoint:

graph LR
    R[Ready]:::out -->|Stop| S[Stopped]:::extern
    S -->|Start| R
    R -->|Delete| D[Deleted]:::error
    S -->|Delete| D

    classDef out fill:#9C27B0,color:#fff
    classDef error fill:#F44336,color:#fff
    classDef extern fill:#607D8B,color:#fff

Arresta endpoint#

Arresta un endpoint quando non vuoi che accetti richieste:

1. Fai clic sull'icona di pausa nella scheda della distribuzione
2. Lo stato dell'endpoint passa a "Stopping", quindi a "Stopped"

Gli endpoint arrestati:

• Non accettano richieste e non riportano metriche in tempo reale o stato di salute
• Interrompono l'accumulo di costi per il tempo di attività
• Perdono le statistiche di monitoraggio temporanee e le immagini di esempio quando l'istanza di servizio si spegne
• Conservano URL, regione e chiave API associata e possono essere riavviati in qualsiasi momento
• Continuano a essere conteggiati nella quota di distribuzioni del tuo piano: elimina un endpoint per liberare il relativo slot

Elimina endpoint#

Rimuovi definitivamente un endpoint:

1. Fai clic sull'icona di eliminazione (cestino) nella scheda della distribuzione
2. Conferma l'eliminazione nella finestra di dialogo

Le distribuzioni vengono rimosse anche quando il relativo modello o progetto viene eliminato definitivamente oppure quando un modello o progetto nel cestino raggiunge la fine del periodo di conservazione.

Utilizzo degli endpoint#

Autenticazione#

Ogni distribuzione è associata a una singola chiave API dell'area di lavoro che possiede il modello. Includila nelle richieste:

Authorization: Bearer YOUR_API_KEY

L'endpoint accetta solo la chiave associata al momento della creazione, quindi nessun'altra chiave lo apre: nemmeno un'altra chiave attiva nella stessa area di lavoro. Per controllare quale chiave viene associata, esegui la distribuzione tramite l'API autenticata con la chiave del proprietario dell'area di lavoro: quella chiave esatta viene associata e tu ne sei già in possesso. Le distribuzioni create in qualsiasi altro modo (tramite l'interfaccia utente di Platform o una chiamata API autenticata come membro del team) associano automaticamente una delle chiavi attive dell'area di lavoro proprietaria: identificala tramite il prefisso della chiave mostrato nel piè di pagina della scheda della distribuzione e chiedine il valore al proprietario dell'area di lavoro, poiché solo il proprietario può visualizzare i valori delle chiavi (consulta Chiavi API). I membri del team senza la chiave associata possono comunque eseguire inferenze tramite il proxy di previsione di Platform nel browser.

Richieste dirette all'endpoint#

Invia le richieste di produzione direttamente all'URL mostrato nella scheda della distribuzione. Queste richieste non passano attraverso il limitatore di frequenza dell'API di Platform, quindi non si applica il limite di previsione di 20 richieste al minuto. L'endpoint ha comunque un proprio limite di capacità:

• Una singola istanza serve ogni endpoint ed elabora un numero limitato di richieste contemporaneamente
• Le richieste che non possono essere servite rapidamente restituiscono 429 con un'intestazione Retry-After
• Una singola richiesta può essere eseguita per un massimo di 1 ora, consentendo di completare l'inferenza video
• Le risposte superiori a 1 KB vengono compresse con gzip e le richieste del browser cross-origin sono consentite

Esempio di richiesta#

import requests

# Deployment endpoint
url = "https://YOUR_DEPLOYMENT_URL.run.app/predict"

# Headers with your deployment API key
headers = {"Authorization": "Bearer YOUR_API_KEY"}

# Inference parameters
data = {"conf": 0.25, "iou": 0.7, "imgsz": 640}

# Send image for inference
with open("image.jpg", "rb") as f:
    response = requests.post(url, headers=headers, data=data, files={"file": f})

print(response.json())

Parametri della richiesta#

Consulta Risposte di profondità per scoprire come bits modifica la mappa di profondità restituita e come decodificarla.

Formato della risposta#

Come per l'inferenza condivisa, con campi specifici per l'attività.

FAQ#