Monitoraggio#

Ultralytics Platform offre il monitoraggio degli endpoint distribuiti. Tieni traccia delle richieste agli endpoint, della latenza, degli errori e dei log. Gli endpoint dedicati pronti su un runtime aggiornato forniscono anche statistiche di predizione in tempo reale ed esempi temporanei che puoi esaminare e salvare nei dataset.

Scheda Deployments#

La scheda Distribuzioni del tuo profilo funge da dashboard di monitoraggio per tutte le tue distribuzioni. Riunisce in un'unica vista la mappa del mondo, le metriche di riepilogo e la gestione delle distribuzioni. Consulta Endpoint dedicati per creare e gestire le distribuzioni.

graph TB
    subgraph "Deployments Tab"
        Map[World Map]:::proc --- Cards[Overview Cards]:::proc
        Cards --- List[Deployments List]:::decide
    end
    subgraph "Deployment Page"
        Metrics[Metrics Cards]:::out
        Overview[Overview Tab: Endpoint and Health Check]:::out
        Monitoring[Monitoring Tab]:::out
        Predict[Predict Tab]:::out
        Logs[Logs Tab]:::out
    end
    List --> Metrics
    List --> Overview
    List --> Monitoring
    List --> Predict
    List --> Logs

    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Schede di riepilogo#

Quattro schede di riepilogo nella parte superiore della pagina mostrano:

Viene riportata la latenza P95 anziché quella mediana perché i controlli di integrità si completano in un paio di millisecondi e altrimenti prevarrebbero nel quadro della latenza di inferenza effettiva.

Mappa del mondo#

La mappa interattiva del mondo mostra:

• Indicatori di area per tutte le 42 regioni disponibili
• Indicatori verdi per le regioni con una distribuzione pronta
• Indicatori blu animati per le regioni con distribuzioni attive in corso
• Le dimensioni degli indicatori variano in base allo stato della distribuzione e alla latenza

Fai clic su una regione per aprire la finestra di dialogo New Deployment. La mappa è nascosta sugli schermi piccoli.

Elenco delle distribuzioni#

Sotto le schede di riepilogo, l'elenco delle distribuzioni mostra tutti gli endpoint dei tuoi progetti. Usa il selettore della modalità di visualizzazione per alternare tra:

Metriche per distribuzione#

Ogni pagina di distribuzione mostra metriche in tempo reale sopra le schede Overview, Monitoring, Predict e Logs:

Schede delle metriche#

Ogni scheda mostra un grafico sparkline e si aggiorna ogni minuto, accanto a una scheda che rimanda al modello distribuito. Le metriche vengono raccolte solo per le distribuzioni nello stato Pronto. Nella scheda Distribuzioni, le metriche vengono recuperate per le 20 distribuzioni più recenti.

Controllo dello stato#

La scheda Endpoint nella scheda Overview di una distribuzione in esecuzione mostra un indicatore del controllo di integrità:

I controlli di integrità vengono ritentati automaticamente quando l'endpoint non è integro e si interrompono quando l'endpoint risponde. Aprire la pagina della distribuzione avvia un controllo di integrità; il pulsante per ripetere il ping ne avvia un altro e può anche essere usato per riscaldare un endpoint scalato a zero prima di inviargli traffico.

Scheda Monitoraggio#

Apri la pagina della distribuzione di un endpoint dedicato con stato Pronto e seleziona la scheda Monitoraggio. Invia un'immagine tramite la scheda Predici o l'API dell'endpoint oppure mantieni attiva una telecamera in background per popolare Esempi temporanei e Statistiche delle predizioni. Prima che venga elaborata la prima immagine, la scheda mostra Nessuna immagine elaborata.

Esempi temporanei#

La galleria contiene immagini elaborate di recente con sovrapposizioni delle predizioni. Apri un'immagine per esaminarne le predizioni nel visualizzatore a schermo intero e usa i controlli di visibilità per regolare le sovrapposizioni. Inizialmente, la galleria mostra fino a 12 esempi; Mostra tutto la espande.

• Acquisizione: le immagini elaborate di recente appaiono come esempi temporanei, al massimo una al secondo. L'acquisizione è effettuata al meglio; l'inferenza non attende la codifica degli esempi.
• Capacità: al massimo 100 immagini entro un budget condiviso di memoria di 100 MiB per immagini compresse, metadati delle predizioni e risorse associate. L'interfaccia indica questo budget come 100 MB.
• Sostituzione: gli esempi meno recenti vengono sostituiti quando viene raggiunto uno dei due limiti. Un esempio potrebbe non essere più disponibile mentre lo visualizzi.
• Archiviazione: gli esempi temporanei rimangono nella memoria dell'endpoint. Salvarli in un dataset comporta l'uso dei normali limiti di archiviazione e di elaborazione dell'area di lavoro.

Salvare gli esempi in un dataset#

I membri dell'area di lavoro con autorizzazione a modificare i contenuti possono salvare gli esempi in un dataset nell'area di lavoro dell'endpoint:

1. Seleziona singoli esempi usando le relative caselle di controllo oppure fai clic su Seleziona tutto.
2. Fai clic su Salva nel dataset.
3. Scegli un dataset esistente con la stessa attività del modello distribuito. I dataset connessi a una fonte sono esclusi; se non è disponibile nessun dataset compatibile, creane prima uno.
4. Fai clic sul pulsante Salva, che mostra il numero di immagini selezionate, quindi apri il dataset per seguire l'elaborazione.

Le immagini selezionate e le relative predizioni vengono copiate tramite il normale flusso di caricamento e acquisizione del dataset. Si applicano i normali limiti di quota, la mappatura delle classi e la gestione dei duplicati. Il salvataggio lascia gli esempi temporanei nella galleria; le immagini del dataset acquisite correttamente restano disponibili anche dopo il riavvio o l'eliminazione dell'endpoint. Esamina le etichette predette prima di usarle per l'addestramento. Ogni immagine salvata registra deploymentId, deploymentName, deploymentRegion e deploymentRegionName nei metadati personalizzati, utilizzati dalla ricerca nel dataset; i nomi vengono registrati come erano al momento del salvataggio e un'immagine ignorata perché duplicata conserva i metadati esistenti.

Per rimuovere gli esempi temporanei, usa il controllo del cestino che appare al passaggio del cursore sull'immagine oppure seleziona gli esempi e fai clic sul pulsante del cestino per l'eliminazione in blocco, quindi conferma Elimina. L'eliminazione degli esempi non modifica le statistiche aggregate delle predizioni né le immagini già salvate nei dataset.

Statistiche delle predizioni#

Le statistiche aggregano le immagini elaborate indipendentemente dalla galleria. L'eliminazione o la sostituzione di un esempio non sottrae il relativo contributo. Il riepilogo mostra immagini, predizioni e immagini senza predizioni per il periodo selezionato; i modelli di profondità mostrano il conteggio delle immagini.

Il selettore delle date usa per impostazione predefinita gli ultimi 30 giorni e accetta intervalli fino a 365 giorni. Le date selezionate seguono i confini temporali UTC; gli orari dei grafici sono visualizzati nell'ora locale. Gli intervalli recenti fino a tre giorni usano la cronologia oraria quando l'intero intervallo rientra nelle ultime 72 ore; gli altri intervalli usano la cronologia giornaliera. L'intervallo di date filtra le statistiche, mentre la galleria continua a mostrare gli esempi temporanei attuali.

La cronologia è limitata a 72 intervalli orari e 365 intervalli giornalieri ed è disponibile solo a partire dall'avvio dell'istanza corrente. Se nel periodo selezionato non sono state elaborate immagini, viene mostrato Nessuna immagine elaborata in questo periodo.

I grafici disponibili dipendono dall'attività e dalle predizioni raccolte:

Il monitoraggio si aggiorna automaticamente mentre il pannello è aperto e visibile e si interrompe quando il pannello è fuori schermo o la scheda del browser è nascosta. Anche un'inferenza riuscita tramite la scheda Predict del deployment attiva un aggiornamento delle statistiche.

Log#

Ogni pagina di deployment include una scheda Logs per visualizzare le voci di log recenti:

Voci di log#

Ogni voce di log mostra:

L'interfaccia mostra le 20 voci più recenti e nasconde quelle vuote. Per impostazione predefinita, l'API restituisce 50 voci per richiesta (massimo 200) e restituisce un nextPageToken per scorrere le pagine precedenti.

Esempi di codice#

La scheda dei risultati Predict Docs di ogni deployment mostra codice API pronto all'uso con l'URL dell'endpoint e, per i proprietari dello spazio di lavoro, la chiave API associata al deployment già compilata, pronta da copiare ed eseguire. Chi non è proprietario visualizza un segnaposto YOUR_API_KEY:

import requests

# Endpoint della distribuzione
url = "https://YOUR_DEPLOYMENT_URL.run.app/predict"

# Intestazioni con la chiave API della distribuzione
headers = {"Authorization": "Bearer YOUR_API_KEY"}

# Parametri di inferenza
data = {"conf": 0.25, "iou": 0.7, "imgsz": 640}

# Invia un'immagine per l'inferenza
with open("image.jpg", "rb") as f:
    response = requests.post(url, headers=headers, data=data, files={"file": f})

print(response.json())

Inferenza di deployment#

La scheda Predict di ogni pagina di deployment fornisce un pannello di inferenza integrato: la stessa interfaccia della scheda Predict del modello, ma con l'inferenza eseguita tramite l'endpoint di deployment anziché il servizio condiviso. È utile per testare un endpoint distribuito direttamente dal browser. Consulta Inferenza per i dettagli sui parametri e i formati delle risposte.

Endpoint API#

Ogni deployment è identificato dal nome del proprietario e dal nome del deployment, e ogni route richiede una chiave API. Consulta il riferimento API per i dettagli sull'autenticazione.

Metriche del deployment#

GET /api/deployments/{owner}/{deployment}/metrics?range=24h

Python SDK: client.deployments.metrics(owner, deployment, range="24h")

Restituisce l'intero payload delle metriche di un deployment: un blocco summary con il numero totale di richieste, il numero e il tasso di errori, e la latenza media, P50, P95 e P99; inoltre, include array timeSeries per richieste, errori, latenza P50 e P95, utilizzo di CPU e memoria e numero di istanze.

Con sparkline=true, la risposta è un riepilogo compatto: il numero orario di richieste delle ultime 24 ore (le ore senza richieste vengono omesse), oltre alle richieste totali, al tasso di errori e a avgLatencyMs, la media delle latenze P95 orarie. Con view=overview, summary contiene totalRequests, errorRate e p95LatencyMs, mentre timeSeries contiene requests, errors e latencyP95; le schede delle statistiche nella pagina del deployment usano questa visualizzazione e si aggiornano automaticamente.

Log del deployment#

GET /api/deployments/{owner}/{deployment}/logs?limit=50&severity=ERROR,WARNING

Python SDK: client.deployments.logs(owner, deployment, limit=50, severity="ERROR,WARNING")

Restituisce le voci di log recenti con filtro di gravità e paginazione facoltativi.

Integrità del deployment#

GET /api/deployments/{owner}/{deployment}/health

Python SDK: client.deployments.health(owner, deployment)

Invia un ping al deployment e ne restituisce lo stato di integrità insieme alla latenza di andata e ritorno misurata:

{
    "healthy": true,
    "status": 200,
    "latencyMs": 142
}

Una risposta di stato non integro omette status se non è stato possibile raggiungere l'endpoint e aggiunge un messaggio error.

Ottimizzazione delle prestazioni#

Usa i dati di monitoraggio per ottimizzare i tuoi deployment:

Domande frequenti#