Monitoraggio#

Ultralytics Platform offre il monitoraggio per gli endpoint distribuiti. Tieni traccia di richieste agli endpoint, latenza, errori e log. Gli endpoint dedicati a pagamento offrono anche statistiche di previsione in tempo reale ed esempi temporanei che puoi ispezionare e salvare nei dataset.

Dashboard delle distribuzioni#

La pagina Deploy nella barra laterale funge da dashboard di monitoraggio per tutte le tue distribuzioni. Riunisce in un'unica vista la mappa del mondo, le metriche riepilogative e la gestione delle distribuzioni. Consulta Endpoint dedicati per creare e gestire le distribuzioni.

graph TB
    subgraph Dashboard
        Map[World Map]:::proc --- Cards[Overview Cards]:::proc
        Cards --- List[Deployments List]:::decide
    end
    subgraph "Per Ready Deployment"
        Monitoring[Monitoring Tab: Paid Endpoints]:::out
        Metrics[Metrics Row]:::out
        Health[Health Check]:::out
        Logs[Logs Tab]:::out
        Code[Code Tab]:::out
        Predict[Predict Tab]:::out
    end
    List --> Monitoring
    List --> Metrics
    List --> Health
    List --> Logs
    List --> Code
    List --> Predict

    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Schede riepilogative#

Le quattro schede riepilogative nella parte superiore della pagina mostrano:

Viene riportata la latenza P95 anziché quella mediana perché i controlli di integrità vengono completati in un paio di millisecondi e altrimenti finirebbero per dominare il quadro della latenza reale dell'inferenza.

Mappa del mondo#

La mappa interattiva del mondo mostra:

• Indicatori regionali per tutte le 42 regioni disponibili
• Indicatori verdi per le regioni con una distribuzione pronta
• Indicatori blu animati per le regioni con distribuzioni attive in corso
• Dimensione dell'indicatore variabile in base allo stato della distribuzione e alla latenza

Fai clic su una regione qualsiasi per aprire la finestra di dialogo New Deployment. La mappa è nascosta sugli schermi di piccole dimensioni.

Elenco delle distribuzioni#

Sotto le schede riepilogative, l'elenco delle distribuzioni mostra tutti gli endpoint nei tuoi progetti. Usa il selettore della modalità di visualizzazione per passare da una modalità all'altra:

Metriche per distribuzione#

Ogni scheda di distribuzione (nella visualizzazione a schede) mostra metriche in tempo reale. La riga delle metriche, il controllo di integrità e le schede Logs, Code e Predict descritte di seguito vengono visualizzati solo mentre la distribuzione è Ready:

Riga delle metriche#

Le metriche si aggiornano automaticamente. Gli endpoint che non hanno servito alcuna richiesta mostrano "Ancora nessun traffico" e le metriche vengono raccolte solo per le distribuzioni nello stato Ready. Nella dashboard delle distribuzioni, le metriche vengono recuperate per le 20 distribuzioni più recenti.

Controllo dello stato#

Le distribuzioni in esecuzione mostrano un indicatore del controllo di integrità:

I controlli di integrità vengono ritentati automaticamente mentre l'endpoint non è integro e si interrompono quando l'endpoint risponde. Fai clic sull'icona di aggiornamento per attivare manualmente un controllo di integrità, che funge anche da sistema per riscaldare un endpoint portato a zero prima di inviargli traffico.

Scheda Monitoraggio#

Apri Distribuisci, passa alla vista Schede e seleziona Monitoraggio su un endpoint dedicato a pagamento Pronto. Invia un'immagine tramite la sua scheda Prepredict o l'API dell'endpoint per popolare Esempi temporanei e Statistiche di previsione. Prima della prima immagine elaborata, la scheda mostra Nessuna immagine elaborata.

Esempi temporanei#

La galleria contiene un campione continuo di immagini elaborate con sovrapposizioni di previsione. Apri un'immagine per ispezionare le sue previsioni nel visualizzatore a schermo intero e usa i controlli di visibilità per regolare le sovrapposizioni. La galleria mostra inizialmente fino a 12 esempi; Mostra tutto la espande.

• Campionamento: Fino a due esempi inizialmente, poi fino a un'immagine aggiuntiva al minuto. L'acquisizione è al meglio delle possibilità; l'inferenza non attende la codifica dell'esempio.
• Capacità: Al massimo 100 immagini all'interno di un budget di memoria condiviso di 100 MiB per immagini compresse, metadati di previsione e risorse associate. L'interfaccia etichetta questo budget come 100 MB.
• Sostituzione: Gli esempi più vecchi vengono sostituiti quando viene raggiunto uno dei limiti. Un'immagine potrebbe non essere disponibile mentre la stai visualizzando.
• Memorizzazione: Gli esempi temporanei rimangono nella memoria dell'endpoint. Il loro salvataggio in un dataset utilizza i limiti normali di memorizzazione ed elaborazione del workspace.

Salva gli esempi in un dataset#

I membri del workspace con autorizzazione di modifica dei contenuti possono salvare esempi in un dataset nel workspace dell'endpoint:

1. Seleziona singoli esempi usando le loro caselle di controllo o fai clic su Seleziona tutto.
2. Fai clic su Salva nel dataset.
3. Scegli un dataset esistente con lo stesso task del modello distribuito. I dataset con origine connessa sono esclusi; crea prima un dataset compatibile se nessuno è disponibile.
4. Fai clic sul pulsante Salva, che mostra il conteggio delle immagini selezionate, quindi apri il dataset per seguire l'elaborazione.

Le immagini e le previsioni selezionate vengono copiate attraverso il flusso di lavoro standard di caricamento e inserimento del dataset. Si applicano quote normali, mappatura delle classi e gestione dei duplicati. Il salvataggio lascia gli esempi temporanei nella galleria; le immagini del dataset inserite con successo sopravvivono ai riavvii e all'eliminazione dell'endpoint. Rivedi le etichette previste prima di usarle per l'addestramento.

Per rimuovere esempi temporanei, usa il controllo cestino al passaggio del mouse su un'immagine o seleziona gli esempi e fai clic sul pulsante cestino di gruppo, quindi conferma Elimina. L'eliminazione degli esempi lascia inalterate le statistiche di previsione aggregate e le immagini già salvate nei dataset.

Statistiche di previsione#

Le statistiche aggregano le immagini elaborate indipendentemente dal campionamento della galleria. L'eliminazione o la sostituzione di un esempio non sottrae il suo contributo. Il sommario mostra immagini, previsioni e immagini senza previsioni per il periodo selezionato; i modelli di profondità mostrano il conteggio delle immagini.

Il selettore di date predefinito è sugli ultimi 30 giorni e accetta intervalli fino a 365 giorni. Le date selezionate usano i confini UTC; i timestamp dei grafici vengono visualizzati nell'ora locale. Intervalli recenti fino a tre giorni utilizzano la cronologia oraria quando l'intero intervallo cade negli ultimi 72 ore; altri intervalli utilizzano la cronologia giornaliera. L'intervallo di date filtra le statistiche, mentre la galleria continua a mostrare gli esempi temporanei correnti.

La cronologia è limitata a 72 bucket orari e 365 bucket giornalieri ed è disponibile solo da quando l'istanza corrente è stata avviata. Un periodo selezionato senza immagini elaborate mostra Nessuna immagine elaborata in questo periodo.

I grafici disponibili dipendono dal task e dalle previsioni raccolte:

Il monitoraggio si aggiorna circa ogni 2 secondi mentre il suo pannello è aperto e visibile. Il polling si interrompe quando il pannello è fuori dallo schermo o la scheda del browser è nascosta. L'inferenza riuscita tramite la scheda Prepredict della distribuzione attiva anche un aggiornamento delle statistiche.

Log#

Ogni scheda di distribuzione include una scheda Logs per visualizzare le voci recenti del log:

Voci del log#

Ogni voce del log mostra:

L'interfaccia utente mostra le 20 voci più recenti e nasconde quelle vuote. Per impostazione predefinita, l'API restituisce 50 voci per richiesta (massimo 200) e restituisce un nextPageToken per la paginazione a ritroso.

Esempi di codice#

Ogni scheda di deployment include una scheda Code che mostra codice API pronto all'uso con l'URL dell'endpoint già compilato. Per i proprietari del workspace, viene inserita la chiave API associata al deployment, pronta per essere copiata ed eseguita. I non proprietari visualizzano un segnaposto YOUR_API_KEY:

import requests

# Deployment endpoint
url = "https://YOUR_DEPLOYMENT_URL.run.app/predict"

# Headers with your deployment API key
headers = {"Authorization": "Bearer YOUR_API_KEY"}

# Inference parameters
data = {"conf": 0.25, "iou": 0.7, "imgsz": 640}

# Send image for inference
with open("image.jpg", "rb") as f:
    response = requests.post(url, headers=headers, data=data, files={"file": f})

print(response.json())

Predict del deployment#

La scheda Predict di ogni scheda di deployment fornisce un pannello di previsione inline, la stessa interfaccia della scheda Predict del modello, ma con l'inferenza eseguita tramite l'endpoint del deployment anziché tramite il servizio condiviso. È utile per testare direttamente un endpoint distribuito dal browser. Consulta Inferenza per i dettagli sui parametri e sui formati delle risposte.

Endpoint API#

Ogni deployment è identificato dal proprietario e dal nome del deployment, e ogni route richiede una chiave API. Consulta il riferimento API per i dettagli sull'autenticazione.

Metriche del deployment#

GET /api/deployments/{owner}/{deployment}/metrics?range=24h

SDK Python: client.deployments.metrics(owner, deployment, range="24h")

Restituisce il payload completo delle metriche per un deployment: un blocco summary con il totale delle richieste, il numero e il tasso di errore e la latenza media, P50, P95 e P99, oltre agli array timeSeries per richieste, errori e latenza P50 e P95, utilizzo di CPU e memoria e numero di istanze.

Con sparkline=true, la risposta è nel formato compatto utilizzato dalle schede di deployment: 24 conteggi orari delle richieste, oltre al totale delle richieste, al tasso di errore e alla latenza media. Questa è la chiamata che viene aggiornata ogni 60 secondi.

Log del deployment#

GET /api/deployments/{owner}/{deployment}/logs?limit=50&severity=ERROR,WARNING

SDK Python: client.deployments.logs(owner, deployment, limit=50, severity="ERROR,WARNING")

Restituisce le voci di log recenti con filtro di gravità e paginazione opzionali.

Stato del deployment#

GET /api/deployments/{owner}/{deployment}/health

SDK Python: client.deployments.health(owner, deployment)

Esegue il ping del deployment e restituisce il relativo stato di salute con la latenza misurata di andata e ritorno:

{
    "healthy": true,
    "status": 200,
    "latencyMs": 142
}

Una risposta che indica uno stato non integro omette status quando non è stato possibile raggiungere affatto l'endpoint e aggiunge un messaggio error.

Ottimizzazione delle prestazioni#

Usa i dati di monitoraggio per ottimizzare i tuoi deployment:

FAQ#