Formazione YOLO11 con ClearML: semplificare il flusso di lavoro MLOps
MLOps colma il divario tra la creazione e la distribuzione di modelli di apprendimento automatico in contesti reali. Si concentra sulla distribuzione efficiente, sulla scalabilità e sulla gestione continua per garantire che i modelli funzionino bene nelle applicazioni pratiche.
Ultralytics YOLO11 si integra facilmente con ClearML, semplificando e migliorando la formazione e la gestione del modello di rilevamento degli oggetti. Questa guida vi guiderà attraverso il processo di integrazione, spiegandovi come impostare ClearML, gestire gli esperimenti, automatizzare la gestione dei modelli e collaborare in modo efficace.
ClearML
ClearML è un'innovativa piattaforma MLOps open-source, sapientemente progettata per automatizzare, monitorare e orchestrare i flussi di lavoro di apprendimento automatico. Le sue caratteristiche principali includono la registrazione automatica di tutti i dati di addestramento e di inferenza per la piena riproducibilità degli esperimenti, un'interfaccia web intuitiva per una facile visualizzazione e analisi dei dati, algoritmi avanzati di ottimizzazione degli iperparametri e una solida gestione dei modelli per un'efficiente distribuzione su varie piattaforme.
YOLO11 Formazione con ClearML
È possibile automatizzare e rendere più efficiente il flusso di lavoro dell'apprendimento automatico, migliorando il processo di formazione grazie all'integrazione di YOLO11 con ClearML.
Installazione
Per installare i pacchetti richiesti, eseguire:
Installazione
Per istruzioni dettagliate e buone pratiche relative al processo di installazione, consultare la nostra guida all'installazione diYOLO11 . Durante l'installazione dei pacchetti necessari per YOLO11, se si incontrano difficoltà, consultare la nostra guida ai problemi comuni per trovare soluzioni e suggerimenti.
Configurazione ClearML
Una volta installati i pacchetti necessari, il passo successivo è quello di inizializzare e configurare l'SDK ClearML . Questo comporta la configurazione dell'account ClearML e l'ottenimento delle credenziali necessarie per una connessione perfetta tra l'ambiente di sviluppo e il server ClearML .
Iniziate inizializzando l'SDK ClearML nel vostro ambiente. Il comando 'clearml-init' avvia il processo di configurazione e richiede le credenziali necessarie.
Dopo aver eseguito questo comando, visitare la pagina delle impostazioni diClearML . Spostarsi nell'angolo in alto a destra e selezionare "Impostazioni". Andare alla sezione "Spazio di lavoro" e fare clic su "Crea nuove credenziali". Utilizzare le credenziali fornite nel pop-up "Create Credentials" per completare la configurazione come indicato, a seconda che si stia configurando ClearML in un Jupyter Notebook o in un ambiente Python locale.
Utilizzo
Prima di immergersi nelle istruzioni per l'uso, assicuratevi di controllare la gamma di modelliYOLO11 offerti da Ultralytics. Questo vi aiuterà a scegliere il modello più adatto alle esigenze del vostro progetto.
Utilizzo
from clearml import Task
from ultralytics import YOLO
# Step 1: Creating a ClearML Task
task = Task.init(project_name="my_project", task_name="my_yolov8_task")
# Step 2: Selecting the YOLO11 Model
model_variant = "yolo11n"
task.set_parameter("model_variant", model_variant)
# Step 3: Loading the YOLO11 Model
model = YOLO(f"{model_variant}.pt")
# Step 4: Setting Up Training Arguments
args = dict(data="coco8.yaml", epochs=16)
task.connect(args)
# Step 5: Initiating Model Training
results = model.train(**args)
Comprendere il codice
Cerchiamo di capire i passaggi illustrati nel frammento di codice d'uso qui sopra.
Passo 1: Creazione di un'attività ClearML : Si inizializza un nuovo task in ClearML, specificando i nomi del progetto e del task. Questo task terrà traccia e gestirà l'addestramento del modello.
Fase 2: Selezione del modello YOLO11: Il model_variant è impostata su "yolo11n", uno dei modelli YOLO11 . Questa variante viene quindi registrata in ClearML per il tracciamento.
Fase 3: Caricamento del modello YOLO11 : Il modello YOLO11 selezionato viene caricato utilizzando le classi Ultralytics'YOLO , preparandolo per l'addestramento.
Fase 4: Impostazione degli argomenti di formazione: Argomenti chiave per l'addestramento come il set di dati (coco8.yaml) e il numero di epoche (16) sono organizzati in un dizionario e collegati al task ClearML . Ciò consente di tenere traccia e di apportare eventuali modifiche tramite l'interfaccia utente di ClearML . Per una comprensione dettagliata del processo di addestramento del modello e delle migliori pratiche, consultare il nostro sito YOLO11 Modello Guida alla formazione.
Fase 5: avvio della formazione del modello: L'addestramento del modello viene avviato con gli argomenti specificati. I risultati del processo di addestramento vengono acquisiti nel file results variabile.
Comprendere l'output
Eseguendo lo snippet di codice di cui sopra, si ottiene il seguente risultato:
- Un messaggio di conferma che indica la creazione di un nuovo task ClearML , insieme al suo ID univoco.
- Un messaggio informativo sul codice di script memorizzato, che indica che l'esecuzione del codice è tracciata da ClearML.
- Un link URL alla pagina dei risultati di ClearML , dove è possibile monitorare i progressi dell'allenamento e visualizzare i registri dettagliati.
- Download dei progressi del modello YOLO11 e del dataset specificato, seguito da un riepilogo dell'architettura del modello e della configurazione dell'addestramento.
- Messaggi di inizializzazione per vari componenti di addestramento, come TensorBoard, Automatic Mixed Precision (AMP) e preparazione del set di dati.
- Infine, si avvia il processo di addestramento, con aggiornamenti sui progressi man mano che il modello si addestra sul set di dati specificato. Per una comprensione approfondita delle metriche di prestazione utilizzate durante l'addestramento, leggete la nostra guida sulle metriche di prestazione.
Visualizzazione della pagina dei risultati di ClearML
Facendo clic sul collegamento URL alla pagina dei risultati di ClearML nell'output dello snippet di codice d'uso, si può accedere a una visione completa del processo di addestramento del modello.
Caratteristiche principali della pagina dei risultati di ClearML
-
Monitoraggio delle metriche in tempo reale
- Tracciate le metriche critiche come la perdita, l'accuratezza e i punteggi di convalida man mano che si verificano.
- Fornisce un feedback immediato per regolare tempestivamente le prestazioni del modello.
-
Esperimento a confronto
- Confrontate diversi allenamenti uno accanto all'altro.
- Essenziale per la regolazione degli iperparametri e l'identificazione dei modelli più efficaci.
-
Log e output dettagliati
- Accedere a registri completi, rappresentazioni grafiche delle metriche e output della console.
- Acquisire una comprensione più approfondita del comportamento dei modelli e della risoluzione dei problemi.
-
Monitoraggio dell'utilizzo delle risorse
- Monitorare l'utilizzo delle risorse di calcolo, tra cui CPU, GPU e la memoria.
- La chiave per ottimizzare l'efficienza e i costi della formazione.
-
Gestione degli artefatti del modello
- Visualizzare, scaricare e condividere gli artefatti del modello, come i modelli addestrati e i checkpoint.
- Migliora la collaborazione e semplifica la distribuzione e la condivisione dei modelli.
Per una descrizione visiva dell'aspetto della pagina dei risultati di ClearML , guardate il video qui sotto:
Guarda: YOLO11 Integrazione MLOps con ClearML
Funzioni avanzate in ClearML
ClearML offre diverse funzioni avanzate per migliorare la vostra esperienza MLOps.
Esecuzione remota
ClearMLLa funzione di esecuzione remota facilita la riproduzione e la manipolazione di esperimenti su macchine diverse. Registra dettagli essenziali come i pacchetti installati e le modifiche non impegnate. Quando viene richiesto un task, l'agente ClearML lo preleva, ricrea l'ambiente ed esegue l'esperimento, riportando i risultati dettagliati.
La distribuzione di un agente ClearML è semplice e può essere eseguita su vari computer utilizzando il seguente comando:
Questa configurazione è applicabile a macchine virtuali nel cloud, GPU locali o laptop. ClearML Gli autoscaler aiutano a gestire i carichi di lavoro del cloud su piattaforme come AWS, GCP e Azure, automatizzando la distribuzione degli agenti e regolando le risorse in base al budget delle risorse.
Clonazione, modifica e inserimento in lista
ClearMLL'interfaccia di facile utilizzo consente di clonare, modificare e mettere in attesa i task con facilità. Gli utenti possono clonare un esperimento esistente, regolare i parametri o altri dettagli attraverso l'interfaccia utente e mettere in coda il task per l'esecuzione. Questo processo semplificato garantisce che l'agente ClearML che esegue il task utilizzi configurazioni aggiornate, rendendolo ideale per la sperimentazione iterativa e la messa a punto del modello.
Sintesi
Questa guida vi ha guidato attraverso il processo di integrazione di ClearML con Ultralytics'YOLO11. Dalla configurazione iniziale alla gestione avanzata dei modelli, abbiamo scoperto come sfruttare ClearML per un addestramento efficiente, il tracciamento degli esperimenti e l'ottimizzazione del flusso di lavoro nei progetti di apprendimento automatico.
Per ulteriori dettagli sull'uso, visitate la documentazione ufficiale diClearML.
Inoltre, è possibile esplorare altre integrazioni e funzionalità di Ultralytics visitando la pagina della guida all'integrazione diUltralytics , che è un tesoro di risorse e approfondimenti.
FAQ
Qual è il processo di integrazione di Ultralytics YOLO11 con ClearML?
L'integrazione di Ultralytics YOLO11 con ClearML comporta una serie di passaggi per ottimizzare il flusso di lavoro di MLOps. Innanzitutto, installate i pacchetti necessari:
Quindi, inizializzare l'SDK ClearML nel proprio ambiente utilizzando:
Si può quindi configurare ClearML con le proprie credenziali dalla pagina delle impostazioni diClearML . Per istruzioni dettagliate sull'intero processo di configurazione, compresa la selezione del modello e le configurazioni di addestramento, consultare la guidaYOLO11 Model Training.
Perché dovrei usare ClearML con Ultralytics YOLO11 per i miei progetti di apprendimento automatico?
L'uso di ClearML con Ultralytics YOLO11 migliora i progetti di apprendimento automatico automatizzando il tracciamento degli esperimenti, semplificando i flussi di lavoro e consentendo una solida gestione dei modelli. ClearML offre il tracciamento delle metriche in tempo reale, il monitoraggio dell'utilizzo delle risorse e un'interfaccia intuitiva per il confronto degli esperimenti. Queste funzioni aiutano a ottimizzare le prestazioni del modello e a rendere più efficiente il processo di sviluppo. Per saperne di più sui vantaggi e sulle procedure, consultate la nostra guida all'integrazione di MLOps.
Come si risolvono i problemi più comuni durante l'integrazione di YOLO11 e ClearML ?
Se si riscontrano problemi durante l'integrazione di YOLO11 con ClearML, consultare la nostra guida ai problemi comuni per trovare soluzioni e suggerimenti. I problemi tipici possono riguardare errori di installazione dei pacchetti, impostazione delle credenziali o problemi di configurazione. Questa guida fornisce istruzioni passo passo per la risoluzione dei problemi per risolvere efficacemente questi problemi comuni.
Come si imposta il task ClearML per l'addestramento del modello YOLO11 ?
L'impostazione di un task ClearML per l'addestramento di YOLO11 comporta l'inizializzazione di un task, la selezione della variante del modello, il caricamento del modello, l'impostazione degli argomenti di addestramento e infine l'avvio dell'addestramento del modello. Ecco un esempio semplificato:
from clearml import Task
from ultralytics import YOLO
# Step 1: Creating a ClearML Task
task = Task.init(project_name="my_project", task_name="my_yolov8_task")
# Step 2: Selecting the YOLO11 Model
model_variant = "yolo11n"
task.set_parameter("model_variant", model_variant)
# Step 3: Loading the YOLO11 Model
model = YOLO(f"{model_variant}.pt")
# Step 4: Setting Up Training Arguments
args = dict(data="coco8.yaml", epochs=16)
task.connect(args)
# Step 5: Initiating Model Training
results = model.train(**args)
Per una descrizione dettagliata di questi passaggi, consultare la nostra Guida all'uso.
Dove posso vedere i risultati della mia formazione su YOLO11 in ClearML?
Dopo aver eseguito lo script di addestramento YOLO11 con ClearML, è possibile visualizzare i risultati nella pagina dei risultati di ClearML . L'output includerà un link URL alla dashboard di ClearML , dove è possibile tracciare le metriche, confrontare gli esperimenti e monitorare l'utilizzo delle risorse. Per maggiori dettagli su come visualizzare e interpretare i risultati, consultare la sezione Visualizzazione della pagina dei risultati di ClearML .
