Skip to content

Training YOLO11 with ClearML: Streamlining Your MLOps Workflow

MLOps bridges the gap between creating and deploying machine learning models in real-world settings. It focuses on efficient deployment, scalability, and ongoing management to ensure models perform well in practical applications.

Ultralytics YOLO11 effortlessly integrates with ClearML, streamlining and enhancing your object detection model's training and management. This guide will walk you through the integration process, detailing how to set up ClearML, manage experiments, automate model management, and collaborate effectively.

ClearML

ClearML Vue d'ensemble

ClearML is an innovative open-source MLOps platform that is skillfully designed to automate, monitor, and orchestrate machine learning workflows. Its key features include automated logging of all training and inference data for full experiment reproducibility, an intuitive web UI for easy data visualization and analysis, advanced hyperparameter optimization algorithms, and robust model management for efficient deployment across various platforms.

YOLO11 Training with ClearML

You can bring automation and efficiency to your machine learning workflow by improving your training process by integrating YOLO11 with ClearML.

Installation

Pour installer les paquets nécessaires, exécute :

Installation

# Install the required packages for YOLO11 and ClearML
pip install ultralytics clearml

For detailed instructions and best practices related to the installation process, be sure to check our YOLO11 Installation guide. While installing the required packages for YOLO11, if you encounter any difficulties, consult our Common Issues guide for solutions and tips.

Configurer ClearML

Une fois que tu as installé les paquets nécessaires, l'étape suivante consiste à initialiser et à configurer ton ClearML SDK. Cela implique de configurer ton compte ClearML et d'obtenir les informations d'identification nécessaires pour une connexion transparente entre ton environnement de développement et le serveur ClearML .

Commencez par initialiser le ClearML SDK dans votre environnement. Le 'clearml-init' démarre le processus d’installation et vous invite à entrer les informations d’identification nécessaires.

Configuration initiale du SDK

# Initialize your ClearML SDK setup process
clearml-init

Après avoir exécuté cette commande, visite la pageClearML Settings. Navigue dans le coin supérieur droit et sélectionne "Paramètres". Va dans la section "Espace de travail" et clique sur "Créer de nouvelles informations d'identification". Utilise les informations d'identification fournies dans la fenêtre contextuelle "Create Credentials" pour terminer la configuration selon les instructions, selon que tu configures ClearML dans un Jupyter Notebook ou dans un environnement local Python .

Utilisation

Before diving into the usage instructions, be sure to check out the range of YOLO11 models offered by Ultralytics. This will help you choose the most appropriate model for your project requirements.

Utilisation

from clearml import Task

from ultralytics import YOLO

# Step 1: Creating a ClearML Task
task = Task.init(project_name="my_project", task_name="my_yolov8_task")

# Step 2: Selecting the YOLO11 Model
model_variant = "yolo11n"
task.set_parameter("model_variant", model_variant)

# Step 3: Loading the YOLO11 Model
model = YOLO(f"{model_variant}.pt")

# Step 4: Setting Up Training Arguments
args = dict(data="coco8.yaml", epochs=16)
task.connect(args)

# Step 5: Initiating Model Training
results = model.train(**args)

Comprendre le code

Comprenons les étapes présentées dans l’extrait de code d’utilisation ci-dessus.

Étape 1 : Création d'une tâche ClearML : Une nouvelle tâche est initialisée dans ClearML, en spécifiant les noms de ton projet et de ta tâche. Cette tâche suivra et gérera l'entraînement de ton modèle.

Step 2: Selecting the YOLO11 Model: Le model_variant variable is set to 'yolo11n', one of the YOLO11 models. This variant is then logged in ClearML for tracking.

Step 3: Loading the YOLO11 Model: The selected YOLO11 model is loaded using Ultralytics' YOLO class, preparing it for training.

Étape 4 : Mise en place d'arguments de formation: Les arguments clés de l'entraînement comme l'ensemble de données (coco8.yaml) and the number of epochs (16) sont organisées dans un dictionnaire et reliées à la tâche ClearML . Cela permet un suivi et une modification potentielle via l'interface utilisateur ClearML . Pour une compréhension détaillée du processus de formation des modèles et des meilleures pratiques, reporte-toi à notre site Web. YOLO11 Model Training guide.

Étape 5 : Initier la formation au modèle: La formation du modèle est lancée avec les arguments spécifiés. Les résultats du processus de formation sont capturés dans le fichier results variable.

Comprendre les résultats

En exécutant l'extrait de code d'utilisation ci-dessus, tu peux t'attendre à obtenir le résultat suivant :

  • Un message de confirmation indiquant la crĂ©ation d'une nouvelle tâche ClearML , ainsi que son identifiant unique.
  • Un message d'information sur le code du script stockĂ©, indiquant que l'exĂ©cution du code est suivie par ClearML.
  • Un lien URL vers la page de rĂ©sultats ClearML oĂą tu peux suivre la progression de l'entraĂ®nement et consulter des journaux dĂ©taillĂ©s.
  • Download progress for the YOLO11 model and the specified dataset, followed by a summary of the model architecture and training configuration.
  • Initialization messages for various training components like TensorBoard, Automatic Mixed Precision (AMP), and dataset preparation.
  • Enfin, le processus de formation commence, avec des mises Ă  jour de la progression au fur et Ă  mesure que le modèle s'entraĂ®ne sur l'ensemble de donnĂ©es spĂ©cifiĂ©. Pour une comprĂ©hension approfondie des mesures de performance utilisĂ©es pendant la formation, lis notre guide sur les mesures de performance.

Affichage de la page de résultats ClearML

En cliquant sur le lien URL vers la page de résultats ClearML dans la sortie de l'extrait de code d'utilisation, tu peux accéder à une vue d'ensemble du processus de formation de ton modèle.

Principales caractéristiques de la page de résultats ClearML

  • Suivi des mesures en temps rĂ©el

    • Track critical metrics like loss, accuracy, and validation scores as they occur.
    • Fournit un retour d'information immĂ©diat permettant d'ajuster les performances du modèle en temps voulu.
  • Comparaison des expĂ©riences

    • Compare diffĂ©rentes sĂ©ries d'entraĂ®nement cĂ´te Ă  cĂ´te.
    • Essential for hyperparameter tuning and identifying the most effective models.
  • Journaux et sorties dĂ©taillĂ©s

    • Accède Ă  des journaux complets, Ă  des reprĂ©sentations graphiques des mesures et Ă  des sorties de console.
    • Comprends mieux le comportement des modèles et la rĂ©solution des problèmes.
  • Surveillance de l'utilisation des ressources

    • Surveille l'utilisation des ressources informatiques, notamment CPU, GPU, et la mĂ©moire.
    • La clĂ© pour optimiser l'efficacitĂ© et les coĂ»ts de la formation.
  • Gestion des artefacts du modèle

    • Visualise, tĂ©lĂ©charge et partage les artefacts du modèle comme les modèles formĂ©s et les points de contrĂ´le.
    • Enhances collaboration and streamlines model deployment and sharing.

Pour une démonstration visuelle de ce à quoi ressemble la page de résultats ClearML , regarde la vidéo ci-dessous :



Regarde : YOLO11 MLOps Integration using ClearML

Fonctions avancées dans ClearML

ClearML offre plusieurs fonctions avancées pour améliorer ton expérience de MLOps.

Exécution à distance

ClearMLLa fonction d'exécution à distance du logiciel facilite la reproduction et la manipulation d'expériences sur différentes machines. Elle enregistre des détails essentiels tels que les paquets installés et les changements non validés. Lorsqu'une tâche est mise en file d'attente, l'agent ClearML l'extrait, recrée l'environnement et exécute l'expérience, en communiquant des résultats détaillés.

Le déploiement d'un agent ClearML est simple et peut être effectué sur différentes machines à l'aide de la commande suivante :

clearml-agent daemon --queue <queues_to_listen_to> [--docker]

Cette configuration est applicable aux VM du cloud, aux GPU locaux ou aux ordinateurs portables. ClearML Les autoscalers aident à gérer les charges de travail dans le cloud sur des plateformes comme AWS, GCP et Azure, en automatisant le déploiement des agents et en ajustant les ressources en fonction de ton budget de ressources.

Clonage, Ă©dition et mise en file d'attente

ClearMLL'interface conviviale du logiciel permet de cloner, d'éditer et de mettre en file d'attente les tâches. Les utilisateurs peuvent cloner une expérience existante, ajuster les paramètres ou d'autres détails par le biais de l'interface utilisateur, et mettre la tâche en file d'attente pour exécution. Ce processus rationalisé garantit que l'agent ClearML qui exécute la tâche utilise des configurations mises à jour, ce qui en fait un outil idéal pour l'expérimentation itérative et la mise au point du modèle.


Clonage, Ă©dition et mise en file d'attente avec ClearML

Résumé

This guide has led you through the process of integrating ClearML with Ultralytics' YOLO11. Covering everything from initial setup to advanced model management, you've discovered how to leverage ClearML for efficient training, experiment tracking, and workflow optimization in your machine learning projects.

Pour plus de détails sur l'utilisation, consulte la documentation officielle deClearML.

De plus, explore d'autres intégrations et capacités de Ultralytics en visitant la page du guide d'intégration deUltralytics , qui est une mine de ressources et d'informations.

FAQ

What is the process for integrating Ultralytics YOLO11 with ClearML?

Integrating Ultralytics YOLO11 with ClearML involves a series of steps to streamline your MLOps workflow. First, install the necessary packages:

pip install ultralytics clearml

Ensuite, initialise le SDK ClearML dans ton environnement en utilisant :

clearml-init

You then configure ClearML with your credentials from the ClearML Settings page. Detailed instructions on the entire setup process, including model selection and training configurations, can be found in our YOLO11 Model Training guide.

Why should I use ClearML with Ultralytics YOLO11 for my machine learning projects?

Using ClearML with Ultralytics YOLO11 enhances your machine learning projects by automating experiment tracking, streamlining workflows, and enabling robust model management. ClearML offers real-time metrics tracking, resource utilization monitoring, and a user-friendly interface for comparing experiments. These features help optimize your model's performance and make the development process more efficient. Learn more about the benefits and procedures in our MLOps Integration guide.

How do I troubleshoot common issues during YOLO11 and ClearML integration?

If you encounter issues during the integration of YOLO11 with ClearML, consult our Common Issues guide for solutions and tips. Typical problems might involve package installation errors, credential setup, or configuration issues. This guide provides step-by-step troubleshooting instructions to resolve these common issues efficiently.

How do I set up the ClearML task for YOLO11 model training?

Setting up a ClearML task for YOLO11 training involves initializing a task, selecting the model variant, loading the model, setting up training arguments, and finally, starting the model training. Here's a simplified example:

from clearml import Task

from ultralytics import YOLO

# Step 1: Creating a ClearML Task
task = Task.init(project_name="my_project", task_name="my_yolov8_task")

# Step 2: Selecting the YOLO11 Model
model_variant = "yolo11n"
task.set_parameter("model_variant", model_variant)

# Step 3: Loading the YOLO11 Model
model = YOLO(f"{model_variant}.pt")

# Step 4: Setting Up Training Arguments
args = dict(data="coco8.yaml", epochs=16)
task.connect(args)

# Step 5: Initiating Model Training
results = model.train(**args)

Reporte-toi à notre guide d'utilisation pour connaître le détail de ces étapes.

Where can I view the results of my YOLO11 training in ClearML?

After running your YOLO11 training script with ClearML, you can view the results on the ClearML results page. The output will include a URL link to the ClearML dashboard, where you can track metrics, compare experiments, and monitor resource usage. For more details on how to view and interpret the results, check our section on Viewing the ClearML Results Page.


📅 Created 10 months ago ✏️ Updated 11 days ago

Commentaires