Training YOLO11 with ClearML: Streamlining Your MLOps Workflow
MLOps bridges the gap between creating and deploying machine learning models in real-world settings. It focuses on efficient deployment, scalability, and ongoing management to ensure models perform well in practical applications.
Ultralytics YOLO11 effortlessly integrates with ClearML, streamlining and enhancing your object detection model's training and management. This guide will walk you through the integration process, detailing how to set up ClearML, manage experiments, automate model management, and collaborate effectively.
ClearML
ClearML is an innovative open-source MLOps platform that is skillfully designed to automate, monitor, and orchestrate machine learning workflows. Its key features include automated logging of all training and inference data for full experiment reproducibility, an intuitive web UI for easy data visualization and analysis, advanced hyperparameter optimization algorithms, and robust model management for efficient deployment across various platforms.
YOLO11 Training with ClearML
You can bring automation and efficiency to your machine learning workflow by improving your training process by integrating YOLO11 with ClearML.
インストール
必要なパッケージをインストールするには
For detailed instructions and best practices related to the installation process, be sure to check our YOLO11 Installation guide. While installing the required packages for YOLO11, if you encounter any difficulties, consult our Common Issues guide for solutions and tips.
設定ClearML
必要なパッケージをインストールしたら、次はClearML SDK の初期化と設定を行います。これには、ClearML アカウントの設定と、開発環境とClearML サーバー間のシームレスな接続に必要な認証情報の取得が含まれます。
まず、 ClearML SDK を使用します。'clearml-init' コマンドを実行すると、セットアップ プロセスが開始され、必要な資格情報の入力が求められます。
このコマンドを実行した後、ClearML Settingsページにアクセスする。右上に移動し、"Settings "を選択する。Workspace" セクションに移動し、"Create new credentials" をクリックする。Jupyter Notebook またはローカルのPython 環境のどちらでClearML を設定するかに応じて、"Create Credentials" ポップアップで提供された資格情報を使用して、指示されたとおりに設定を完了する。
使用方法
Before diving into the usage instructions, be sure to check out the range of YOLO11 models offered by Ultralytics. This will help you choose the most appropriate model for your project requirements.
使用方法
from clearml import Task
from ultralytics import YOLO
# Step 1: Creating a ClearML Task
task = Task.init(project_name="my_project", task_name="my_yolov8_task")
# Step 2: Selecting the YOLO11 Model
model_variant = "yolo11n"
task.set_parameter("model_variant", model_variant)
# Step 3: Loading the YOLO11 Model
model = YOLO(f"{model_variant}.pt")
# Step 4: Setting Up Training Arguments
args = dict(data="coco8.yaml", epochs=16)
task.connect(args)
# Step 5: Initiating Model Training
results = model.train(**args)
コードを理解する
上記の使用コードスニペットで紹介されている手順を理解しましょう。
ステップ1：ClearML タスクの作成：プロジェクト名とタスク名を指定して、ClearML で新しいタスクを初期化する。このタスクはモデルのトレーニングを追跡・管理します。
Step 2: Selecting the YOLO11 Model:について model_variant variable is set to 'yolo11n', one of the YOLO11 models. This variant is then logged in ClearML for tracking.
Step 3: Loading the YOLO11 Model: The selected YOLO11 model is loaded using Ultralytics' YOLO class, preparing it for training.
ステップ4：トレーニングの論点を設定する:データセット (coco8.yaml) and the number of epochs (16)は辞書に整理され、ClearML タスクに接続される。これによって、ClearML UIを介した追跡と潜在的な修正が可能になる。モデルトレーニングプロセスとベストプラクティスの詳細については、我々の YOLO11 Model Training guide.
ステップ5：モデルトレーニングの開始:指定された引数でモデル学習を開始する。トレーニングの結果は results 変数である。
アウトプットを理解する
上記のコード・スニペットを実行すると、次のような出力が期待できる：
- 新しいClearML タスクの作成を示す確認メッセージと、その一意のID。
- コードの実行がClearML によって追跡されていることを示す、保存されているスクリプトコードに関する情報メッセージ。
- トレーニングの進捗状況を確認し、詳細なログを閲覧できるClearML 結果ページへのURLリンク。
- Download progress for the YOLO11 model and the specified dataset, followed by a summary of the model architecture and training configuration.
- Initialization messages for various training components like TensorBoard, Automatic Mixed Precision (AMP), and dataset preparation.
- 最後に、指定されたデータセット上でモデルが学習するにつれて進捗が更新され、学習プロセスが開始されます。トレーニング中に使用されるパフォーマンス・メトリクスの詳細については、パフォーマンス・メトリクスのガイドをお読みください。
ClearML 結果ページの表示
使用法コードスニペットの出力にあるClearML 結果ページへのURLリンクをクリックすると、モデルのトレーニングプロセスの包括的なビューにアクセスできます。
ClearML 結果ページの主な特徴
-
リアルタイム・メトリックス・トラッキング
- Track critical metrics like loss, accuracy, and validation scores as they occur.
- タイムリーなモデル性能調整のための即時フィードバックを提供します。
-
実験比較
- 異なるトレーニングを並べて比較する。
- Essential for hyperparameter tuning and identifying the most effective models.
-
詳細なログと出力
- 包括的なログ、メトリクスのグラフ表示、コンソール出力にアクセスできます。
- モデルの行動と問題解決について理解を深める。
-
資源利用モニタリング
- CPU 、GPU 、メモリなどの計算リソースの利用状況を監視する。
- トレーニングの効率とコストを最適化する鍵
-
モデル成果物管理
- 学習済みモデルやチェックポイントなどのモデル成果物を表示、ダウンロード、共有できます。
- Enhances collaboration and streamlines model deployment and sharing.
ClearML 結果ページがどのようなものか、視覚的なウォークスルーは以下のビデオをご覧ください：
見るんだ： YOLO11 MLOps Integration using ClearML
の高度な機能ClearML
ClearML には、MLOpsの経験を向上させるいくつかの高度な機能があります。
リモート実行
ClearMLのリモート実行機能は、異なるマシン上での実験の再現と操作を容易にする。インストールされたパッケージやコミットされていない変更のような重要な詳細をログに記録する。タスクがエンキューされると、ClearML エージェントがそれをプルし、環境を再作成して実験を実行し、詳細な結果を報告する。
ClearML エージェントのデプロイは簡単で、以下のコマンドを使用してさまざまなマシンで実行できる：
この設定は、クラウドVM、ローカルGPU、またはラップトップに適用できます。ClearML オートスケーラは、AWS、GCP、Azureなどのプラットフォーム上のクラウドワークロードの管理を支援し、エージェントのデプロイを自動化し、リソース予算に基づいてリソースを調整します。
クローン、編集、エンキュー
ClearMLのユーザーフレンドリーなインターフェースにより、タスクのクローン作成、編集、キューイングが簡単に行える。ユーザーは既存の実験のクローンを作成し、UIからパラメータやその他の詳細を調整し、タスクの実行を開始することができます。この合理化されたプロセスにより、タスクを実行するClearML エージェントが更新された設定を使用することが保証され、反復的な実験とモデルの微調整に理想的です。
概要
This guide has led you through the process of integrating ClearML with Ultralytics' YOLO11. Covering everything from initial setup to advanced model management, you've discovered how to leverage ClearML for efficient training, experiment tracking, and workflow optimization in your machine learning projects.
使い方の詳細については、ClearML の公式ドキュメントをご覧ください。
さらに、Ultralytics の統合ガイドページでは、Ultralytics のその他の統合や機能について調べることができます。このページは、リソースや見識の宝庫です。
よくあるご質問
What is the process for integrating Ultralytics YOLO11 with ClearML?
Integrating Ultralytics YOLO11 with ClearML involves a series of steps to streamline your MLOps workflow. First, install the necessary packages:
次に、ClearML SDKをお使いの環境で初期化します：
You then configure ClearML with your credentials from the ClearML Settings page. Detailed instructions on the entire setup process, including model selection and training configurations, can be found in our YOLO11 Model Training guide.
Why should I use ClearML with Ultralytics YOLO11 for my machine learning projects?
Using ClearML with Ultralytics YOLO11 enhances your machine learning projects by automating experiment tracking, streamlining workflows, and enabling robust model management. ClearML offers real-time metrics tracking, resource utilization monitoring, and a user-friendly interface for comparing experiments. These features help optimize your model's performance and make the development process more efficient. Learn more about the benefits and procedures in our MLOps Integration guide.
How do I troubleshoot common issues during YOLO11 and ClearML integration?
If you encounter issues during the integration of YOLO11 with ClearML, consult our Common Issues guide for solutions and tips. Typical problems might involve package installation errors, credential setup, or configuration issues. This guide provides step-by-step troubleshooting instructions to resolve these common issues efficiently.
How do I set up the ClearML task for YOLO11 model training?
Setting up a ClearML task for YOLO11 training involves initializing a task, selecting the model variant, loading the model, setting up training arguments, and finally, starting the model training. Here's a simplified example:
from clearml import Task
from ultralytics import YOLO
# Step 1: Creating a ClearML Task
task = Task.init(project_name="my_project", task_name="my_yolov8_task")
# Step 2: Selecting the YOLO11 Model
model_variant = "yolo11n"
task.set_parameter("model_variant", model_variant)
# Step 3: Loading the YOLO11 Model
model = YOLO(f"{model_variant}.pt")
# Step 4: Setting Up Training Arguments
args = dict(data="coco8.yaml", epochs=16)
task.connect(args)
# Step 5: Initiating Model Training
results = model.train(**args)
これらの手順の詳細については、利用ガイドを参照してください。
Where can I view the results of my YOLO11 training in ClearML?
After running your YOLO11 training script with ClearML, you can view the results on the ClearML results page. The output will include a URL link to the ClearML dashboard, where you can track metrics, compare experiments, and monitor resource usage. For more details on how to view and interpret the results, check our section on Viewing the ClearML Results Page.
