Training YOLO11 with ClearML: Streamlining Your MLOps Workflow

MLOps bridges the gap between creating and deploying machine learning models in real-world settings. It focuses on efficient deployment, scalability, and ongoing management to ensure models perform well in practical applications.

Ultralytics YOLO11 effortlessly integrates with ClearML, streamlining and enhancing your object detection model's training and management. This guide will walk you through the integration process, detailing how to set up ClearML, manage experiments, automate model management, and collaborate effectively.

ClearML

ClearML is an innovative open-source MLOps platform that is skillfully designed to automate, monitor, and orchestrate machine learning workflows. Its key features include automated logging of all training and inference data for full experiment reproducibility, an intuitive web UI for easy data visualization and analysis, advanced hyperparameter optimization algorithms, and robust model management for efficient deployment across various platforms.

YOLO11 Training with ClearML

You can bring automation and efficiency to your machine learning workflow by improving your training process by integrating YOLO11 with ClearML.

설치

필요한 패키지를 설치하려면 실행합니다:

# Install the required packages for YOLO11 and ClearML
pip install ultralytics clearml

For detailed instructions and best practices related to the installation process, be sure to check our YOLO11 Installation guide. While installing the required packages for YOLO11, if you encounter any difficulties, consult our Common Issues guide for solutions and tips.

구성 ClearML

필요한 패키지를 설치했으면 다음 단계는 ClearML SDK를 초기화하고 구성하는 것입니다. 여기에는 ClearML 계정을 설정하고 개발 환경과 ClearML 서버 간의 원활한 연결을 위해 필요한 자격 증명을 얻는 것이 포함됩니다.

사용 중인 환경에서 ClearML SDK를 초기화하여 시작합니다. 'clearml-init' 명령은 설정 프로세스를 시작하고 필요한 자격 증명을 입력하라는 메시지를 표시합니다.

# Initialize your ClearML SDK setup process
clearml-init

이 명령을 실행한 후 ClearML 설정 페이지로 이동합니다. 오른쪽 상단으로 이동하여 "설정"을 선택합니다. "워크스페이스" 섹션으로 이동하여 "새 자격증명 만들기"를 클릭합니다. "자격 증명 만들기" 팝업에 제공된 자격 증명을 사용하여 Jupyter Notebook에서 ClearML 을 구성하는지 또는 로컬 Python 환경인지에 따라 지시에 따라 설정을 완료합니다.

사용법

Before diving into the usage instructions, be sure to check out the range of YOLO11 models offered by Ultralytics. This will help you choose the most appropriate model for your project requirements.

from clearml import Task

from ultralytics import YOLO

# Step 1: Creating a ClearML Task
task = Task.init(project_name="my_project", task_name="my_yolov8_task")

# Step 2: Selecting the YOLO11 Model
model_variant = "yolo11n"
task.set_parameter("model_variant", model_variant)

# Step 3: Loading the YOLO11 Model
model = YOLO(f"{model_variant}.pt")

# Step 4: Setting Up Training Arguments
args = dict(data="coco8.yaml", epochs=16)
task.connect(args)

# Step 5: Initiating Model Training
results = model.train(**args)

강령 이해

위의 사용 코드 스니펫에 표시된 단계를 이해해 보겠습니다.

1단계: ClearML 작업 만들기: 프로젝트와 작업 이름을 지정하여 ClearML 에서 새 작업을 초기화합니다. 이 작업은 모델의 트레이닝을 추적하고 관리합니다.

Step 2: Selecting the YOLO11 Model: : The model_variant variable is set to 'yolo11n', one of the YOLO11 models. This variant is then logged in ClearML for tracking.

Step 3: Loading the YOLO11 Model: The selected YOLO11 model is loaded using Ultralytics' YOLO class, preparing it for training.

4단계: 교육 인수 설정: 데이터 세트와 같은 주요 훈련 인수(coco8.yaml) and the number of epochs (16)를 사전으로 정리하고 ClearML 작업에 연결합니다. 이를 통해 ClearML UI를 통해 추적하고 수정할 수 있습니다. 모델 트레이닝 프로세스와 모범 사례에 대한 자세한 내용은 다음을 참조하세요. YOLO11 Model Training guide.

5단계: 모델 교육 시작: 지정된 인수를 사용하여 모델 학습이 시작됩니다. 학습 과정의 결과는 학습 프로세스의 results 변수입니다.

출력 이해하기

위의 사용 코드 스니펫을 실행하면 다음과 같은 출력을 기대할 수 있습니다:

• 새 ClearML 작업이 생성되었음을 나타내는 확인 메시지와 함께 해당 작업의 고유 ID가 표시됩니다.
• 저장 중인 스크립트 코드에 대한 정보 메시지로, 코드 실행이 ClearML 에 의해 추적되고 있음을 나타냅니다.
• 교육 진행 상황을 모니터링하고 자세한 로그를 볼 수 있는 ClearML 결과 페이지로 연결되는 URL 링크입니다.
• Download progress for the YOLO11 model and the specified dataset, followed by a summary of the model architecture and training configuration.
• Initialization messages for various training components like TensorBoard, Automatic Mixed Precision (AMP), and dataset preparation.
• 마지막으로 훈련 프로세스가 시작되고 모델이 지정된 데이터 세트에 대해 훈련하면서 진행률이 업데이트됩니다. 학습 중에 사용되는 성능 메트릭에 대한 자세한 내용은 성능 메트릭에 대한 가이드를 참조하세요.

ClearML 결과 페이지 보기

사용 코드 조각 출력에서 ClearML 결과 페이지로 연결되는 URL 링크를 클릭하면 모델의 학습 과정에 대한 종합적인 보기에 액세스할 수 있습니다.

ClearML 결과 페이지의 주요 기능

• 실시간 지표 추적

  • Track critical metrics like loss, accuracy, and validation scores as they occur.
  • 적시에 모델 성능을 조정할 수 있도록 즉각적인 피드백을 제공합니다.

• 실험 비교

  • 다양한 트레이닝을 나란히 비교하세요.
  • Essential for hyperparameter tuning and identifying the most effective models.

• 상세 로그 및 출력

  • 종합적인 로그, 메트릭의 그래픽 표현 및 콘솔 출력에 액세스하세요.
  • 모델 동작 및 문제 해결에 대한 더 깊은 이해를 얻으세요.

• 리소스 사용률 모니터링

  • CPU, GPU, 메모리 등 컴퓨팅 리소스의 사용률을 모니터링합니다.
  • 교육 효율성과 비용을 최적화하는 핵심 요소입니다.

• 모델 아티팩트 관리

  • 학습된 모델 및 체크포인트와 같은 모델 아티팩트를 보고, 다운로드하고, 공유하세요.
  • Enhances collaboration and streamlines model deployment and sharing.

ClearML 결과 페이지가 어떻게 보이는지 시각적으로 살펴보려면 아래 동영상을 시청하세요:

Watch: YOLO11 MLOps Integration using ClearML

고급 기능 ClearML

ClearML 는 MLOps 경험을 향상시키는 몇 가지 고급 기능을 제공합니다.

원격 실행

ClearML의 원격 실행 기능을 사용하면 다른 컴퓨터에서 실험을 재현하고 조작할 수 있습니다. 설치된 패키지 및 커밋되지 않은 변경 사항과 같은 필수 세부 정보를 기록합니다. 작업이 대기열에 추가되면 ClearML 에이전트가 작업을 가져와 환경을 재현하고 실험을 실행하여 자세한 결과를 다시 보고합니다.

ClearML 에이전트를 배포하는 방법은 간단하며 다음 명령을 사용하여 다양한 시스템에서 수행할 수 있습니다:

clearml-agent daemon --queue <queues_to_listen_to> [--docker]

이 설정은 클라우드 가상 머신, 로컬 GPU 또는 노트북에 적용할 수 있습니다. ClearML 오토스케일러는 AWS, GCP, Azure 등의 플랫폼에서 클라우드 워크로드를 관리하여 에이전트 배포를 자동화하고 리소스 예산에 따라 리소스를 조정하는 데 도움을 줍니다.

복제, 편집 및 대기열 지정

ClearML의 사용자 친화적인 인터페이스를 통해 작업을 쉽게 복제, 편집, 대기열에 추가할 수 있습니다. 사용자는 기존 실험을 복제하고, UI를 통해 매개변수나 기타 세부 사항을 조정하고, 실행을 위해 작업을 대기열에 추가할 수 있습니다. 이 간소화된 프로세스는 작업을 실행하는 ClearML 에이전트가 업데이트된 구성을 사용하도록 보장하므로 반복적인 실험과 모델 미세 조정에 이상적입니다.

요약

This guide has led you through the process of integrating ClearML with Ultralytics' YOLO11. Covering everything from initial setup to advanced model management, you've discovered how to leverage ClearML for efficient training, experiment tracking, and workflow optimization in your machine learning projects.

사용법에 대한 자세한 내용은 ClearML 의 공식 문서를 참조하세요.

또한, 리소스와 인사이트의 보고인 Ultralytics 통합 가이드 페이지를 방문하여 Ultralytics 의 더 많은 통합과 기능을 살펴보세요.

자주 묻는 질문

What is the process for integrating Ultralytics YOLO11 with ClearML?

Integrating Ultralytics YOLO11 with ClearML involves a series of steps to streamline your MLOps workflow. First, install the necessary packages:

pip install ultralytics clearml

그런 다음 다음을 사용하여 사용 중인 환경에서 ClearML SDK를 초기화합니다:

clearml-init

You then configure ClearML with your credentials from the ClearML Settings page. Detailed instructions on the entire setup process, including model selection and training configurations, can be found in our YOLO11 Model Training guide.

Why should I use ClearML with Ultralytics YOLO11 for my machine learning projects?

Using ClearML with Ultralytics YOLO11 enhances your machine learning projects by automating experiment tracking, streamlining workflows, and enabling robust model management. ClearML offers real-time metrics tracking, resource utilization monitoring, and a user-friendly interface for comparing experiments. These features help optimize your model's performance and make the development process more efficient. Learn more about the benefits and procedures in our MLOps Integration guide.

How do I troubleshoot common issues during YOLO11 and ClearML integration?

If you encounter issues during the integration of YOLO11 with ClearML, consult our Common Issues guide for solutions and tips. Typical problems might involve package installation errors, credential setup, or configuration issues. This guide provides step-by-step troubleshooting instructions to resolve these common issues efficiently.

How do I set up the ClearML task for YOLO11 model training?

Setting up a ClearML task for YOLO11 training involves initializing a task, selecting the model variant, loading the model, setting up training arguments, and finally, starting the model training. Here's a simplified example:

from clearml import Task

from ultralytics import YOLO

# Step 1: Creating a ClearML Task
task = Task.init(project_name="my_project", task_name="my_yolov8_task")

# Step 2: Selecting the YOLO11 Model
model_variant = "yolo11n"
task.set_parameter("model_variant", model_variant)

# Step 3: Loading the YOLO11 Model
model = YOLO(f"{model_variant}.pt")

# Step 4: Setting Up Training Arguments
args = dict(data="coco8.yaml", epochs=16)
task.connect(args)

# Step 5: Initiating Model Training
results = model.train(**args)

이러한 단계에 대한 자세한 분석은 사용 가이드를 참조하세요.

Where can I view the results of my YOLO11 training in ClearML?

After running your YOLO11 training script with ClearML, you can view the results on the ClearML results page. The output will include a URL link to the ClearML dashboard, where you can track metrics, compare experiments, and monitor resource usage. For more details on how to view and interpret the results, check our section on Viewing the ClearML Results Page.

📅 Created 10 months ago ✏️ Updated 8 days ago

댓글