교육 YOLOv8 와 ClearML: MLOps 워크플로 간소화하기

MLOps는 실제 환경에서 머신 러닝 모델을 생성하고 배포하는 것 사이의 간극을 메워줍니다. 효율적인 배포, 확장성, 지속적인 관리에 중점을 두어 실제 애플리케이션에서 모델이 잘 작동하도록 보장합니다.

Ultralytics YOLOv8 와 손쉽게 통합할 수 있는 ClearML, 객체 감지 모델의 훈련 및 관리를 간소화하고 향상시킵니다. 이 가이드에서는 ClearML 설정, 실험 관리, 모델 관리 자동화, 효과적인 협업 방법을 자세히 설명하는 통합 프로세스를 안내합니다.

ClearML

ClearML 는 머신 러닝 워크플로우를 자동화, 모니터링 및 오케스트레이션하도록 능숙하게 설계된 혁신적인 오픈 소스 MLOps 플랫폼입니다. 주요 기능으로는 완전한 실험 재현성을 위한 모든 훈련 및 추론 데이터의 자동화된 로깅, 간편한 데이터 시각화 및 분석을 위한 직관적인 웹 UI, 고급 하이퍼파라미터 최적화 알고리즘, 다양한 플랫폼에 효율적으로 배포할 수 있는 강력한 모델 관리가 있습니다.

YOLOv8 교육 대상 ClearML

YOLOv8 과 ClearML 을 통합하여 트레이닝 프로세스를 개선함으로써 머신러닝 워크플로우에 자동화 및 효율성을 제공할 수 있습니다.

설치

필요한 패키지를 설치하려면 실행합니다:

# Install the required packages for YOLOv8 and ClearML
pip install ultralytics clearml

설치 과정과 관련된 자세한 지침과 모범 사례는 YOLOv8 설치 가이드를 확인하세요. YOLOv8 에 필요한 패키지를 설치하는 동안 문제가 발생하면 일반적인 문제 가이드를 참조하여 해결 방법과 팁을 확인하세요.

구성 ClearML

필요한 패키지를 설치했으면 다음 단계는 ClearML SDK를 초기화하고 구성하는 것입니다. 여기에는 ClearML 계정을 설정하고 개발 환경과 ClearML 서버 간의 원활한 연결을 위해 필요한 자격 증명을 얻는 것이 포함됩니다.

사용 중인 환경에서 ClearML SDK를 초기화하여 시작합니다. 'clearml-init' 명령은 설정 프로세스를 시작하고 필요한 자격 증명을 입력하라는 메시지를 표시합니다.

# Initialize your ClearML SDK setup process
clearml-init

이 명령을 실행한 후 ClearML 설정 페이지로 이동합니다. 오른쪽 상단으로 이동하여 "설정"을 선택합니다. "워크스페이스" 섹션으로 이동하여 "새 자격증명 만들기"를 클릭합니다. "자격 증명 만들기" 팝업에 제공된 자격 증명을 사용하여 Jupyter Notebook에서 ClearML 을 구성하는지 또는 로컬 Python 환경인지에 따라 지시에 따라 설정을 완료합니다.

사용법

사용 지침을 살펴보기 전에 Ultralytics 에서 제공하는 다양한 YOLOv8 모델을 확인하세요. 프로젝트 요구 사항에 가장 적합한 모델을 선택하는 데 도움이 될 것입니다.

from clearml import Task
from ultralytics import YOLO

# Step 1: Creating a ClearML Task
task = Task.init(project_name="my_project", task_name="my_yolov8_task")

# Step 2: Selecting the YOLOv8 Model
model_variant = "yolov8n"
task.set_parameter("model_variant", model_variant)

# Step 3: Loading the YOLOv8 Model
model = YOLO(f"{model_variant}.pt")

# Step 4: Setting Up Training Arguments
args = dict(data="coco8.yaml", epochs=16)
task.connect(args)

# Step 5: Initiating Model Training
results = model.train(**args)

강령 이해

위의 사용 코드 스니펫에 표시된 단계를 이해해 보겠습니다.

1단계: ClearML 작업 만들기: 프로젝트와 작업 이름을 지정하여 ClearML 에서 새 작업을 초기화합니다. 이 작업은 모델의 트레이닝을 추적하고 관리합니다.

2단계: YOLOv8 모델 선택: : The model_variant 변수를 YOLOv8 모델 중 하나인 'yolov8n'로 설정합니다. 그런 다음 이 변형을 추적하기 위해 ClearML 에 로그인합니다.

3단계: YOLOv8 모델 로드하기: 선택한 YOLOv8 모델을 Ultralytics' YOLO 클래스를 사용하여 로드하여 교육용으로 준비합니다.

4단계: 교육 인수 설정: 데이터 세트와 같은 주요 훈련 인수(coco8.yaml) 및 에포크 수(16)를 사전으로 정리하여 ClearML 작업에 연결합니다. 이를 통해 ClearML UI를 통해 추적하고 수정할 수 있습니다. 모델 트레이닝 프로세스와 모범 사례에 대한 자세한 내용은 다음을 참조하세요. YOLOv8 모델 교육 가이드.

5단계: 모델 교육 시작: 지정된 인수를 사용하여 모델 학습이 시작됩니다. 학습 과정의 결과는 학습 프로세스의 results 변수입니다.

출력 이해하기

위의 사용 코드 스니펫을 실행하면 다음과 같은 출력을 기대할 수 있습니다:

• 새 ClearML 작업이 생성되었음을 나타내는 확인 메시지와 함께 해당 작업의 고유 ID가 표시됩니다.
• 저장 중인 스크립트 코드에 대한 정보 메시지로, 코드 실행이 ClearML 에 의해 추적되고 있음을 나타냅니다.
• 교육 진행 상황을 모니터링하고 자세한 로그를 볼 수 있는 ClearML 결과 페이지로 연결되는 URL 링크입니다.
• YOLOv8 모델 및 지정된 데이터 세트에 대한 진행 상황과 모델 아키텍처 및 학습 구성에 대한 요약을 다운로드합니다.
• 텐서보드, AMP(자동 혼합 정밀도), 데이터 세트 준비와 같은 다양한 학습 구성 요소에 대한 초기화 메시지입니다.
• 마지막으로 훈련 프로세스가 시작되고 모델이 지정된 데이터 세트에 대해 훈련하면서 진행률이 업데이트됩니다. 학습 중에 사용되는 성능 메트릭에 대한 자세한 내용은 성능 메트릭에 대한 가이드를 참조하세요.

ClearML 결과 페이지 보기

사용 코드 조각 출력에서 ClearML 결과 페이지로 연결되는 URL 링크를 클릭하면 모델의 학습 과정에 대한 종합적인 보기에 액세스할 수 있습니다.

ClearML 결과 페이지의 주요 기능

• 실시간 지표 추적

  • 손실, 정확도, 유효성 검사 점수와 같은 중요한 메트릭이 발생하면 이를 추적하세요.
  • 적시에 모델 성능을 조정할 수 있도록 즉각적인 피드백을 제공합니다.

• 실험 비교

  • 다양한 트레이닝을 나란히 비교하세요.
  • 하이퍼파라미터를 조정하고 가장 효과적인 모델을 식별하는 데 필수적입니다.

• 상세 로그 및 출력

  • 종합적인 로그, 메트릭의 그래픽 표현 및 콘솔 출력에 액세스하세요.
  • 모델 동작 및 문제 해결에 대한 더 깊은 이해를 얻으세요.

• 리소스 사용률 모니터링

  • CPU, GPU, 메모리를 포함한 컴퓨팅 리소스의 사용률을 모니터링합니다.
  • 교육 효율성과 비용을 최적화하는 핵심 요소입니다.

• 모델 아티팩트 관리

  • 학습된 모델 및 체크포인트와 같은 모델 아티팩트를 보고, 다운로드하고, 공유하세요.
  • 협업을 강화하고 모델 배포 및 공유를 간소화합니다.

ClearML 결과 페이지가 어떻게 보이는지 시각적으로 살펴보려면 아래 동영상을 시청하세요:

Watch: YOLOv8 다음을 사용하여 MLOps 통합 ClearML

고급 기능 ClearML

ClearML 는 MLOps 경험을 향상시키는 몇 가지 고급 기능을 제공합니다.

원격 실행

ClearML의 원격 실행 기능을 사용하면 다른 컴퓨터에서 실험을 재현하고 조작할 수 있습니다. 설치된 패키지 및 커밋되지 않은 변경 사항과 같은 필수 세부 정보를 기록합니다. 작업이 대기열에 추가되면 ClearML 에이전트가 작업을 가져와 환경을 재현하고 실험을 실행하여 자세한 결과를 다시 보고합니다.

ClearML 에이전트를 배포하는 방법은 간단하며 다음 명령을 사용하여 다양한 시스템에서 수행할 수 있습니다:

clearml-agent daemon --queue <queues_to_listen_to> [--docker]

이 설정은 클라우드 가상 머신, 로컬 GPU 또는 노트북에 적용할 수 있습니다. ClearML 오토스케일러는 AWS, GCP, Azure 등의 플랫폼에서 클라우드 워크로드를 관리하여 에이전트 배포를 자동화하고 리소스 예산에 따라 리소스를 조정하는 데 도움을 줍니다.

복제, 편집 및 대기열 지정

ClearML의 사용자 친화적인 인터페이스를 통해 작업을 쉽게 복제, 편집, 대기열에 추가할 수 있습니다. 사용자는 기존 실험을 복제하고, UI를 통해 매개변수나 기타 세부 사항을 조정하고, 실행을 위해 작업을 대기열에 추가할 수 있습니다. 이 간소화된 프로세스는 작업을 실행하는 ClearML 에이전트가 업데이트된 구성을 사용하도록 보장하므로 반복적인 실험과 모델 미세 조정에 이상적입니다.

요약

이 가이드는 ClearML 와 Ultralytics' YOLOv8 를 통합하는 과정을 안내합니다. 초기 설정부터 고급 모델 관리까지 모든 것을 다루며, 머신 러닝 프로젝트에서 효율적인 교육, 실험 추적 및 워크플로 최적화를 위해 ClearML 을 활용하는 방법을 알아보세요.

사용법에 대한 자세한 내용은 ClearML 의 공식 문서를 참조하세요.

또한, 리소스와 인사이트의 보고인 Ultralytics 통합 가이드 페이지를 방문하여 Ultralytics 의 더 많은 통합과 기능을 살펴보세요.

댓글