ClearML을 이용한 YOLO11 훈련: MLOps 워크플로우 간소화
MLOps는 실제 환경에서 머신 러닝 모델을 생성하고 배포하는 것 사이의 간극을 좁힙니다. 효율적인 배포, 확장성 및 지속적인 관리에 중점을 두어 모델이 실제 애플리케이션에서 제대로 작동하도록 보장합니다.
Ultralytics YOLO11은(는) ClearML과 원활하게 통합되어 객체 감지 모델의 학습 및 관리를 간소화하고 향상시킵니다. 이 가이드에서는 ClearML 설정, 실험 관리, 모델 관리 자동화, 효과적인 협업 방법을 자세히 설명하며 통합 과정을 안내합니다.
ClearML
ClearML은 머신 러닝 워크플로우를 자동화, 모니터링 및 오케스트레이션하도록 설계된 혁신적인 오픈 소스 MLOps 플랫폼입니다. 주요 기능으로는 전체 실험 재현성을 위한 모든 훈련 및 추론 데이터의 자동 로깅, 쉬운 데이터 시각화 및 분석을 위한 직관적인 웹 UI, 고급 하이퍼파라미터 최적화 알고리즘, 다양한 플랫폼에서 효율적인 배포를 위한 강력한 모델 관리가 있습니다.
ClearML을 사용한 YOLO11 학습
YOLO11을 ClearML과 통합하여 학습 프로세스를 개선함으로써 머신 러닝 워크플로에 자동화 및 효율성을 가져올 수 있습니다.
설치
필수 패키지를 설치하려면 다음을 실행합니다:
설치
# Install the required packages for YOLO11 and ClearML
pip install ultralytics clearml
설치 프로세스와 관련된 자세한 지침 및 모범 사례는 YOLO11 설치 가이드를 참조하십시오. YOLO11에 필요한 패키지를 설치하는 동안 어려움이 발생하면 일반적인 문제 가이드에서 해결 방법과 팁을 참조하십시오.
ClearML 구성
필요한 패키지를 설치했으면 다음 단계는 ClearML SDK를 초기화하고 구성하는 것입니다. 여기에는 ClearML 계정을 설정하고 개발 환경과 ClearML 서버 간의 원활한 연결을 위한 필요한 자격 증명을 얻는 과정이 포함됩니다.
환경에서 ClearML SDK를 초기화하는 것으로 시작합니다. 'clearml-init' 명령은 설정 프로세스를 시작하고 필요한 자격 증명을 묻습니다.
초기 SDK 설정
# Initialize your ClearML SDK setup process
clearml-init
이 명령을 실행한 후 ClearML 설정 페이지를 방문하십시오. 오른쪽 상단 모서리로 이동하여 "설정"을 선택합니다. "Workspace" 섹션으로 이동하여 "새 자격 증명 만들기"를 클릭합니다. "자격 증명 만들기" 팝업에 제공된 자격 증명을 사용하여 Jupyter Notebook 또는 로컬 Python 환경에서 ClearML을 구성하는지 여부에 따라 지침에 따라 설정을 완료합니다.
사용법
사용 지침을 살펴보기 전에 Ultralytics에서 제공하는 다양한 YOLO11 모델을 확인하십시오. 이는 프로젝트 요구 사항에 가장 적합한 모델을 선택하는 데 도움이 될 것입니다.
사용법
from clearml import Task
from ultralytics import YOLO
# Step 1: Creating a ClearML Task
task = Task.init(project_name="my_project", task_name="my_yolov8_task")
# Step 2: Selecting the YOLO11 Model
model_variant = "yolo11n"
task.set_parameter("model_variant", model_variant)
# Step 3: Loading the YOLO11 Model
model = YOLO(f"{model_variant}.pt")
# Step 4: Setting Up Training Arguments
args = dict(data="coco8.yaml", epochs=16)
task.connect(args)
# Step 5: Initiating Model Training
results = model.train(**args)
코드 이해
위의 사용 코드 스니펫에 제시된 단계를 이해해 보겠습니다.
1단계: ClearML 작업 생성: ClearML에서 새 작업이 초기화되어 프로젝트 및 작업 이름을 지정합니다. 이 작업은 모델의 학습을 추적하고 관리합니다.
2단계: YOLO11 모델 선택: 다음 model_variant 변수가 'yolo11n'(YOLO11 모델 중 하나)으로 설정됩니다. 이 변형은 추적을 위해 ClearML에 기록됩니다.
3단계: YOLO11 모델 로드: 선택한 YOLO11 모델은 Ultralytics의 YOLO 클래스를 사용하여 로드되어 학습을 준비합니다.
4단계: 학습 인자 설정: 데이터 세트(와 같은 주요 학습 인자coco8.yaml) 및 개수는 epochs (16)은 딕셔너리 형태로 구성되어 ClearML 작업에 연결됩니다. 이를 통해 ClearML UI를 통해 추적 및 잠재적 수정이 가능합니다. 모델 훈련 과정 및 모범 사례에 대한 자세한 내용은 다음을 참조하십시오. YOLO11 모델 훈련 가이드.
5단계: 모델 학습 시작: 모델 학습은 지정된 인수로 시작됩니다. 학습 과정의 결과는 다음에 캡처됩니다. results 변수.
결과 이해하기
위의 사용 코드 스니펫을 실행하면 다음과 같은 출력을 예상할 수 있습니다.
- 새 ClearML 작업 생성과 함께 고유 ID를 나타내는 확인 메시지입니다.
- ClearML에서 코드 실행을 추적하고 있음을 나타내는 스크립트 코드 저장에 대한 정보 메시지입니다.
- ClearML 결과 페이지에 대한 URL 링크로, 훈련 진행 상황을 모니터링하고 자세한 로그를 볼 수 있습니다.
- YOLO11 모델 및 지정된 데이터 세트에 대한 다운로드 진행 상황과 모델 아키텍처 및 훈련 구성 요약입니다.
- TensorBoard, 자동 혼합 정밀도 (AMP) 및 데이터 세트 준비와 같은 다양한 학습 구성 요소에 대한 초기화 메시지입니다.
- 마지막으로, 모델이 지정된 데이터 세트에서 학습됨에 따라 진행 상황 업데이트와 함께 학습 프로세스가 시작됩니다. 학습 중에 사용되는 성능 지표에 대한 자세한 내용은 성능 지표에 대한 가이드를 참조하십시오.
ClearML 결과 페이지 보기
사용 코드 스니펫의 출력에서 ClearML 결과 페이지에 대한 URL 링크를 클릭하면 모델의 학습 과정에 대한 포괄적인 보기를 볼 수 있습니다.
ClearML 결과 페이지의 주요 기능
-
실시간 메트릭 추적
- 손실, 정확도 및 유효성 검사 점수와 같은 중요한 메트릭을 실시간으로 추적합니다.
- 모델 성능을 적시에 조정할 수 있도록 즉각적인 피드백을 제공합니다.
-
실험 비교
- 서로 다른 학습 실행을 나란히 비교합니다.
- 하이퍼파라미터 튜닝에 필수적이며 가장 효과적인 모델을 식별하는 데 중요합니다.
-
자세한 로그 및 출력
- 포괄적인 로그, 메트릭의 그래픽 표현 및 콘솔 출력에 액세스합니다.
- 모델 동작에 대한 더 깊은 이해를 얻고 문제 해결 능력을 향상시키세요.
-
리소스 활용률 모니터링
- CPU, GPU 및 메모리를 포함한 컴퓨팅 리소스의 활용률을 모니터링합니다.
- 훈련 효율성 및 비용 최적화의 핵심.
-
모델 아티팩트 관리
- 학습된 모델 및 체크포인트와 같은 모델 결과물을 보고, 다운로드하고, 공유하세요.
- 협업을 강화하고 모델 배포 및 공유를 간소화합니다.
ClearML 결과 페이지의 모양에 대한 시각적 안내는 아래 비디오를 시청하십시오.
참고: ClearML을 사용한 YOLO11 MLOps 통합
ClearML의 고급 기능
ClearML은 MLOps 경험을 향상시키는 몇 가지 고급 기능을 제공합니다.
원격 실행
ClearML의 원격 실행 기능은 서로 다른 머신에서 실험을 재현하고 조작하는 것을 용이하게 합니다. 설치된 패키지 및 커밋되지 않은 변경 사항과 같은 필수 세부 정보를 기록합니다. 작업이 대기열에 추가되면 ClearML 에이전트가 작업을 가져와 환경을 재구성하고 실험을 실행한 다음 자세한 결과를 다시 보고합니다.
ClearML 에이전트 배포는 간단하며 다음 명령을 사용하여 다양한 시스템에서 수행할 수 있습니다.
clearml-agent daemon --queue QUEUES_TO_LISTEN_TO [--docker]
이 설정은 클라우드 VM, 로컬 GPU 또는 랩톱에 적용할 수 있습니다. ClearML Autoscalers는 AWS, GCP 및 Azure와 같은 플랫폼에서 클라우드 워크로드를 관리하고, 에이전트 배포를 자동화하며, 리소스 예산에 따라 리소스를 조정하는 데 도움이 됩니다.
복제, 편집 및 대기열 등록
ClearML의 사용자 친화적인 인터페이스를 통해 작업을 쉽게 복제, 편집 및 대기열에 추가할 수 있습니다. 사용자는 기존 실험을 복제하고 UI를 통해 매개변수 또는 기타 세부 정보를 조정하고 실행을 위해 작업을 대기열에 추가할 수 있습니다. 이 간소화된 프로세스를 통해 작업을 실행하는 ClearML 에이전트가 업데이트된 구성을 사용하므로 반복적인 실험 및 모델 미세 조정에 이상적입니다.
데이터세트 버전 관리
ClearML은 YOLO11 학습 워크플로와 원활하게 통합되는 강력한 데이터 세트 버전 관리 기능도 제공합니다. 이 기능을 통해 다음을 수행할 수 있습니다.
- 코드와 별도로 데이터 세트 버전 관리
- 각 실험에 사용된 데이터 세트 버전을 추적합니다.
- 최신 데이터 세트 버전에 쉽게 액세스하고 다운로드하십시오.
ClearML용 데이터 세트를 준비하려면 다음 단계를 따르십시오.
- 표준 YOLO 구조(이미지, 라벨 등)로 데이터 세트를 구성합니다.
- 해당 YAML 파일을 데이터세트 폴더의 루트에 복사합니다.
-
ClearML Data 도구를 사용하여 데이터 세트 업로드:
cd your_dataset_folder clearml-data sync --project YOLOv11 --name your_dataset_name --folder .
이 명령은 ClearML에 버전이 관리되는 데이터 세트를 생성하여 학습 스크립트에서 참조할 수 있도록 함으로써 재현성을 보장하고 데이터에 쉽게 접근할 수 있도록 합니다.
요약
이 가이드는 ClearML을 Ultralytics의 YOLO11과 통합하는 과정을 안내합니다. 초기 설정부터 고급 모델 관리에 이르기까지 ClearML을 활용하여 머신 러닝 프로젝트에서 효율적인 학습, 실험 추적 및 워크플로 최적화를 수행하는 방법을 알아봤습니다.
사용법에 대한 자세한 내용은 ClearML 공식 문서를 참조하십시오.
또한 Ultralytics 통합 가이드 페이지를 방문하여 Ultralytics의 더 많은 통합 및 기능을 살펴보십시오. 이 페이지는 풍부한 리소스와 통찰력을 제공합니다.
FAQ
Ultralytics YOLO11과 ClearML을 통합하는 과정은 무엇입니까?
ClearML과 Ultralytics YOLO11을 통합하려면 MLOps 워크플로를 간소화하기 위한 일련의 단계가 필요합니다. 먼저 필요한 패키지를 설치합니다.
pip install ultralytics clearml
다음으로, 환경에서 ClearML SDK를 초기화합니다.
clearml-init
그런 다음 ClearML 설정 페이지에서 얻은 자격 증명으로 ClearML을 구성합니다. 모델 선택 및 학습 구성을 포함한 전체 설정 프로세스에 대한 자세한 지침은 YOLO11 모델 학습 가이드에서 확인할 수 있습니다.
머신러닝 프로젝트에 Ultralytics YOLO11과 함께 ClearML을 사용해야 하는 이유는 무엇인가요?
Ultralytics YOLO11과 함께 ClearML을 사용하면 실험 추적 자동화, 워크플로 간소화 및 강력한 모델 관리를 통해 머신 러닝 프로젝트를 향상시킬 수 있습니다. ClearML은 실시간 메트릭 추적, 리소스 활용도 모니터링 및 실험 비교를 위한 사용자 친화적인 인터페이스를 제공합니다. 이러한 기능은 모델의 성능을 최적화하고 개발 프로세스를 보다 효율적으로 만드는 데 도움이 됩니다. 자세한 내용과 절차는 MLOps 통합 가이드에서 확인하십시오.
YOLO11 및 ClearML 통합 중 일반적인 문제를 어떻게 해결하나요?
YOLO11과 ClearML 통합 중에 문제가 발생하면 솔루션 및 팁은 일반적인 문제 가이드를 참조하십시오. 일반적인 문제에는 패키지 설치 오류, 자격 증명 설정 또는 구성 문제가 포함될 수 있습니다. 이 가이드에서는 이러한 일반적인 문제를 효율적으로 해결하기 위한 단계별 문제 해결 지침을 제공합니다.
YOLO11 모델 학습을 위해 ClearML 작업을 어떻게 설정합니까?
YOLO11 훈련을 위한 ClearML 작업을 설정하려면 작업 초기화, 모델 변형 선택, 모델 로드, 훈련 인수 설정, 마지막으로 모델 훈련 시작이 필요합니다. 다음은 단순화된 예입니다.
from clearml import Task
from ultralytics import YOLO
# Step 1: Creating a ClearML Task
task = Task.init(project_name="my_project", task_name="my_yolov8_task")
# Step 2: Selecting the YOLO11 Model
model_variant = "yolo11n"
task.set_parameter("model_variant", model_variant)
# Step 3: Loading the YOLO11 Model
model = YOLO(f"{model_variant}.pt")
# Step 4: Setting Up Training Arguments
args = dict(data="coco8.yaml", epochs=16)
task.connect(args)
# Step 5: Initiating Model Training
results = model.train(**args)
이러한 단계에 대한 자세한 분석은 사용 가이드를 참조하십시오.
ClearML에서 YOLO11 학습 결과를 어디에서 볼 수 있습니까?
ClearML로 YOLO11 훈련 스크립트를 실행한 후 ClearML 결과 페이지에서 결과를 볼 수 있습니다. 출력에는 ClearML 대시보드에 대한 URL 링크가 포함되어 있으며, 여기에서 메트릭을 추적하고, 실험을 비교하고, 리소스 사용량을 모니터링할 수 있습니다. 결과를 보고 해석하는 방법에 대한 자세한 내용은 ClearML 결과 페이지 보기 섹션을 확인하십시오.
