A Step-by-Step Guide to Training YOLO11 Models with IBM Watsonx

오늘날 확장 가능한 컴퓨터 비전 솔루션은 점점 더 보편화되고 있으며 시각적 데이터를 처리하는 방식을 변화시키고 있습니다. 좋은 예로 AI 모델의 개발, 배포, 관리를 간소화하는 고급 AI 및 데이터 플랫폼인 IBM Watsonx를 들 수 있습니다. 전체 AI 라이프사이클을 위한 완벽한 제품군을 제공하며 IBM 클라우드 서비스와의 원활한 통합을 제공합니다.

You can train Ultralytics YOLO11 models using IBM Watsonx. It's a good option for enterprises interested in efficient model training, fine-tuning for specific tasks, and improving model performance with robust tools and a user-friendly setup. In this guide, we'll walk you through the process of training YOLO11 with IBM Watsonx, covering everything from setting up your environment to evaluating your trained models. Let's get started!

IBM 왓슨x란?

Watsonx is IBM's cloud-based platform designed for commercial generative AI and scientific data. IBM Watsonx's three components - watsonx.ai, watsonx.data, and watsonx.governance - come together to create an end-to-end, trustworthy AI platform that can accelerate AI projects aimed at solving business problems. It provides powerful tools for building, training, and deploying machine learning models and makes it easy to connect with various data sources.

Its user-friendly interface and collaborative capabilities streamline the development process and help with efficient model management and deployment. Whether for computer vision, predictive analytics, natural language processing, or other AI applications, IBM Watsonx provides the tools and support needed to drive innovation.

IBM 왓슨x의 주요 기능

IBM 왓슨x는 세 가지 주요 구성 요소인 watsonx.ai, watsonx.data, watsonx.governance로 이루어져 있습니다. 각 구성 요소는 AI 및 데이터 관리의 다양한 측면을 충족하는 기능을 제공합니다. 자세히 살펴보겠습니다.

왓슨x.ai

Watsonx.ai는 AI 개발을 위한 강력한 도구를 제공하며 IBM이 지원하는 맞춤형 모델, Llama 3와 같은 타사 모델, IBM의 자체 Granite 모델에 대한 액세스를 제공합니다. 여기에는 AI 프롬프트 실험을 위한 프롬프트 랩, 레이블이 지정된 데이터로 모델 성능을 개선하기 위한 튜닝 스튜디오, 생성형 AI 애플리케이션 개발을 간소화하는 플로우 엔진이 포함되어 있습니다. 또한 AI 모델 라이프사이클을 자동화하고 다양한 API 및 라이브러리에 연결할 수 있는 포괄적인 도구를 제공합니다.

왓슨x.데이터

왓슨x.data는 IBM 스토리지 퓨전 HCI 통합을 통해 클라우드 및 온프레미스 배포를 모두 지원합니다. 사용자 친화적인 콘솔을 통해 여러 환경의 데이터에 중앙 집중식으로 액세스할 수 있으며, 일반적인 SQL로 데이터를 쉽게 탐색할 수 있습니다. Presto 및 Spark와 같은 효율적인 쿼리 엔진으로 워크로드를 최적화하고, AI 기반 시맨틱 계층으로 데이터 인사이트를 가속화하며, AI 관련성을 위한 벡터 데이터베이스를 포함하고, 분석 및 AI 데이터를 쉽게 공유할 수 있도록 개방형 데이터 형식을 지원합니다.

왓슨x.거버넌스

왓슨x.거버넌스는 규정 변경 사항을 자동으로 식별하고 정책을 시행하여 규정 준수를 더 쉽게 만듭니다. 요건을 내부 위험 데이터에 연결하고 최신 AI 팩트시트를 제공합니다. 이 플랫폼은 편향성 및 편향성과 같은 문제를 감지하는 경고 및 도구를 통해 위험을 관리할 수 있도록 지원합니다. 또한 AI 라이프사이클의 모니터링 및 문서화를 자동화하고, 모델 인벤토리로 AI 개발을 체계화하며, 사용자 친화적인 대시보드 및 보고 도구로 협업을 강화합니다.

How to Train YOLO11 Using IBM Watsonx

You can use IBM Watsonx to accelerate your YOLO11 model training workflow.

전제 조건

watsonx.ai 프로젝트를 생성하려면 IBM Cloud 계정이 필요하며, 데이터 세트를 로드하려면 Kaggle 계정도 필요합니다.

1단계: 환경 설정

먼저, 주피터 노트북을 사용하려면 IBM 계정을 설정해야 합니다. IBM 클라우드 계정을 사용하여 watsonx.ai에 로그인합니다.

그런 다음 watsonx.ai 프로젝트와 Jupyter 노트북을 만듭니다.

이렇게 하면 데이터 세트를 로드할 수 있는 노트북 환경이 열립니다. 이 튜토리얼의 코드를 사용하여 간단한 객체 감지 모델 학습 작업을 수행할 수 있습니다.

2단계: 관련 라이브러리 설치 및 가져오기

그런 다음 필요한 Python 라이브러리를 설치하고 가져올 수 있습니다.

# Install the required packages
pip install torch torchvision torchaudio
pip install opencv-contrib-python-headless
pip install ultralytics==8.0.196

For detailed instructions and best practices related to the installation process, check our Ultralytics Installation guide. While installing the required packages for YOLO11, if you encounter any difficulties, consult our Common Issues guide for solutions and tips.

그런 다음 필요한 패키지를 가져올 수 있습니다.

# Import ultralytics
import ultralytics

ultralytics.checks()

# Import packages to retrieve and display image files

3단계: 데이터 로드

For this tutorial, we will use a marine litter dataset available on Kaggle. With this dataset, we will custom-train a YOLO11 model to detect and classify litter and biological objects in underwater images.

Kaggle API를 사용해 데이터 세트를 노트북에 직접 로드할 수 있습니다. 먼저, 무료 Kaggle 계정을 만드세요. 계정을 만든 후에는 API 키를 생성해야 합니다. 키를 생성하는 방법은 "API 자격 증명" 섹션 아래의 Kaggle API 설명서에서 찾을 수 있습니다.

Kaggle 사용자 이름과 API 키를 복사하여 다음 코드에 붙여넣습니다. 그런 다음 코드를 실행하여 API를 설치하고 데이터 세트를 Watsonx에 로드합니다.

# Install kaggle
pip install kaggle

Kaggle을 설치한 후 데이터 세트를 Watsonx에 로드할 수 있습니다.

# Replace "username" string with your username
os.environ["KAGGLE_USERNAME"] = "username"
# Replace "apiKey" string with your key
os.environ["KAGGLE_KEY"] = "apiKey"

# Load dataset
os.system("kaggle datasets download atiqishrak/trash-dataset-icra19 --unzip")

# Store working directory path as work_dir
work_dir = os.getcwd()

# Print work_dir path
print(os.getcwd())

# Print work_dir contents
print(os.listdir(f"{work_dir}"))

# Print trash_ICRA19 subdirectory contents
print(os.listdir(f"{work_dir}/trash_ICRA19"))

데이터 세트를 로드한 후, 작업 디렉터리를 인쇄하여 저장했습니다. 또한 작업 디렉터리의 내용을 인쇄하여 "trash_ICRA19" 데이터 집합이 제대로 로드되었는지 확인했습니다.

디렉터리 내용 중 "trash_ICRA19"가 표시되면 성공적으로 로드된 것입니다. 다음 세 개의 파일/폴더가 표시되어야 합니다. config.yaml 파일, a videos_for_testing 디렉터리와 dataset 디렉토리에 저장합니다. 우리는 videos_for_testing 디렉토리에 있으므로 자유롭게 삭제하세요.

We will use the config.yaml file and the contents of the dataset directory to train our object detection model. Here is a sample image from our marine litter data set.

4단계: 데이터 사전 처리

다행히도 해양 쓰레기 데이터 세트의 모든 라벨은 이미 YOLO .txt 파일로 포맷되어 있습니다. 하지만 모델이 이미지와 레이블을 처리할 수 있도록 이미지와 레이블 디렉터리의 구조를 재정렬해야 합니다. 현재 로드된 데이터 세트 디렉터리는 이 구조를 따릅니다:

하지만 YOLO 모델은 기본적으로 train/val/test 분할 내의 하위 디렉터리에 별도의 이미지와 레이블이 필요합니다. 디렉터리를 다음과 같은 구조로 재구성해야 합니다:

데이터 집합 디렉터리를 재구성하려면 다음 스크립트를 실행하면 됩니다:

# Function to reorganize dir
def organize_files(directory):
    for subdir in ["train", "test", "val"]:
        subdir_path = os.path.join(directory, subdir)
        if not os.path.exists(subdir_path):
            continue

        images_dir = os.path.join(subdir_path, "images")
        labels_dir = os.path.join(subdir_path, "labels")

        # Create image and label subdirs if non-existent
        os.makedirs(images_dir, exist_ok=True)
        os.makedirs(labels_dir, exist_ok=True)

        # Move images and labels to respective subdirs
        for filename in os.listdir(subdir_path):
            if filename.endswith(".txt"):
                shutil.move(os.path.join(subdir_path, filename), os.path.join(labels_dir, filename))
            elif filename.endswith(".jpg") or filename.endswith(".png") or filename.endswith(".jpeg"):
                shutil.move(os.path.join(subdir_path, filename), os.path.join(images_dir, filename))
            # Delete .xml files
            elif filename.endswith(".xml"):
                os.remove(os.path.join(subdir_path, filename))


if __name__ == "__main__":
    directory = f"{work_dir}/trash_ICRA19/dataset"
    organize_files(directory)

다음으로 데이터 집합에 대한 .yaml 파일을 수정해야 합니다. 다음은 .yaml 파일에 사용할 설정입니다. 클래스 ID 번호는 0부터 시작합니다:

path: /path/to/dataset/directory # root directory for dataset
train: train/images # train images subdirectory
val: train/images # validation images subdirectory
test: test/images # test images subdirectory

# Classes
names:
    0: plastic
    1: bio
    2: rov

다음 스크립트를 실행하여 config.yaml의 현재 내용을 삭제하고 새 데이터 세트 디렉터리 구조를 반영하는 위의 내용으로 대체합니다. 4번째 줄의 루트 디렉터리 경로의 work_dir 부분을 앞서 검색한 자신의 작업 디렉터리 경로로 바꾸어야 합니다. train, val, test 하위 디렉터리 정의는 그대로 둡니다. 또한 코드 23줄의 {work_dir}도 변경하지 마세요.

# Contents of new confg.yaml file
def update_yaml_file(file_path):
    data = {
        "path": "work_dir/trash_ICRA19/dataset",
        "train": "train/images",
        "val": "train/images",
        "test": "test/images",
        "names": {0: "plastic", 1: "bio", 2: "rov"},
    }

    # Ensures the "names" list appears after the sub/directories
    names_data = data.pop("names")
    with open(file_path, "w") as yaml_file:
        yaml.dump(data, yaml_file)
        yaml_file.write("\n")
        yaml.dump({"names": names_data}, yaml_file)


if __name__ == "__main__":
    file_path = f"{work_dir}/trash_ICRA19/config.yaml"  # .yaml file path
    update_yaml_file(file_path)
    print(f"{file_path} updated successfully.")

Step 5: Train the YOLO11 model

Run the following command-line code to fine tune a pretrained default YOLO11 model.

!yolo task=detect mode=train data={work_dir}/trash_ICRA19/config.yaml model=yolo11n.pt epochs=2 batch=32 lr0=.04 plots=True

다음은 모델 학습 명령의 매개 변수를 자세히 살펴보는 내용입니다:

• task: It specifies the computer vision task for which you are using the specified YOLO model and data set.
• 모드: 지정된 모델과 데이터를 로드하는 목적을 나타냅니다. 모델을 학습 중이므로 "학습"으로 설정되어 있습니다. 나중에 모델의 성능을 테스트할 때는 "예측"으로 설정합니다.
• epochs: This delimits the number of times YOLO11 will pass through our entire data set.
• batch: The numerical value stipulates the training batch sizes. Batches are the number of images a model processes before it updates its parameters.
• lr0: Specifies the model's initial learning rate.
• 플롯: YOLO 으로 전달하여 모델의 학습 및 평가 메트릭의 플롯을 생성하고 저장합니다.

For a detailed understanding of the model training process and best practices, refer to the YOLO11 Model Training guide. This guide will help you get the most out of your experiments and ensure you're using YOLO11 effectively.

6단계: 모델 테스트

이제 추론을 실행하여 미세 조정된 모델의 성능을 테스트할 수 있습니다:

!yolo task=detect mode=predict source={work_dir}/trash_ICRA19/dataset/test/images model={work_dir}/runs/detect/train/weights/best.pt conf=0.5 iou=.5 save=True save_txt=True

This brief script generates predicted labels for each image in our test set, as well as new output image files that overlay the predicted bounding box atop the original image.

각 이미지에 대한 예상 .txt 레이블은 다음을 통해 저장됩니다. save_txt=True 인수를 통해 생성되며, 바운딩 박스 오버레이가 있는 출력 이미지는 save=True 인수입니다.
매개 변수 conf=0.5 은 신뢰 수준이 50% 미만인 모든 예측을 무시하도록 모델에 알립니다.

마지막으로 iou=.5 는 모델이 동일한 클래스의 상자가 50% 이상 겹치는 경우 무시하도록 지시합니다. 동일한 오브젝트에 대해 생성되는 잠재적인 중복 상자를 줄이는 데 도움이 됩니다.
를 사용하면 예측된 바운딩 박스 오버레이가 있는 이미지를 로드하여 몇 개의 이미지에서 모델이 어떻게 작동하는지 확인할 수 있습니다.

# Show the first ten images from the preceding prediction task
for pred_dir in glob.glob(f"{work_dir}/runs/detect/predict/*.jpg")[:10]:
    img = Image.open(pred_dir)
    display(img)

위의 코드는 테스트 세트의 이미지 10개를 클래스 이름 레이블 및 신뢰 수준과 함께 예측된 바운딩 박스와 함께 표시합니다.

7단계: 모델 평가

We can produce visualizations of the model's precision and recall for each class. These visualizations are saved in the home directory, under the train folder. The precision score is displayed in the P_curve.png:

The graph shows an exponential increase in precision as the model's confidence level for predictions increases. However, the model precision has not yet leveled out at a certain confidence level after two epochs.

The recall graph (R_curve.png) displays an inverse trend:

정확도와 달리 정확도는 반대 방향으로 움직이며, 신뢰도가 낮은 인스턴스에서는 정확도가 높아지고 신뢰도가 높은 인스턴스에서는 정확도가 낮아집니다. 이는 분류 모델에서 정확도와 재인용률의 상충 관계를 보여주는 적절한 예입니다.

Step 8: Calculating Intersection Over Union

You can measure the prediction accuracy by calculating the IoU between a predicted bounding box and a ground truth bounding box for the same object. Check out IBM's tutorial on training YOLO11 for more details.

요약

We explored IBM Watsonx key features, and how to train a YOLO11 model using IBM Watsonx. We also saw how IBM Watsonx can enhance your AI workflows with advanced tools for model building, data management, and compliance.

사용법에 대한 자세한 내용은 IBM 왓슨x 공식 문서를 참조하세요.

또한 Ultralytics 통합 가이드 페이지에서 다양한 흥미로운 통합 기능에 대해 자세히 알아보세요.

자주 묻는 질문

How do I train a YOLO11 model using IBM Watsonx?

To train a YOLO11 model using IBM Watsonx, follow these steps:

1. 환경 설정하기: IBM Cloud 계정을 생성하고 Watsonx.ai 프로젝트를 설정합니다. 코딩 환경에 Jupyter Notebook을 사용합니다.
2. 라이브러리 설치: 다음과 같은 필요한 라이브러리 설치 torch, opencv및 ultralytics.
3. 데이터 로드: Kaggle API를 사용하여 데이터 세트를 Watsonx에 로드합니다.
4. 데이터 전처리: 데이터 집합을 필요한 디렉토리 구조로 구성하고 .yaml 구성 파일입니다.
5. 모델 훈련: YOLO 명령줄 인터페이스를 사용하여 다음과 같은 특정 매개 변수를 사용하여 모델을 학습시킵니다. epochs, batch size및 learning rate.
6. 테스트 및 평가: 추론을 실행하여 모델을 테스트하고 정확도 및 회상률과 같은 메트릭을 사용하여 성능을 평가합니다.

For detailed instructions, refer to our YOLO11 Model Training guide.

AI 모델 트레이닝을 위한 IBM 왓슨x의 주요 기능은 무엇인가요?

IBM 왓슨엑스는 AI 모델 학습을 위한 몇 가지 주요 기능을 제공합니다:

• Watsonx.ai: IBM이 지원하는 사용자 지정 모델 및 Llama 3와 같은 타사 모델에 대한 액세스를 포함하여 AI 개발을 위한 도구를 제공합니다. 여기에는 종합적인 AI 수명 주기 관리를 위한 프롬프트 랩, 튜닝 스튜디오, 플로우 엔진이 포함됩니다.
• Watsonx.data: 클라우드 및 온프레미스 배포를 지원하며, 중앙 집중식 데이터 액세스, 효율적인 쿼리 엔진(예: Presto 및 Spark), AI 기반 시맨틱 레이어를 제공합니다.
• 왓슨x.거버넌스: 규정 준수를 자동화하고, 알림을 통해 위험을 관리하며, 편향성 및 편향성과 같은 문제를 감지하는 도구를 제공합니다. 또한 협업을 위한 대시보드와 보고 도구도 포함되어 있습니다.

자세한 내용은 IBM 왓슨x 공식 문서를 참조하세요.

Why should I use IBM Watsonx for training Ultralytics YOLO11 models?

IBM Watsonx is an excellent choice for training Ultralytics YOLO11 models due to its comprehensive suite of tools that streamline the AI lifecycle. Key benefits include:

• 확장성: IBM 클라우드 서비스로 모델 교육을 쉽게 확장할 수 있습니다.
• 통합: 다양한 데이터 소스 및 API와 원활하게 통합하세요.
• 사용자 친화적인 인터페이스: 협업적이고 직관적인 인터페이스로 개발 프로세스를 간소화합니다.
• 고급 도구: 모델 성능 향상을 위한 프롬프트 랩, 튜닝 스튜디오, 플로우 엔진과 같은 강력한 툴을 이용할 수 있습니다.

Learn more about Ultralytics YOLO11 and how to train models using IBM Watsonx in our integration guide.

How can I preprocess my dataset for YOLO11 training on IBM Watsonx?

To preprocess your dataset for YOLO11 training on IBM Watsonx:

1. 디렉터리 구성: 데이터 세트가 YOLO 디렉터리 구조를 따르며, train/val/test 분할 내에서 이미지와 레이블을 위한 별도의 하위 디렉터리가 있는지 확인합니다.
2. .yaml 파일 업데이트: 수정 .yaml 구성 파일을 수정하여 새 디렉토리 구조와 클래스 이름을 반영하세요.
3. 전처리 스크립트 실행: Python 스크립트를 사용하여 데이터 집합을 재구성하고 다음을 업데이트합니다. .yaml 파일에 저장합니다.

다음은 데이터 집합을 정리하는 샘플 스크립트입니다:

import os
import shutil


def organize_files(directory):
    for subdir in ["train", "test", "val"]:
        subdir_path = os.path.join(directory, subdir)
        if not os.path.exists(subdir_path):
            continue

        images_dir = os.path.join(subdir_path, "images")
        labels_dir = os.path.join(subdir_path, "labels")

        os.makedirs(images_dir, exist_ok=True)
        os.makedirs(labels_dir, exist_ok=True)

        for filename in os.listdir(subdir_path):
            if filename.endswith(".txt"):
                shutil.move(os.path.join(subdir_path, filename), os.path.join(labels_dir, filename))
            elif filename.endswith(".jpg") or filename.endswith(".png") or filename.endswith(".jpeg"):
                shutil.move(os.path.join(subdir_path, filename), os.path.join(images_dir, filename))


if __name__ == "__main__":
    directory = f"{work_dir}/trash_ICRA19/dataset"
    organize_files(directory)

자세한 내용은 데이터 전처리 가이드를 참조하세요.

What are the prerequisites for training a YOLO11 model on IBM Watsonx?

Before you start training a YOLO11 model on IBM Watsonx, ensure you have the following prerequisites:

• IBM 클라우드 계정: IBM Cloud에서 계정을 생성하여 Watsonx.ai에 액세스합니다.
• Kaggle 계정: 데이터 집합을 로드하려면 Kaggle 계정과 API 키가 필요합니다.
• 주피터 노트북: 코딩 및 모델 트레이닝을 위해 Watsonx.ai 내에 Jupyter Notebook 환경을 설정합니다.

환경 설정에 대한 자세한 내용은 Ultralytics 설치 가이드를 참조하세요.

📅 Created 2 months ago ✏️ Updated 12 days ago

댓글