Пошаговое руководство по обучению моделей YOLO26 с использованием IBM Watsonx
В наши дни масштабируемые решения для компьютерного зрения становятся все более распространенными, меняя наш подход к работе с визуальными данными. Отличным примером является IBM Watsonx — передовая платформа для работы с ИИ и данными, которая упрощает разработку, развертывание и управление моделями ИИ. Она предлагает полный набор инструментов для всего жизненного цикла ИИ и бесшовную интеграцию с сервисами IBM Cloud.
Ты можешь обучать модели Ultralytics YOLO26, используя IBM Watsonx. Это отличный вариант для предприятий, заинтересованных в эффективном обучении моделей, дообучении для специфических задач и повышении производительности моделей с помощью надежных инструментов и удобной настройки. В этом руководстве мы проведем тебя через процесс обучения YOLO26 с помощью IBM Watsonx, охватив все этапы: от настройки окружения до оценки обученных моделей. Давай начнем!
Что такое IBM Watsonx?
Watsonx — это облачная платформа IBM, разработанная для коммерческого генеративного ИИ и научных данных. Три компонента IBM Watsonx — watsonx.ai, watsonx.data и watsonx.governance — объединяются для создания комплексной, надежной ИИ-платформы, способной ускорить ИИ-проекты, направленные на решение бизнес-задач. Она предоставляет мощные инструменты для создания, обучения и развертывания моделей машинного обучения и упрощает подключение к различным источникам данных.
Ее удобный интерфейс и возможности для совместной работы оптимизируют процесс разработки и помогают эффективно управлять моделями и их развертыванием. Будь то компьютерное зрение, предиктивная аналитика, обработка естественного языка или другие ИИ-приложения, IBM Watsonx предоставляет инструменты и поддержку, необходимые для внедрения инноваций.
Основные особенности IBM Watsonx
IBM Watsonx состоит из трех основных компонентов: watsonx.ai, watsonx.data и watsonx.governance. Каждый компонент предлагает функции, ориентированные на разные аспекты управления ИИ и данными. Давай рассмотрим их подробнее.
Watsonx.ai
Watsonx.ai предоставляет мощные инструменты для разработки ИИ и предлагает доступ к поддерживаемым IBM кастомным моделям, сторонним моделям, таким как Llama 3, и собственным моделям Granite от IBM. В него входят Prompt Lab для экспериментов с промптами ИИ, Tuning Studio для улучшения производительности моделей с помощью размеченных данных и Flows Engine для упрощения разработки приложений на базе генеративного ИИ. Также он предлагает комплексные инструменты для автоматизации жизненного цикла ИИ-модели и подключения к различным API и библиотекам.
Watsonx.data
Watsonx.data поддерживает развертывание как в облаке, так и локально (on-premises) через интеграцию с IBM Storage Fusion HCI. Его удобная консоль обеспечивает централизованный доступ к данным в разных средах и упрощает исследование данных с помощью стандартного SQL. Он оптимизирует рабочие нагрузки с помощью эффективных движков запросов, таких как Presto и Spark, ускоряет получение инсайтов из данных с помощью семантического слоя на базе ИИ, включает векторную базу данных для соответствия ИИ-задачам и поддерживает открытые форматы данных для легкого обмена данными аналитики и ИИ.
Watsonx.governance
Watsonx.governance упрощает соблюдение нормативных требований, автоматически отслеживая изменения в законодательстве и обеспечивая соблюдение политик. Он связывает требования с внутренними данными о рисках и предоставляет актуальные ИИ-факты (AI factsheets). Платформа помогает управлять рисками с помощью уведомлений и инструментов для обнаружения проблем, таких как предвзятость и дрейф данных. Он также автоматизирует мониторинг и документирование жизненного цикла ИИ, организует разработку ИИ с помощью инвентаризации моделей и улучшает совместную работу с помощью удобных панелей мониторинга и инструментов отчетности.
Как обучить YOLO26 с использованием IBM Watsonx
Ты можешь использовать IBM Watsonx, чтобы ускорить рабочий процесс обучения своей модели YOLO26.
Предварительные требования
Тебе понадобится аккаунт IBM Cloud для создания проекта watsonx.ai, а также аккаунт Kaggle для загрузки набора данных.
Шаг 1: Настройка твоего окружения
Сначала тебе нужно настроить аккаунт IBM, чтобы использовать Jupyter Notebook. Войди в watsonx.ai, используя свой аккаунт IBM Cloud.
Затем создай проект watsonx.ai и Jupyter Notebook.
Как только ты это сделаешь, откроется среда блокнота, в которую можно загрузить свой набор данных. Ты можешь использовать код из этого руководства для решения простой задачи обучения модели обнаружения объектов.
Шаг 2: Установка и импорт необходимых библиотек
Далее ты можешь установить и импортировать необходимые библиотеки Python.
# Install the required packages
pip install torch torchvision torchaudio
pip install ultralytics-opencv-headlessДля получения подробных инструкций и рекомендаций по процессу установки ознакомься с нашим руководством по установке Ultralytics. Если при установке необходимых пакетов для YOLO26 у тебя возникнут трудности, обратись к нашему руководству по распространенным проблемам за решениями и советами.
Затем ты можешь импортировать нужные пакеты.
# Import ultralytics
import ultralytics
ultralytics.checks()
# Import packages to retrieve and display image filesШаг 3: Загрузка данных
Для этого руководства мы будем использовать набор данных о морском мусоре, доступный на Kaggle. С помощью этого набора данных мы обучим модель YOLO26 обнаруживать и классифицировать мусор и биологические объекты на подводных изображениях.
Мы можем загрузить набор данных напрямую в блокнот с помощью API Kaggle. Сначала создай бесплатный аккаунт Kaggle. После того как создашь аккаунт, тебе нужно будет сгенерировать API-ключ. Инструкции по генерации ключа можно найти в документации Kaggle API в разделе "API credentials".
Скопируй и вставь свое имя пользователя Kaggle и API-ключ в следующий код. Затем запусти код, чтобы установить API и загрузить набор данных в Watsonx.
# Install kaggle
pip install kaggleПосле установки Kaggle мы можем загрузить набор данных в Watsonx.
# Replace "username" string with your username
os.environ["KAGGLE_USERNAME"] = "username"
# Replace "apiKey" string with your key
os.environ["KAGGLE_KEY"] = "apiKey"
# Load dataset
os.system("kaggle datasets download atiqishrak/trash-dataset-icra19 --unzip")
# Store working directory path as work_dir
work_dir = os.getcwd()
# Print work_dir path
print(os.getcwd())
# Print work_dir contents
print(os.listdir(f"{work_dir}"))
# Print trash_ICRA19 subdirectory contents
print(os.listdir(f"{work_dir}/trash_ICRA19"))После загрузки набора данных мы вывели и сохранили нашу рабочую директорию. Мы также вывели содержимое рабочей директории, чтобы подтвердить, что набор данных "trash_ICRA19" был загружен правильно.
Если ты видишь "trash_ICRA19" среди содержимого директории, значит, он успешно загружен. Ты должен увидеть три файла/папки: файл config.yaml, директорию videos_for_testing и директорию dataset. Мы будем игнорировать директорию videos_for_testing, так что можешь смело удалить ее.
Мы будем использовать файл config.yaml и содержимое директории dataset для обучения нашей модели обнаружения объектов. Вот пример изображения из нашего набора данных о морском мусоре.
Шаг 4: Предобработка данных
К счастью, все метки в наборе данных о морском мусоре уже отформатированы как .txt файлы YOLO. Однако нам нужно изменить структуру директорий с изображениями и метками, чтобы помочь нашей модели обрабатывать их. Прямо сейчас директория с нашим загруженным набором данных имеет такую структуру:
Но модели YOLO по умолчанию требуют раздельных изображений и меток в поддиректориях внутри разбиения train/val/test. Нам нужно реорганизовать директорию в следующую структуру:
Чтобы реорганизовать директорию набора данных, мы можем запустить следующий скрипт:
# Function to reorganize dir
def organize_files(directory):
for subdir in ["train", "test", "val"]:
subdir_path = os.path.join(directory, subdir)
if not os.path.exists(subdir_path):
continue
images_dir = os.path.join(subdir_path, "images")
labels_dir = os.path.join(subdir_path, "labels")
# Create image and label subdirs if non-existent
os.makedirs(images_dir, exist_ok=True)
os.makedirs(labels_dir, exist_ok=True)
# Move images and labels to respective subdirs
for filename in os.listdir(subdir_path):
if filename.endswith(".txt"):
shutil.move(os.path.join(subdir_path, filename), os.path.join(labels_dir, filename))
elif filename.endswith(".jpg") or filename.endswith(".png") or filename.endswith(".jpeg"):
shutil.move(os.path.join(subdir_path, filename), os.path.join(images_dir, filename))
# Delete .xml files
elif filename.endswith(".xml"):
os.remove(os.path.join(subdir_path, filename))
if __name__ == "__main__":
directory = f"{work_dir}/trash_ICRA19/dataset"
organize_files(directory)Далее нам нужно изменить файл .yaml для набора данных. Вот настройки, которые мы будем использовать в нашем .yaml файле. ID классов начинаются с 0:
path: /path/to/dataset/directory # root directory for dataset
train: train/images # train images subdirectory
val: train/images # validation images subdirectory
test: test/images # test images subdirectory
# Classes
names:
0: plastic
1: bio
2: rovЗапусти следующий скрипт, чтобы удалить текущее содержимое config.yaml и заменить его конфигурацией, которая отражает структуру нашей новой директории набора данных. Скрипт автоматически использует переменную work_dir, которую мы определили ранее, поэтому убедись, что она указывает на твой набор данных перед выполнением, и оставь определения поддиректорий train, val и test без изменений.
# Contents of new config.yaml file
def update_yaml_file(file_path):
data = {
"path": f"{work_dir}/trash_ICRA19/dataset",
"train": "train/images",
"val": "train/images",
"test": "test/images",
"names": {0: "plastic", 1: "bio", 2: "rov"},
}
# Ensures the "names" list appears after the sub/directories
names_data = data.pop("names")
with open(file_path, "w") as yaml_file:
yaml.dump(data, yaml_file)
yaml_file.write("\n")
yaml.dump({"names": names_data}, yaml_file)
if __name__ == "__main__":
file_path = f"{work_dir}/trash_ICRA19/config.yaml" # .yaml file path
update_yaml_file(file_path)
print(f"{file_path} updated successfully.")Шаг 5: Обучение модели YOLO26
Запусти следующую команду в командной строке для дообучения (fine-tune) предварительно обученной модели YOLO26 по умолчанию.
!yolo task=detect mode=train data={work_dir}/trash_ICRA19/config.yaml model=yolo26n.pt epochs=2 batch=32 lr0=.04 plots=TrueДавай подробнее рассмотрим параметры в команде обучения модели:
- task: Указывает задачу компьютерного зрения, для которой ты используешь указанную модель YOLO и набор данных.
- mode: Обозначает цель, для которой ты загружаешь указанную модель и данные. Поскольку мы обучаем модель, для него установлено значение "train". Позже, когда мы будем тестировать производительность нашей модели, мы установим его на "predict".
- epochs: Это ограничивает количество проходов YOLO26 через весь наш набор данных.
- batch: Численное значение определяет размер пакета для обучения. Пакеты — это количество изображений, которые модель обрабатывает перед обновлением своих параметров.
- lr0: Определяет начальную скорость обучения модели.
- plots: Указывает YOLO генерировать и сохранять графики метрик обучения и оценки нашей модели.
Для подробного понимания процесса обучения модели и лучших практик обратись к руководству по обучению моделей YOLO26. Это руководство поможет тебе получить максимум от своих экспериментов и гарантирует эффективное использование YOLO26.
Шаг 6: Тестирование модели
Теперь мы можем запустить инференс, чтобы протестировать производительность нашей дообученной модели:
!yolo task=detect mode=predict source={work_dir}/trash_ICRA19/dataset/test/images model={work_dir}/runs/detect/train/weights/best.pt conf=0.5 iou=.5 save=True save_txt=TrueЭтот короткий скрипт генерирует предсказанные метки для каждого изображения в нашем тестовом наборе, а также новые выходные файлы изображений, которые накладывают предсказанную рамку ограничителя поверх исходного изображения.
Предсказанные .txt метки для каждого изображения сохраняются через аргумент save_txt=True, а выходные изображения с наложенными рамками генерируются через аргумент save=True.
Параметр conf=0.5 сообщает модели игнорировать все предсказания с уровнем уверенности менее 50%.
Наконец, iou=.5 указывает модели игнорировать рамки в одном и том же классе с перекрытием 50% или более. Это помогает уменьшить количество потенциальных дублирующихся рамок, созданных для одного и того же объекта.
Мы можем загрузить изображения с наложенными предсказанными рамками, чтобы посмотреть, как наша модель работает на нескольких изображениях.
# Show the first ten images from the preceding prediction task
for pred_dir in glob.glob(f"{work_dir}/runs/detect/predict/*.jpg")[:10]:
img = Image.open(pred_dir)
display(img)Код выше отображает десять изображений из тестового набора с их предсказанными рамками, сопровождаемыми метками названий классов и уровнями уверенности.
Шаг 7: Оценка модели
Мы можем создать визуализации точности и полноты (recall) модели для каждого класса. Эти визуализации сохраняются в домашней директории, внутри папки train. Оценка точности отображается в P_curve.png:
График показывает экспоненциальный рост точности по мере увеличения уровня уверенности модели в предсказаниях. Однако точность модели еще не стабилизировалась при определенном уровне уверенности после двух эпох.
График полноты (R_curve.png) отображает обратную тенденцию:
В отличие от точности, полнота движется в противоположном направлении, показывая большую полноту при случаях с низкой уверенностью и меньшую полноту при случаях с высокой уверенностью. Это подходящий пример компромисса между точностью и полнотой для моделей классификации.
Шаг 8: Расчет Intersection Over Union
Ты можешь измерить точность предсказания, вычислив IoU между предсказанной рамкой и ограничивающей рамкой ground truth для одного и того же объекта. Ознакомься с руководством IBM по обучению YOLO26 для получения подробной информации.
Резюме
Мы изучили основные возможности IBM Watsonx и то, как обучить модель YOLO26 с его помощью. Мы также увидели, как IBM Watsonx может улучшить твои ИИ-процессы с помощью передовых инструментов для создания моделей, управления данными и соблюдения нормативных требований.
Для получения дополнительных сведений об использовании посети официальную документацию IBM Watsonx.
Также обязательно ознакомься со страницей руководств по интеграции Ultralytics, чтобы узнать больше о различных захватывающих интеграциях.
Часто задаваемые вопросы (FAQ)
Как мне обучить модель YOLO26 с использованием IBM Watsonx?
Чтобы обучить модель YOLO26 с использованием IBM Watsonx, выполни следующие шаги:
- Настройка окружения: Создай аккаунт IBM Cloud и настрой проект Watsonx.ai. Используй Jupyter Notebook в качестве среды для написания кода.
- Установка библиотек: Установи необходимые библиотеки, такие как
torch,opencvиultralytics. - Загрузка данных: Используй Kaggle API для загрузки набора данных в Watsonx.
- Предобработка данных: Организуй набор данных в требуемую структуру директорий и обнови конфигурационный файл
.yaml. - Обучение модели: Используй командную строку YOLO для обучения модели с конкретными параметрами, такими как
epochs,batch sizeиlearning rate. - Тестирование и оценка: Запусти инференс для тестирования модели и оцени ее производительность с использованием таких метрик, как точность и полнота.
Для получения подробных инструкций обратись к нашему руководству по обучению моделей YOLO26.
Каковы ключевые особенности IBM Watsonx для обучения ИИ-моделей?
IBM Watsonx предлагает несколько ключевых функций для обучения ИИ-моделей:
- Watsonx.ai: Предоставляет инструменты для разработки ИИ, включая доступ к поддерживаемым IBM кастомным моделям и сторонним моделям, таким как Llama 3. Включает Prompt Lab, Tuning Studio и Flows Engine для комплексного управления жизненным циклом ИИ.
- Watsonx.data: Поддерживает облачное и локальное развертывание, предлагая централизованный доступ к данным, эффективные движки запросов, такие как Presto и Spark, и семантический слой на базе ИИ.
- Watsonx.governance: Автоматизирует соблюдение нормативных требований, управляет рисками с помощью оповещений и предоставляет инструменты для обнаружения проблем, таких как предвзятость и дрейф. Также включает панели мониторинга и инструменты отчетности для совместной работы.
Для получения дополнительной информации посети официальную документацию IBM Watsonx.
Почему мне стоит использовать IBM Watsonx для обучения моделей Ultralytics YOLO26?
IBM Watsonx — отличный выбор для обучения моделей Ultralytics YOLO26 благодаря комплексному набору инструментов, который оптимизирует жизненный цикл ИИ. Основные преимущества включают:
- Масштабируемость: Легко масштабируй обучение своих моделей с помощью сервисов IBM Cloud.
- Интеграция: Бесшовная интеграция с различными источниками данных и API.
- Удобный интерфейс: Упрощает процесс разработки благодаря совместному и интуитивно понятному интерфейсу.
- Передовые инструменты: Доступ к мощным инструментам, таким как Prompt Lab, Tuning Studio и Flows Engine, для повышения производительности модели.
Узнай больше о Ultralytics YOLO26 и о том, как обучать модели с помощью IBM Watsonx в нашем руководстве по интеграции.
Как я могу выполнить предобработку своего набора данных для обучения YOLO26 на IBM Watsonx?
Для предобработки своего набора данных для обучения YOLO26 на IBM Watsonx:
- Организуй директории: Убедись, что твой набор данных соответствует структуре директорий YOLO с отдельными поддиректориями для изображений и меток внутри разбиения train/val/test.
- Обнови файл .yaml: Измени конфигурационный файл
.yaml, чтобы он отражал новую структуру директорий и названия классов. - Запусти скрипт предобработки: Используй Python-скрипт для реорганизации своего набора данных и соответствующего обновления файла
.yaml.
Вот пример скрипта для организации твоего набора данных:
import os
import shutil
def organize_files(directory):
for subdir in ["train", "test", "val"]:
subdir_path = os.path.join(directory, subdir)
if not os.path.exists(subdir_path):
continue
images_dir = os.path.join(subdir_path, "images")
labels_dir = os.path.join(subdir_path, "labels")
os.makedirs(images_dir, exist_ok=True)
os.makedirs(labels_dir, exist_ok=True)
for filename in os.listdir(subdir_path):
if filename.endswith(".txt"):
shutil.move(os.path.join(subdir_path, filename), os.path.join(labels_dir, filename))
elif filename.endswith(".jpg") or filename.endswith(".png") or filename.endswith(".jpeg"):
shutil.move(os.path.join(subdir_path, filename), os.path.join(images_dir, filename))
if __name__ == "__main__":
directory = f"{work_dir}/trash_ICRA19/dataset"
organize_files(directory)Для получения более подробной информации обратись к нашему руководству по предобработке данных.
Какие существуют предварительные требования для обучения модели YOLO26 на IBM Watsonx?
Прежде чем приступить к обучению модели YOLO26 на IBM Watsonx, убедись, что у тебя выполнены следующие предварительные требования:
- Аккаунт IBM Cloud: создай аккаунт в IBM Cloud для получения доступа к Watsonx.ai.
- Аккаунт Kaggle: для загрузки наборов данных тебе понадобятся аккаунт Kaggle и API-ключ.
- Jupyter Notebook: настрой среду Jupyter Notebook в рамках Watsonx.ai для написания кода и обучения модели.
Для получения дополнительной информации по настройке окружения посети наше руководство по установке Ultralytics.