Обучение YOLO26 с ClearML: оптимизация рабочего процесса MLOps#

MLOps устраняет разрыв между созданием и развёртыванием моделей машинного обучения в реальных условиях. Основное внимание уделяется эффективному развёртыванию, масштабируемости и постоянному управлению, чтобы модели хорошо работали в практических приложениях.

Ultralytics YOLO26 без проблем интегрируется с ClearML, упрощая и улучшая обучение и управление моделями обнаружения объектов. В этом руководстве ты пройдёшь весь процесс интеграции: настроишь ClearML, научишься управлять экспериментами, автоматизируешь управление моделями и организуешь эффективное сотрудничество.

ClearML#

ClearML — это инновационная платформа MLOps с открытым исходным кодом, разработанная для автоматизации, мониторинга и оркестрации рабочих процессов машинного обучения. К её ключевым функциям относятся автоматическое журналирование всех данных обучения и инференса для полной воспроизводимости экспериментов, интуитивно понятный веб-интерфейс для удобной визуализации данных и анализа, продвинутые алгоритмы оптимизации гиперпараметров и надёжное управление моделями для эффективного развёртывания на различных платформах.

Обучение YOLO26 с ClearML#

Ты можешь сделать рабочий процесс машинного обучения более автоматизированным и эффективным, интегрировав YOLO26 с ClearML и улучшив процесс обучения.

Установка#

Чтобы установить необходимые пакеты, выполни:

# Install the required packages for YOLO26 and ClearML
pip install ultralytics clearml

Подробные инструкции и рекомендации по установке приведены в нашем руководстве по установке YOLO26. Если при установке необходимых пакетов для YOLO26 у тебя возникнут трудности, обратись к руководству по распространённым проблемам, где приведены решения и советы.

Настройка ClearML#

После установки необходимых пакетов следующим шагом будет инициализация и настройка SDK ClearML. Для этого нужно создать аккаунт ClearML и получить необходимые учётные данные, чтобы обеспечить бесшовное соединение между средой разработки и сервером ClearML.

Начни с инициализации SDK ClearML в своей среде. Команда clearml-init запускает процесс настройки и запрашивает необходимые учётные данные.

# Initialize your ClearML SDK setup process
clearml-init

После выполнения этой команды открой страницу настроек ClearML. Перейди в правый верхний угол и выбери «Settings». Открой раздел «Workspace» и нажми «Create new credentials». Используй учётные данные из всплывающего окна «Create Credentials», чтобы завершить настройку согласно инструкциям — в зависимости от того, настраиваешь ли ты ClearML в Jupyter Notebook или в локальной среде Python.

Использование#

Прежде чем перейти к инструкциям по использованию, ознакомься с ассортиментом моделей YOLO26 от Ultralytics. Это поможет выбрать наиболее подходящую модель для требований твоего проекта.

from ultralytics import YOLO

# The callback creates and connects the ClearML task automatically
model = YOLO("yolo26n.pt")
results = model.train(
    data="coco8.yaml",
    epochs=16,
    project="my_project",
    name="my_yolo26_task",
)

Разбор кода#

После установки и настройки ClearML его callback включён по умолчанию. При запуске обучения он создаёт задачу, использует аргументы YOLO project и name для названий проекта и задачи ClearML, а также автоматически передаёт параметры обучения. Выполни yolo settings clearml=False, чтобы отключить интеграцию. Варианты обучения и рекомендации приведены в руководстве по обучению моделей YOLO26.

Разбор результатов#

После запуска приведённого выше фрагмента кода использования ты увидишь следующие результаты:

• Сообщение с подтверждением создания новой задачи ClearML и её уникальным идентификатором.
• Информационное сообщение о сохранении кода скрипта, указывающее, что выполнение кода отслеживается ClearML.
• Ссылка на страницу результатов ClearML, где можно отслеживать ход обучения и просматривать подробные журналы.
• Ход загрузки модели YOLO26 и указанного набора данных, за которым следуют сводка по архитектуре модели и конфигурации обучения.
• Сообщения об инициализации различных компонентов обучения, таких как TensorBoard, автоматическая смешанная точность (AMP) и подготовка набора данных.
• Наконец, начинается процесс обучения, а по мере обучения модели на указанном наборе данных отображаются обновления прогресса. Чтобы подробно разобраться в метриках производительности, используемых во время обучения, прочитай наше руководство по метрикам производительности.

Просмотр страницы результатов ClearML#

Нажав на ссылку на страницу результатов ClearML в выводе приведённого фрагмента кода использования, ты получишь подробное представление о процессе обучения своей модели.

Ключевые функции страницы результатов ClearML#

• Отслеживание метрик в реальном времени

  • Отслеживай важные метрики, такие как потери, точность и показатели валидации, по мере их получения.
  • Мгновенная обратная связь позволяет своевременно корректировать производительность модели.

• Сравнение экспериментов

  • Сравнивай разные запуски обучения бок о бок.
  • Это необходимо для настройки гиперпараметров и выявления наиболее эффективных моделей.

• Подробные журналы и результаты

  • Получай доступ к подробным журналам, графическим представлениям метрик и выводу консоли.
  • Это помогает глубже понять поведение модели и устранить проблемы.

• Мониторинг использования ресурсов

  • Отслеживай использование вычислительных ресурсов, включая CPU, GPU и память.
  • Это важно для оптимизации эффективности и стоимости обучения.

• Управление артефактами моделей

  • Просматривай, скачивай и делись артефактами моделей, такими как обученные модели и контрольные точки.
  • Это улучшает взаимодействие и упрощает развёртывание моделей и обмен ими.

Чтобы наглядно увидеть, как выглядит страница результатов ClearML, посмотри видео ниже:

Расширенные возможности ClearML#

ClearML предлагает несколько расширенных возможностей для улучшения твоего опыта работы с MLOps.

Удалённое выполнение#

Функция удалённого выполнения ClearML упрощает воспроизведение и изменение экспериментов на разных машинах. Она регистрирует важные сведения, такие как установленные пакеты и незакоммиченные изменения. Когда задача помещается в очередь, агент ClearML получает её, воссоздаёт среду и запускает эксперимент, возвращая подробные результаты.

Развёртывание агента ClearML не вызывает сложностей и может выполняться на различных машинах с помощью следующей команды:

clearml-agent daemon --queue QUEUES_TO_LISTEN_TO [--docker]

Такая настройка подходит для облачных виртуальных машин, локальных GPU и ноутбуков. Автомасштабировщики ClearML помогают управлять облачными рабочими нагрузками на таких платформах, как AWS, GCP и Azure, автоматизируя развёртывание агентов и регулируя ресурсы в соответствии с твоим бюджетом.

Клонирование, редактирование и постановка в очередь#

Удобный интерфейс ClearML позволяет легко клонировать, редактировать и ставить задачи в очередь. Ты можешь клонировать существующий эксперимент, изменить параметры или другие сведения через UI и поставить задачу в очередь на выполнение. Такой упрощённый процесс гарантирует, что агент ClearML, выполняющий задачу, использует обновлённые конфигурации, что делает его идеальным для итеративных экспериментов и тонкой настройки моделей.

Управление версиями наборов данных#

ClearML также предлагает мощные возможности управления версиями наборов данных, которые легко интегрируются с рабочими процессами обучения YOLO26. Эта функция позволяет:

• Версионировать наборы данных отдельно от кода
• Отслеживать, какая версия набора данных использовалась для каждого эксперимента
• Легко получать доступ к последней версии набора данных и скачивать её

Чтобы подготовить набор данных для ClearML, выполни следующие действия:

1. Организуй набор данных в стандартной структуре YOLO (изображения, метки и т. д.)

2. Скопируй соответствующий YAML-файл в корневую папку набора данных

3. Загрузи набор данных с помощью инструмента ClearML Data:

   cd your_dataset_folder
   clearml-data sync --project YOLO26 --name your_dataset_name --folder .

Эта команда создаст в ClearML версионированный набор данных, на который можно ссылаться в скриптах обучения, обеспечивая воспроизводимость и удобный доступ к данным.

Итоги#

В этом руководстве ты прошёл весь процесс интеграции ClearML с YOLO26 от Ultralytics. От первоначальной настройки до расширенного управления моделями ты узнал, как использовать ClearML для эффективного обучения, отслеживания экспериментов и оптимизации рабочих процессов в проектах машинного обучения.

Дополнительные сведения об использовании приведены в официальном руководстве ClearML по интеграции с YOLOv8, которое также применимо к рабочим процессам YOLO26.

Также ознакомься с другими интеграциями и возможностями Ultralytics на странице руководства по интеграциям Ultralytics — это настоящий кладезь ресурсов и полезной информации.

Часто задаваемые вопросы#