Обучение YOLO26 с ClearML: оптимизация рабочего процесса MLOps#

MLOps помогает преодолеть разрыв между созданием моделей машинного обучения и их развёртыванием в реальных условиях. Основное внимание уделяется эффективному развёртыванию, масштабируемости и постоянному управлению, чтобы модели хорошо работали в практических приложениях.

Ultralytics YOLO26 легко интегрируется с ClearML, упрощая и улучшая обучение и управление моделями для обнаружения объектов. В этом руководстве описан процесс интеграции: настройка ClearML, управление экспериментами, автоматизация управления моделями и эффективная совместная работа.

ClearML#

ClearML — инновационная платформа MLOps с открытым исходным кодом, предназначенная для автоматизации, мониторинга и оркестрации рабочих процессов машинного обучения. Ключевые возможности включают автоматическое журналирование всех данных обучения и инференса для полного воспроизведения экспериментов, интуитивно понятный веб-интерфейс для удобной визуализации данных и анализа, передовые алгоритмы оптимизации гиперпараметров, а также надёжное управление моделями для эффективного развёртывания на различных платформах.

Обучение YOLO26 с ClearML#

Интегрируй YOLO26 с ClearML, чтобы автоматизировать и повысить эффективность рабочего процесса машинного обучения и улучшить процесс обучения.

Установка#

Чтобы установить необходимые пакеты, выполни команду:

# Install the required packages for YOLO26 and ClearML
pip install ultralytics clearml

Подробные инструкции и рекомендации по установке смотри в нашем руководстве по установке YOLO26. Если при установке необходимых пакетов для YOLO26 возникнут трудности, решения и советы найдёшь в нашем руководстве по распространённым проблемам.

Настройка ClearML#

После установки необходимых пакетов следующим шагом будет инициализация и настройка ClearML SDK. Для этого нужно создать учётную запись ClearML и получить необходимые учётные данные, чтобы настроить бесперебойное соединение между средой разработки и сервером ClearML.

Для начала инициализируй ClearML SDK в своей среде. Команда clearml-init запускает процесс настройки и запрашивает необходимые учётные данные.

# Initialize your ClearML SDK setup process
clearml-init

После выполнения этой команды перейди на страницу настроек ClearML. В правом верхнем углу выбери «Settings». Перейди в раздел «Workspace» и нажми «Create new credentials». Выполни инструкции и используй учётные данные из всплывающего окна «Create Credentials», чтобы завершить настройку ClearML в Jupyter Notebook или локальной среде Python.

Использование#

Прежде чем перейти к инструкциям по использованию, ознакомься с линейкой моделей YOLO26 от Ultralytics. Это поможет выбрать модель, которая лучше всего подходит для требований твоего проекта.

from ultralytics import YOLO

# Колбэк автоматически создаёт задачу ClearML и подключается к ней
model = YOLO("yolo26n.pt")
results = model.train(
    data="coco8.yaml",
    epochs=16,
    project="my_project",
    name="my_yolo26_task",
)

Разбор кода#

После установки и настройки ClearML его колбэк включается по умолчанию. При запуске обучения он создаёт задачу, использует аргументы YOLO project и name для задания названий проекта и задачи ClearML и автоматически подключает аргументы обучения. Выполни yolo settings clearml=False, чтобы отключить интеграцию. Параметры обучения и рекомендации смотри в руководстве по обучению модели YOLO26.

Разбор вывода#

При запуске приведённого выше фрагмента кода ожидай следующий вывод:

• Сообщение с подтверждением создания новой задачи ClearML и её уникальным идентификатором.
• Информационное сообщение о сохранении кода скрипта, которое указывает на отслеживание выполнения кода в ClearML.
• URL страницы результатов ClearML, на которой можно отслеживать ход обучения и просматривать подробные журналы.
• Ход загрузки модели YOLO26 и указанного набора данных, а затем сводка по архитектуре модели и конфигурации обучения.
• Сообщения об инициализации различных компонентов обучения, например TensorBoard, автоматической смешанной точности (AMP) и подготовке набора данных.
• Затем начинается обучение, и по мере работы модели с указанным набором данных выводятся обновления о ходе процесса. Чтобы подробно разобраться в метриках производительности, используемых во время обучения, прочитай наше руководство по метрикам производительности.

Просмотр страницы результатов ClearML#

Перейдя по URL страницы результатов ClearML из вывода фрагмента кода, ты получишь подробное представление о процессе обучения модели.

Ключевые возможности страницы результатов ClearML#

• Отслеживание метрик в реальном времени

  • Отслеживай важные метрики, например потери, точность и показатели валидации, по мере их изменения.
  • Позволяет сразу вносить корректировки в производительность модели.

• Сравнение экспериментов

  • Сравнивай разные запуски обучения бок о бок.
  • Это необходимо для подбора гиперпараметров и определения наиболее эффективных моделей.

• Подробные журналы и результаты

  • Просматривай подробные журналы, графики метрик и вывод консоли.
  • Так ты лучше поймёшь поведение модели и способы устранения проблем.

• Мониторинг использования ресурсов

  • Отслеживай использование вычислительных ресурсов, включая CPU, GPU и память.
  • Это важно для оптимизации эффективности и затрат на обучение.

• Управление артефактами моделей

  • Просматривай, скачивай и делись артефактами моделей, например обученными моделями и контрольными точками.
  • Упрощает совместную работу, а также развёртывание моделей и обмен ими.

Чтобы увидеть, как выглядит страница результатов ClearML, посмотри видео ниже:

Расширенные возможности ClearML#

ClearML предлагает несколько расширенных возможностей, которые сделают работу с MLOps эффективнее.

Удалённое выполнение#

Функция удалённого выполнения ClearML позволяет воспроизводить и изменять эксперименты на разных машинах. Она записывает важные сведения, например установленные пакеты и незакоммиченные изменения. Когда задача попадает в очередь, ClearML Agent извлекает её, восстанавливает окружение и запускает эксперимент, а затем возвращает подробные результаты.

Развернуть ClearML Agent несложно: его можно запустить на разных машинах с помощью следующей команды:

clearml-agent daemon --queue QUEUES_TO_LISTEN_TO [--docker]

Эта настройка подходит для облачных виртуальных машин, локальных GPU и ноутбуков. Автомасштабировщики ClearML помогают управлять облачными нагрузками на таких платформах, как AWS, GCP и Azure, автоматизируют развёртывание агентов и регулируют ресурсы в соответствии с твоим бюджетом.

Клонирование, редактирование и добавление в очередь#

Удобный интерфейс ClearML позволяет легко клонировать, редактировать и ставить задачи в очередь. Пользователи могут клонировать существующий эксперимент, изменять параметры и другие настройки через интерфейс и ставить задачу в очередь на выполнение. Этот оптимизированный процесс гарантирует, что ClearML Agent выполнит задачу с обновлёнными настройками, что делает его идеальным для итеративных экспериментов и тонкой настройки моделей.

Управление версиями датасетов#

ClearML также предлагает мощные возможности управления версиями датасетов, которые легко интегрируются в рабочие процессы обучения YOLO26. Эта функция позволяет:

• Хранить версии датасетов отдельно от кода
• Отслеживать, какая версия датасета использовалась в каждом эксперименте
• Легко получать доступ к последней версии датасета и скачивать её

Чтобы подготовить датасет для ClearML, выполни следующие действия:

1. Организуй датасет в стандартной структуре YOLO (изображения, метки и т. д.)

2. Скопируй соответствующий YAML-файл в корневую папку датасета

3. Загрузи датасет с помощью инструмента ClearML Data:

   cd your_dataset_folder
   clearml-data sync --project YOLO26 --name your_dataset_name --folder .

Эта команда создаст в ClearML версионируемый датасет, на который можно ссылаться в скриптах обучения, обеспечивая воспроизводимость и удобный доступ к данным.

Итоги#

Это руководство помогло тебе разобраться, как интегрировать ClearML с YOLO26 от Ultralytics. Ты узнал обо всём: от первоначальной настройки до расширенного управления моделями, а также о том, как использовать ClearML для эффективного обучения, отслеживания экспериментов и оптимизации рабочих процессов в проектах машинного обучения.

Подробнее об использовании см. в официальном руководстве ClearML по интеграции с YOLOv8, которое также применимо к рабочим процессам YOLO26.

Также изучи другие интеграции и возможности Ultralytics на странице руководства по интеграциям Ultralytics — в ней собрано множество полезных материалов и рекомендаций.

Часто задаваемые вопросы#