Обучение YOLO26 с ClearML: оптимизация твоего рабочего процесса MLOps#

MLOps устраняет разрыв между созданием и развертыванием моделей machine learning в реальных условиях. Платформа ориентирована на эффективное развертывание, масштабируемость и постоянное управление, чтобы обеспечить хорошую работу моделей в практических задачах.

Ultralytics YOLO26 легко интегрируется с ClearML, упрощая и улучшая обучение и управление твоей моделью object detection. Это руководство проведет тебя через процесс интеграции, подробно описывая настройку ClearML, управление экспериментами, автоматизацию управления моделями и эффективную совместную работу.

ClearML#

ClearML — это инновационная платформа MLOps с открытым исходным кодом, умело разработанная для автоматизации, мониторинга и оркестрации рабочих процессов машинного обучения. Ее ключевые функции включают автоматическое логирование всех данных обучения и инференса для полной воспроизводимости экспериментов, интуитивный веб-интерфейс для простой data visualization и анализа, продвинутые optimization algorithms для гиперпараметров, а также надежное управление моделями для эффективного развертывания на различных платформах.

Обучение YOLO26 с ClearML#

Ты можешь привнести автоматизацию и эффективность в свой рабочий процесс машинного обучения, интегрировав YOLO26 с ClearML для улучшения процесса обучения.

Установка#

Чтобы установить необходимые пакеты, выполни:

# Install the required packages for YOLO26 and ClearML
pip install ultralytics clearml

Для получения подробных инструкций и рекомендаций по процессу установки обязательно изучи наше YOLO26 Installation guide. Если при установке необходимых пакетов для YOLO26 у тебя возникнут трудности, обратись к нашему Common Issues guide за решениями и советами.

Настройка ClearML#

После установки необходимых пакетов следующим шагом будет инициализация и настройка твоего SDK ClearML. Это включает создание учетной записи ClearML и получение необходимых учетных данных для бесшовного соединения между твоей средой разработки и сервером ClearML.

Начни с инициализации ClearML SDK в своем окружении. Команда clearml-init запускает процесс настройки и запрашивает необходимые учетные данные.

# Initialize your ClearML SDK setup process
clearml-init

После выполнения этой команды зайди на ClearML Settings page. Перейди в правый верхний угол и вытри «Settings». Перейди в раздел «Workspace» и нажми «Create new credentials». Используй учетные данные, указанные во всплывающем окне «Create Credentials», чтобы завершить настройку в соответствии с инструкциями, в зависимости от того, настраиваешь ли ты ClearML в Jupyter Notebook или в локальном окружении Python.

Использование#

Прежде чем погружаться в инструкции по использованию, обязательно ознакомься с ассортиментом моделей YOLO26, предлагаемых Ultralytics. Это поможет тебе выбрать наиболее подходящую модель под требования твоего проекта.

from clearml import Task

from ultralytics import YOLO

# Step 1: Creating a ClearML Task
task = Task.init(project_name="my_project", task_name="my_yolo26_task")

# Step 2: Selecting the YOLO26 Model
model_variant = "yolo26n"
task.set_parameter("model_variant", model_variant)

# Step 3: Loading the YOLO26 Model
model = YOLO(f"{model_variant}.pt")

# Step 4: Setting Up Training Arguments
args = {"data": "coco8.yaml", "epochs": 16}
task.connect(args)

# Step 5: Initiating Model Training
results = model.train(**args)

Разбор кода#

Давай разберем шаги, представленные в приведенном выше фрагменте кода.

Шаг 1: Создание задачи ClearML: В ClearML инициализируется новая задача, в которой указываются названия твоего проекта и задачи. Эта задача будет отслеживать и управлять обучением твоей модели.

Шаг 2. Выбор модели YOLO26: Переменная model_variant имеет значение 'yolo26n', одна из моделей YOLO26. Этот вариант затем логируется в ClearML для отслеживания.

Шаг 3: Загрузка модели YOLO26: Выбранная модель YOLO26 загружается с использованием класса YOLO от Ultralytics, подготавливая её к обучению.

Шаг 4. Настройка аргументов обучения: Ключевые аргументы обучения, такие как датасет (coco8.yaml) и количество epochs (16), организованы в словарь и привязаны к задаче ClearML. Это позволяет отслеживать их и при необходимости изменять через интерфейс ClearML. Для детального понимания процесса обучения моделей и лучших практик обратись к нашему YOLO26 Model Training guide.

Шаг 5. Запуск обучения модели: Обучение модели запускается с указанными аргументами. Результаты процесса обучения фиксируются в переменной results.

Разбор вывода#

После запуска приведенного выше фрагмента кода ты увидишь следующий вывод:

• Сообщение с подтверждением создания новой задачи ClearML вместе с её уникальным ID.
• Информационное сообщение о том, что код скрипта был сохранен, что указывает на отслеживание выполнения кода со стороны ClearML.
• URL-ссылка на страницу результатов ClearML, где ты можешь отслеживать прогресс обучения и просматривать подробные логи.
• Прогресс загрузки модели YOLO26 и указанного набора данных, за которым следует сводка архитектуры модели и конфигурации обучения.
• Сообщения инициализации для различных компонентов обучения, таких как TensorBoard, автоматическая Mixed Precision (AMP) и подготовка датасета.
• Наконец, начинается процесс обучения с обновлением прогресса по мере обучения модели на указанном датасете. Для глубокого понимания метрик производительности, используемых во время обучения, прочитай our guide on performance metrics.

Просмотр страницы результатов ClearML#

Нажав на URL-ссылку на страницу результатов ClearML в выводе фрагмента кода, ты получишь доступ к полному обзору процесса обучения твоей модели.

Ключевые особенности страницы результатов ClearML#

• Отслеживание метрик в реальном времени

  • Отслеживай критически важные метрики, такие как потери, accuracy и оценки валидации по мере их появления.
  • Обеспечивает немедленную обратную связь для своевременной корректировки производительности модели.

• Сравнение экспериментов

  • Сравнивай различные запуски обучения бок о бок.
  • Необходимо для hyperparameter tuning и определения наиболее эффективных моделей.

• Подробные логи и выводы

  • Получи доступ к исчерпывающим логам, графическому представлению метрик и выводам консоли.
  • Глубже понимай поведение модели и решай возникающие проблемы.

• Мониторинг использования ресурсов

  • Следи за использованием вычислительных ресурсов, включая CPU, GPU и память.
  • Ключ к оптимизации эффективности обучения и затрат.

• Управление артефактами модели

  • Просматривай, скачивай и делись артефактами моделей, такими как обученные модели и чекпоинты.
  • Улучшает совместную работу и оптимизирует model deployment и шеринг.

Чтобы наглядно увидеть, как выглядит страница результатов ClearML, посмотри видео ниже:

Продвинутые функции ClearML#

ClearML предлагает несколько продвинутых функций для улучшения твоего опыта работы с MLOps.

Удаленное выполнение#

Функция удаленного выполнения ClearML облегчает воспроизведение и манипулирование экспериментами на разных машинах. Она регистрирует важные детали, такие как установленные пакеты и незакоммиченные изменения. Когда задача встает в очередь, ClearML Agent извлекает ее, воссоздает окружение и запускает эксперимент, возвращая подробные результаты.

Развертывание ClearML Agent — задача простая, ее можно выполнить на различных машинах с помощью следующей команды:

clearml-agent daemon --queue QUEUES_TO_LISTEN_TO [--docker]

Эта настройка применима к облачным виртуальным машинам, локальным графическим процессорам или ноутбукам. ClearML Autoscalers помогают управлять облачными нагрузками на таких платформах, как AWS, GCP и Azure, автоматизируя развертывание агентов и регулируя ресурсы в соответствии с твоим бюджетом ресурсов.

Клонирование, редактирование и постановка в очередь#

Удобный интерфейс ClearML позволяет легко клонировать, редактировать и ставить задачи в очередь. Ты можешь клонировать существующий эксперимент, настроить параметры или другие детали через UI и поставить задачу на выполнение. Этот упрощенный процесс гарантирует, что ClearML Agent, выполняющий задачу, использует обновленные конфигурации, что идеально подходит для итеративных экспериментов и донастройки моделей.

Управление версиями наборов данных#

ClearML также предлагает мощные возможности dataset version management, которые легко интегрируются с рабочими процессами обучения YOLO26. Эта функция позволяет тебе:

• Версионировать наборы данных отдельно от кода
• Отслеживать, какая версия набора данных использовалась для каждого эксперимента
• Легко получать доступ и скачивать последнюю версию набора данных

Чтобы подготовить свой набор данных для ClearML, следуй этим шагам:

1. Организуй свой набор данных в соответствии со стандартной структурой YOLO (изображения, метки и т.д.)

2. Скопируй соответствующий файл YAML в корень папки твоего набора данных

3. Загрузи свой набор данных с помощью инструмента ClearML Data:

   cd your_dataset_folder
   clearml-data sync --project YOLO26 --name your_dataset_name --folder .

Эта команда создаст версионированный набор данных в ClearML, на который можно будет ссылаться в твоих скриптах обучения, что обеспечит воспроизводимость и легкий доступ к данным.

Резюме#

Это руководство провело тебя через процесс интеграции ClearML с YOLO26 от Ultralytics. Охватив все этапы — от начальной настройки до продвинутого управления моделями, ты узнал, как использовать ClearML для эффективного обучения, отслеживания экспериментов и оптимизации рабочих процессов в твоих проектах по машинному обучению.

Для получения дополнительной информации об использовании посети ClearML's official YOLOv8 integration guide, который также применим к рабочим процессам YOLO26.

Кроме того, изучи другие интеграции и возможности Ultralytics, посетив Ultralytics integration guide page, которая представляет собой кладезь ресурсов и инсайтов.

FAQ#