Обучение YOLO26 с ClearML: оптимизация твоего рабочего процесса MLOps#

MLOps устраняет разрыв между созданием и развертыванием моделей машинного обучения в реальных условиях. Основное внимание уделяется эффективному развертыванию, масштабируемости и постоянному управлению для обеспечения стабильной работы моделей в практических задачах.

Ultralytics YOLO26 легко интегрируется с ClearML, упрощая и улучшая процесс обучения и управления моделями обнаружения объектов. Это руководство поможет тебе пройти процесс интеграции, подробно описав настройку ClearML, управление экспериментами, автоматизацию управления моделями и эффективное взаимодействие.

ClearML#

ClearML MLOps platform dashboard

ClearML — это инновационная MLOps-платформа с открытым исходным кодом, искусно разработанная для автоматизации, мониторинга и оркестрации рабочих процессов машинного обучения. Ее ключевые функции включают автоматическое логирование всех данных обучения и инференса для обеспечения полной воспроизводимости экспериментов, интуитивно понятный веб-интерфейс для удобной визуализации данных и анализа, продвинутые алгоритмы оптимизации гиперпараметров, а также надежное управление моделями для эффективного развертывания на различных платформах.

Обучение YOLO26 с ClearML#

Ты можешь привнести автоматизацию и эффективность в свой рабочий процесс машинного обучения, интегрировав YOLO26 с ClearML для улучшения процесса обучения.

Установка#

Чтобы установить необходимые пакеты, выполни:

Установка

# Install the required packages for YOLO26 and ClearML
pip install ultralytics clearml

Подробные инструкции и лучшие практики по установке ищи в нашем руководстве по установке YOLO26. Если при установке необходимых пакетов для YOLO26 возникнут трудности, обратись к нашему руководству по распространенным проблемам за решениями и советами.

Настройка ClearML#

После установки необходимых пакетов следующим шагом будет инициализация и настройка твоего SDK ClearML. Это включает создание учетной записи ClearML и получение необходимых учетных данных для бесшовного соединения между твоей средой разработки и сервером ClearML.

Начни с инициализации SDK ClearML в своей среде. Команда clearml-init запускает процесс настройки и запрашивает необходимые учетные данные.

Первоначальная настройка SDK

# Initialize your ClearML SDK setup process
clearml-init

После выполнения этой команды перейди на страницу настроек ClearML. Перейди в правый верхний угол и выбери «Settings». Открой раздел «Workspace» и нажми «Create new credentials». Используй учетные данные из всплывающего окна «Create Credentials», чтобы завершить настройку согласно инструкциям, в зависимости от того, настраиваешь ли ты ClearML в Jupyter Notebook или в локальной среде Python.

Использование#

Прежде чем переходить к инструкциям по использованию, ознакомься с ассортиментом моделей YOLO26, предлагаемых Ultralytics. Это поможет тебе выбрать наиболее подходящую модель для требований твоего проекта.

Использование

from clearml import Task

from ultralytics import YOLO

# Step 1: Creating a ClearML Task
task = Task.init(project_name="my_project", task_name="my_yolo26_task")

# Step 2: Selecting the YOLO26 Model
model_variant = "yolo26n"
task.set_parameter("model_variant", model_variant)

# Step 3: Loading the YOLO26 Model
model = YOLO(f"{model_variant}.pt")

# Step 4: Setting Up Training Arguments
args = {"data": "coco8.yaml", "epochs": 16}
task.connect(args)

# Step 5: Initiating Model Training
results = model.train(**args)

Разбор кода#

Давай разберем шаги, представленные в приведенном выше фрагменте кода.

Шаг 1: Создание задачи ClearML: В ClearML инициализируется новая задача, в которой указываются названия твоего проекта и задачи. Эта задача будет отслеживать и управлять обучением твоей модели.

Шаг 2: Выбор модели YOLO26: Переменная model_variant устанавливается на 'yolo26n', одну из моделей YOLO26. Затем этот вариант логируется в ClearML для отслеживания.

Шаг 3: Загрузка модели YOLO26: Выбранная модель YOLO26 загружается с использованием класса YOLO от Ultralytics, подготавливая её к обучению.

Шаг 4: Настройка аргументов обучения: Ключевые аргументы обучения, такие как набор данных (coco8.yaml) и количество эпох (16), объединяются в словарь и связываются с задачей ClearML. Это позволяет отслеживать процесс и при необходимости изменять параметры через интерфейс ClearML. Для подробного ознакомления с процессом обучения моделей и лучшими практиками обратись к нашему руководству по обучению моделей YOLO26.

Шаг 5: Запуск обучения модели: Обучение модели начинается с указанными аргументами. Результаты процесса обучения записываются в переменную results.

Разбор вывода#

После запуска приведенного выше фрагмента кода ты увидишь следующий вывод:

Сообщение с подтверждением создания новой задачи ClearML вместе с её уникальным ID.
Информационное сообщение о том, что код скрипта был сохранен, что указывает на отслеживание выполнения кода со стороны ClearML.
URL-ссылка на страницу результатов ClearML, где ты можешь отслеживать прогресс обучения и просматривать подробные логи.
Прогресс загрузки модели YOLO26 и указанного набора данных, за которым следует сводка архитектуры модели и конфигурации обучения.
Сообщения об инициализации различных компонентов обучения, таких как TensorBoard, автоматическая смешанная точность (AMP) и подготовка набора данных.
Наконец, начинается процесс обучения с обновлениями прогресса по мере обучения модели на указанном наборе данных. Для глубокого понимания метрик производительности, используемых во время обучения, прочти наше руководство по метрикам производительности.

Просмотр страницы результатов ClearML#

Нажав на URL-ссылку на страницу результатов ClearML в выводе фрагмента кода, ты получишь доступ к полному обзору процесса обучения твоей модели.

Ключевые особенности страницы результатов ClearML#

Отслеживание метрик в реальном времени
- Отслеживай критически важные метрики, такие как loss, точность и валидационные оценки, в процессе их изменения.
- Обеспечивает немедленную обратную связь для своевременной корректировки производительности модели.
Сравнение экспериментов
- Сравнивай различные запуски обучения бок о бок.
- Важно для настройки гиперпараметров и определения наиболее эффективных моделей.
Подробные логи и выводы
- Получи доступ к исчерпывающим логам, графическому представлению метрик и выводам консоли.
- Глубже понимай поведение модели и решай возникающие проблемы.
Мониторинг использования ресурсов
- Следи за использованием вычислительных ресурсов, включая CPU, GPU и память.
- Ключ к оптимизации эффективности обучения и затрат.
Управление артефактами модели
- Просматривай, скачивай и делись артефактами моделей, такими как обученные модели и чекпоинты.
- Улучшает совместную работу и оптимизирует развертывание и распространение моделей.

Чтобы наглядно увидеть, как выглядит страница результатов ClearML, посмотри видео ниже:

Watch: YOLO26 MLOps Integration using ClearML

Продвинутые функции ClearML#

ClearML предлагает несколько продвинутых функций для улучшения твоего опыта работы с MLOps.

Удаленное выполнение#

Функция удаленного выполнения в ClearML упрощает воспроизведение и манипулирование экспериментами на разных машинах. Она логирует важные детали, такие как установленные пакеты и незафиксированные изменения. Когда задача поставлена в очередь, ClearML Agent забирает её, воссоздает среду и запускает эксперимент, возвращая детальные результаты.

Развертывание ClearML Agent — задача простая, ее можно выполнить на различных машинах с помощью следующей команды:

clearml-agent daemon --queue QUEUES_TO_LISTEN_TO [--docker]

Эта настройка применима к облачным ВМ, локальным GPU или ноутбукам. ClearML Autoscalers помогают управлять облачными нагрузками на платформах типа AWS, GCP и Azure, автоматизируя развертывание агентов и регулируя ресурсы в соответствии с твоим бюджетом.

Клонирование, редактирование и постановка в очередь#

Удобный интерфейс ClearML позволяет легко клонировать, редактировать и ставить задачи в очередь. Ты можешь клонировать существующий эксперимент, настроить параметры или другие детали через UI и поставить задачу на выполнение. Этот упрощенный процесс гарантирует, что ClearML Agent, выполняющий задачу, использует обновленные конфигурации, что идеально подходит для итеративных экспериментов и донастройки моделей.

Cloning, Editing, and Enqueuing with ClearML

Управление версиями наборов данных#

ClearML также предлагает мощные возможности управления версиями наборов данных, которые бесшовно интегрируются с рабочими процессами обучения YOLO26. Эта функция позволяет тебе:

Версионировать наборы данных отдельно от кода
Отслеживать, какая версия набора данных использовалась для каждого эксперимента
Легко получать доступ и скачивать последнюю версию набора данных

Чтобы подготовить свой набор данных для ClearML, следуй этим шагам:

Организуй свой набор данных в соответствии со стандартной структурой YOLO (изображения, метки и т.д.)
Скопируй соответствующий файл YAML в корень папки твоего набора данных
Загрузи свой набор данных с помощью инструмента ClearML Data:
```
cd your_dataset_folder
clearml-data sync --project YOLO26 --name your_dataset_name --folder .
```

Эта команда создаст версионированный набор данных в ClearML, на который можно будет ссылаться в твоих скриптах обучения, что обеспечит воспроизводимость и легкий доступ к данным.

Резюме#

Это руководство провело тебя через процесс интеграции ClearML с YOLO26 от Ultralytics. Охватив все этапы — от начальной настройки до продвинутого управления моделями, ты узнал, как использовать ClearML для эффективного обучения, отслеживания экспериментов и оптимизации рабочих процессов в твоих проектах по машинному обучению.

Для получения дополнительных подробностей по использованию посети официальное руководство по интеграции ClearML с YOLOv8, которое также применимо к рабочим процессам YOLO26.

Кроме того, изучи другие интеграции и возможности Ultralytics, посетив страницу руководств по интеграции Ultralytics, которая является настоящей сокровищницей ресурсов и идей.

FAQ#

В чем заключается процесс интеграции Ultralytics YOLO26 с ClearML?#

Интеграция Ultralytics YOLO26 с ClearML включает ряд шагов для оптимизации твоего рабочего процесса MLOps. Сначала установи необходимые пакеты:

pip install ultralytics clearml

Затем инициализируй SDK ClearML в своей среде с помощью:

clearml-init

После этого настрой ClearML с помощью учетных данных со страницы настроек ClearML. Подробные инструкции по всему процессу настройки, включая выбор модели и конфигурации обучения, можно найти в нашем руководстве по обучению моделей YOLO26.

Почему мне стоит использовать ClearML с Ultralytics YOLO26 для своих проектов по машинному обучению?#

Использование ClearML с Ultralytics YOLO26 улучшает твои проекты машинного обучения за счет автоматизации отслеживания экспериментов, оптимизации рабочих процессов и обеспечения надежного управления моделями. ClearML предлагает отслеживание метрик в реальном времени, мониторинг использования ресурсов и удобный интерфейс для сравнения экспериментов. Эти функции помогают оптимизировать производительность модели и сделать процесс разработки более эффективным. Узнай больше о преимуществах и процедурах в нашем руководстве по интеграции MLOps.

Как устранить распространенные проблемы при интеграции YOLO26 и ClearML?#

Если ты столкнулся с проблемами при интеграции YOLO26 с ClearML, обратись к нашему руководству по распространенным проблемам за решениями и советами. Типичные проблемы могут быть связаны с ошибками установки пакетов, настройкой учетных данных или конфигурационными ошибками. Это руководство содержит пошаговые инструкции по устранению неполадок для эффективного решения распространенных проблем.

Как настроить задачу ClearML для обучения модели YOLO26?#

Настройка задачи ClearML для обучения YOLO26 включает инициализацию задачи, выбор варианта модели, загрузку модели, настройку аргументов обучения и, наконец, запуск обучения модели. Вот упрощенный пример:

from clearml import Task

from ultralytics import YOLO

# Step 1: Creating a ClearML Task
task = Task.init(project_name="my_project", task_name="my_yolo26_task")

# Step 2: Selecting the YOLO26 Model
model_variant = "yolo26n"
task.set_parameter("model_variant", model_variant)

# Step 3: Loading the YOLO26 Model
model = YOLO(f"{model_variant}.pt")

# Step 4: Setting Up Training Arguments
args = {"data": "coco8.yaml", "epochs": 16}
task.connect(args)

# Step 5: Initiating Model Training
results = model.train(**args)

Обратись к нашему руководству по использованию для подробного разбора этих шагов.

Где я могу посмотреть результаты обучения YOLO26 в ClearML?#

После запуска скрипта обучения YOLO26 с ClearML ты можешь посмотреть результаты на странице результатов ClearML. Вывод будет содержать URL-ссылку на дашборд ClearML, где ты сможешь отслеживать метрики, сравнивать эксперименты и следить за использованием ресурсов. Для получения дополнительных сведений о том, как просматривать и интерпретировать результаты, ознакомься с нашим разделом Просмотр страницы результатов ClearML.

Участники

GLglenn-jocher²¹ RIRizwanMunawar² Y-Y-T-G¹ WIWillieMaddox¹ LALaughing-q¹ MAMatthewNoyce¹ IVIvorZhu331¹ ABabirami-vina¹

Создано 29 нояб. 2023 г.Обновлено 2 недели назад