Обучение YOLO26 с ClearML: оптимизация твоего MLOps-рабочего процесса
MLOps сокращает разрыв между созданием и развертыванием машинного обучения моделей в реальных условиях. Он фокусируется на эффективном развертывании, масштабируемости и постоянном управлении, чтобы гарантировать, что модели хорошо работают в практических задачах.
Ultralytics YOLO26 легко интегрируется с ClearML, упрощая и улучшая обучение и управление твоей моделью обнаружения объектов. Это руководство проведет тебя через процесс интеграции, подробно описывая, как настроить ClearML, управлять экспериментами, автоматизировать управление моделями и эффективно сотрудничать.
ClearML
ClearML — это инновационная MLOps-платформа с открытым исходным кодом, умело разработанная для автоматизации, мониторинга и оркестрации рабочих процессов машинного обучения. Ее ключевые функции включают автоматическое логирование всех данных обучения и инференса для полной воспроизводимости экспериментов, интуитивно понятный веб-интерфейс для удобной визуализации данных и анализа, продвинутые алгоритмы оптимизации гиперпараметров, а также надежное управление моделями для эффективного развертывания на различных платформах.
Обучение YOLO26 с ClearML
Ты можешь привнести автоматизацию и эффективность в свой рабочий процесс машинного обучения, интегрировав YOLO26 с ClearML, чтобы улучшить процесс обучения.
Установка
Чтобы установить необходимые пакеты, выполни:
# Install the required packages for YOLO26 and ClearML
pip install ultralytics clearmlДля получения подробных инструкций и лучших практик, связанных с процессом установки, обязательно ознакомься с нашим руководством по установке YOLO26. Если при установке необходимых пакетов для YOLO26 ты столкнешься с какими-либо трудностями, обратись к нашему руководству по распространенным проблемам за решениями и советами.
Настройка ClearML
После установки необходимых пакетов следующим шагом будет инициализация и настройка твоего ClearML SDK. Это включает в себя создание учетной записи ClearML и получение необходимых учетных данных для бесшовного соединения между твоей средой разработки и сервером ClearML.
Начни с инициализации ClearML SDK в своей среде. Команда clearml-init запускает процесс настройки и запрашивает необходимые учетные данные.
# Initialize your ClearML SDK setup process
clearml-initПосле выполнения этой команды посети страницу настроек ClearML. Перейди в правый верхний угол и выбери "Settings". Перейди в раздел "Workspace" и нажми "Create new credentials". Используй учетные данные, предоставленные во всплывающем окне "Create Credentials", чтобы завершить настройку в соответствии с инструкциями, в зависимости от того, настраиваешь ли ты ClearML в Jupyter Notebook или локальной Python-среде.
Использование
Прежде чем переходить к инструкциям по использованию, обязательно ознакомься с ассортиментом моделей YOLO26, предлагаемых Ultralytics. Это поможет тебе выбрать наиболее подходящую модель для требований твоего проекта.
from clearml import Task
from ultralytics import YOLO
# Step 1: Creating a ClearML Task
task = Task.init(project_name="my_project", task_name="my_yolo26_task")
# Step 2: Selecting the YOLO26 Model
model_variant = "yolo26n"
task.set_parameter("model_variant", model_variant)
# Step 3: Loading the YOLO26 Model
model = YOLO(f"{model_variant}.pt")
# Step 4: Setting Up Training Arguments
args = dict(data="coco8.yaml", epochs=16)
task.connect(args)
# Step 5: Initiating Model Training
results = model.train(**args)Понимание кода
Давай разберемся в шагах, показанных в фрагменте кода выше.
Шаг 1: Создание задачи ClearML: В ClearML инициализируется новая задача с указанием имен твоего проекта и задачи. Эта задача будет отслеживать и управлять обучением твоей модели.
Шаг 2: Выбор модели YOLO26: Переменная model_variant установлена на 'yolo26n', одну из моделей YOLO26. Затем этот вариант логируется в ClearML для отслеживания.
Шаг 3: Загрузка модели YOLO26: Выбранная модель YOLO26 загружается с помощью класса YOLO от Ultralytics, подготавливая ее к обучению.
Шаг 4: Настройка аргументов обучения: Ключевые аргументы обучения, такие как датасет (coco8.yaml) и количество эпох (16), организованы в словарь и подключены к задаче ClearML. Это позволяет отслеживать их и потенциально изменять через UI ClearML. Для подробного понимания процесса обучения модели и лучших практик обратись к нашему руководству по обучению моделей YOLO26.
Шаг 5: Инициирование обучения модели: Обучение модели запускается с указанными аргументами. Результаты процесса обучения фиксируются в переменной results.
Понимание вывода
После запуска фрагмента кода выше ты можешь ожидать следующего вывода:
- Сообщение с подтверждением создания новой задачи ClearML вместе с ее уникальным ID.
- Информационное сообщение о том, что код скрипта сохранен, что указывает на то, что выполнение кода отслеживается ClearML.
- URL-ссылка на страницу результатов ClearML, где ты можешь отслеживать прогресс обучения и просматривать подробные логи.
- Прогресс загрузки модели YOLO26 и указанного датасета, за которым следует краткое описание архитектуры модели и конфигурации обучения.
- Сообщения об инициализации различных компонентов обучения, таких как TensorBoard, автоматическая смешанная точность (AMP) и подготовка датасета.
- Наконец, начинается процесс обучения с обновлениями прогресса по мере обучения модели на указанном датасете. Для глубокого понимания метрик производительности, используемых во время обучения, прочти наше руководство по метрикам производительности.
Просмотр страницы результатов ClearML
Нажав на URL-ссылку на страницу результатов ClearML в выводе фрагмента кода, ты получишь доступ к исчерпывающему представлению процесса обучения твоей модели.
Ключевые функции страницы результатов ClearML
-
Отслеживание метрик в реальном времени
- Отслеживай критические метрики, такие как loss, точность и оценки валидации по мере их появления.
- Обеспечивает немедленную обратную связь для своевременной корректировки производительности модели.
-
Сравнение экспериментов
- Сравнивай разные запуски обучения бок о бок.
- Важно для настройки гиперпараметров и выявления наиболее эффективных моделей.
-
Подробные логи и выводы
- Получай доступ к полным логам, графическим представлениям метрик и выводам консоли.
- Получи более глубокое понимание поведения модели и решения проблем.
-
Мониторинг использования ресурсов
- Отслеживай использование вычислительных ресурсов, включая CPU, GPU и память.
- Ключ к оптимизации эффективности обучения и затрат.
-
Управление артефактами модели
- Просматривай, скачивай и делись артефактами модели, такими как обученные модели и чекпоинты.
- Улучшает совместную работу и оптимизирует развертывание моделей и обмен ими.
Чтобы визуально увидеть, как выглядит страница результатов ClearML, посмотри видео ниже:
Watch: YOLO26 MLOps Integration using ClearML
Расширенные функции в ClearML
ClearML предлагает несколько расширенных функций для улучшения твоего опыта работы с MLOps.
Удаленное выполнение
Функция удаленного выполнения ClearML облегчает воспроизведение и манипулирование экспериментами на разных машинах. Она логирует важные детали, такие как установленные пакеты и незакоммиченные изменения. Когда задача поставлена в очередь, ClearML Agent забирает ее, воссоздает среду и запускает эксперимент, отчитываясь о подробных результатах.
Развертывание ClearML Agent является простым и может быть выполнено на различных машинах с помощью следующей команды:
clearml-agent daemon --queue QUEUES_TO_LISTEN_TO [--docker]Эта настройка применима к облачным VM, локальным GPU или ноутбукам. ClearML Autoscalers помогают управлять облачными рабочими нагрузками на таких платформах, как AWS, GCP и Azure, автоматизируя развертывание агентов и регулируя ресурсы в зависимости от твоего бюджетного лимита ресурсов.
Клонирование, редактирование и постановка в очередь
Удобный интерфейс ClearML позволяет легко клонировать, редактировать и ставить задачи в очередь. Пользователи могут клонировать существующий эксперимент, корректировать параметры или другие детали через UI и ставить задачу в очередь на выполнение. Этот оптимизированный процесс гарантирует, что ClearML Agent, выполняющий задачу, использует обновленные конфигурации, что делает его идеальным для итеративных экспериментов и тонкой настройки моделей.
Управление версиями датасетов
ClearML также предлагает мощные возможности управления версиями датасетов, которые бесшовно интегрируются с рабочими процессами обучения YOLO26. Эта функция позволяет тебе:
- Версионировать свои датасеты отдельно от кода
- Отслеживать, какая версия датасета использовалась для каждого эксперимента
- Легко получать доступ и скачивать последнюю версию датасета
Чтобы подготовить свой датасет для ClearML, выполни следующие шаги:
-
Организуй свой датасет в стандартной структуре YOLO (изображения, метки и т.д.)
-
Скопируй соответствующий YAML-файл в корень папки твоего датасета
-
Загрузи свой датасет с помощью инструмента ClearML Data:
cd your_dataset_folder clearml-data sync --project YOLO26 --name your_dataset_name --folder .
Эта команда создаст версионированный датасет в ClearML, на который можно будет ссылаться в твоих скриптах обучения, обеспечивая воспроизводимость и легкий доступ к твоим данным.
Резюме
Это руководство провело тебя через процесс интеграции ClearML с YOLO26 от Ultralytics. Охватив все, от первоначальной настройки до продвинутого управления моделями, ты узнал, как использовать ClearML для эффективного обучения, отслеживания экспериментов и оптимизации рабочих процессов в своих проектах машинного обучения.
Для получения дополнительных сведений об использовании посети официальное руководство по интеграции YOLOv8 с ClearML, которое также применимо к рабочим процессам YOLO26.
Кроме того, изучи другие интеграции и возможности Ultralytics, посетив страницу руководств по интеграциям Ultralytics, которая является сокровищницей ресурсов и инсайтов.
Часто задаваемые вопросы (FAQ)
Каков процесс интеграции Ultralytics YOLO26 с ClearML?
Интеграция Ultralytics YOLO26 с ClearML включает ряд шагов для оптимизации твоего MLOps-рабочего процесса. Сначала установи необходимые пакеты:
pip install ultralytics clearmlЗатем инициализируй ClearML SDK в своей среде с помощью:
clearml-initЗатем ты настраиваешь ClearML с помощью своих учетных данных со страницы настроек ClearML. Подробные инструкции по всему процессу настройки, включая выбор модели и конфигурации обучения, можно найти в нашем руководстве по обучению моделей YOLO26.
Почему мне следует использовать ClearML с Ultralytics YOLO26 для моих проектов машинного обучения?
Использование ClearML с Ultralytics YOLO26 улучшает твои проекты машинного обучения за счет автоматизации отслеживания экспериментов, оптимизации рабочих процессов и обеспечения надежного управления моделями. ClearML предлагает отслеживание метрик в реальном времени, мониторинг использования ресурсов и удобный интерфейс для сравнения экспериментов. Эти функции помогают оптимизировать производительность твоей модели и делают процесс разработки более эффективным. Узнай больше о преимуществах и процедурах в нашем руководстве по интеграции MLOps.
Как устранить распространенные проблемы во время интеграции YOLO26 и ClearML?
Если ты столкнулся с проблемами во время интеграции YOLO26 с ClearML, обратись к нашему руководству по распространенным проблемам за решениями и советами. Типичные проблемы могут включать ошибки установки пакетов, настройки учетных данных или проблемы конфигурации. Это руководство предоставляет пошаговые инструкции по устранению неполадок для эффективного решения этих распространенных проблем.
Как настроить задачу ClearML для обучения модели YOLO26?
Настройка задачи ClearML для обучения YOLO26 включает в себя инициализацию задачи, выбор варианта модели, загрузку модели, настройку аргументов обучения и, наконец, запуск обучения модели. Вот упрощенный пример:
from clearml import Task
from ultralytics import YOLO
# Step 1: Creating a ClearML Task
task = Task.init(project_name="my_project", task_name="my_yolo26_task")
# Step 2: Selecting the YOLO26 Model
model_variant = "yolo26n"
task.set_parameter("model_variant", model_variant)
# Step 3: Loading the YOLO26 Model
model = YOLO(f"{model_variant}.pt")
# Step 4: Setting Up Training Arguments
args = dict(data="coco8.yaml", epochs=16)
task.connect(args)
# Step 5: Initiating Model Training
results = model.train(**args)Обратись к нашему руководству по использованию для подробного разбора этих шагов.
Где я могу посмотреть результаты моего обучения YOLO26 в ClearML?
После запуска твоего скрипта обучения YOLO26 с ClearML ты можешь просмотреть результаты на странице результатов ClearML. Вывод будет включать URL-ссылку на дашборд ClearML, где ты сможешь отслеживать метрики, сравнивать эксперименты и мониторить использование ресурсов. Для получения дополнительных сведений о том, как просматривать и интерпретировать результаты, ознакомься с нашим разделом Просмотр страницы результатов ClearML.