Обучение YOLO11 с ClearML: оптимизация рабочего процесса в MLOps
MLOps устраняет разрыв между созданием и развертыванием моделей машинного обучения в реальных условиях. Основное внимание уделяется эффективному развертыванию, масштабируемости и постоянному управлению для обеспечения хорошей работы моделей в практических приложениях.
Ultralytics YOLO11 легко интегрируется с ClearML, упрощая и улучшая обучение и управление моделью обнаружения объектов. Это руководство проведет вас через процесс интеграции, подробно описывая, как настроить ClearML, управлять экспериментами, автоматизировать управление моделями и эффективно сотрудничать.
ClearML
ClearML это инновационная платформа MLOps с открытым исходным кодом, разработанная для автоматизации, мониторинга и оркестровки рабочих процессов машинного обучения. Ее ключевые особенности включают автоматическое протоколирование всех данных обучения и вывода для полной воспроизводимости экспериментов, интуитивно понятный веб-интерфейс для удобной визуализации и анализа данных, передовые алгоритмы оптимизации гиперпараметров и надежное управление моделями для эффективного развертывания на различных платформах.
YOLO11 Обучение с ClearML
Вы можете автоматизировать и повысить эффективность рабочего процесса машинного обучения, улучшив процесс обучения с помощью интеграции YOLO11 с ClearML.
Установка
Чтобы установить необходимые пакеты, выполните команду:
Для получения подробных инструкций и лучших практик, связанных с процессом установки, обязательно ознакомьтесь с нашим руководством по установкеYOLO11 . При установке необходимых пакетов для YOLO11, если вы столкнетесь с какими-либо трудностями, обратитесь к нашему руководству по общим проблемам, чтобы найти решения и советы.
Настройка ClearML
После установки необходимых пакетов следующим шагом будет инициализация и настройка ClearML SDK. Это включает в себя настройку учетной записи ClearML и получение необходимых учетных данных для беспрепятственного соединения между вашей средой разработки и сервером ClearML .
Начните с инициализации ClearML SDK в вашей среде. Команда 'clearml-init' запускает процесс установки и запрашивает необходимые учетные данные.
После выполнения этой команды перейдите на страницу настроекClearML . Перейдите в правый верхний угол и выберите "Настройки". Перейдите в раздел "Рабочее пространство" и нажмите "Создать новые учетные данные". Используйте учетные данные, указанные во всплывающем окне "Create Credentials", чтобы завершить настройку в соответствии с инструкциями, в зависимости от того, настраиваете ли вы ClearML в Jupyter Notebook или в локальной среде Python .
Использование
Прежде чем приступить к изучению инструкции по эксплуатации, обязательно ознакомьтесь с ассортиментом моделейYOLO11 , предлагаемых компанией Ultralytics. Это поможет вам выбрать наиболее подходящую модель, соответствующую требованиям вашего проекта.
Использование
from clearml import Task
from ultralytics import YOLO
# Step 1: Creating a ClearML Task
task = Task.init(project_name="my_project", task_name="my_yolov8_task")
# Step 2: Selecting the YOLO11 Model
model_variant = "yolo11n"
task.set_parameter("model_variant", model_variant)
# Step 3: Loading the YOLO11 Model
model = YOLO(f"{model_variant}.pt")
# Step 4: Setting Up Training Arguments
args = dict(data="coco8.yaml", epochs=16)
task.connect(args)
# Step 5: Initiating Model Training
results = model.train(**args)
Понимание кодекса
Давайте разберем шаги, показанные в приведенном выше фрагменте кода.
Шаг 1: Создание задачи ClearML : В разделе ClearML инициализируется новая задача, в которой указываются имена проекта и задачи. Эта задача будет отслеживать и управлять обучением вашей модели.
Шаг 2: Выбор модели YOLO11: The model_variant переменная устанавливается в 'yolo11n', одну из моделей YOLO11 . Этот вариант затем регистрируется в ClearML для отслеживания.
Шаг 3: Загрузка модели YOLO11 : Выбранная модель YOLO11 загружается с помощью классов Ultralytics' YOLO , подготавливая ее к обучению.
Шаг 4: Создание учебных аргументов: Ключевые аргументы обучения, такие как набор данных (coco8.yaml) и количество эпохи (16) организованы в словарь и связаны с задачей ClearML . Это позволяет отслеживать и изменять их с помощью пользовательского интерфейса ClearML . Для детального понимания процесса обучения модели и лучших практик, обратитесь к нашей статье YOLO11 Модель Учебное пособие.
Шаг 5: Начало обучения модели: Запускается обучение модели с указанными аргументами. Результаты процесса обучения фиксируются в файле results переменная.
Понимание вывода
Выполнив приведенный выше фрагмент кода, вы можете ожидать следующего результата:
- Подтверждающее сообщение о создании новой задачи ClearML с указанием ее уникального идентификатора.
- Информационное сообщение о сохраненном коде сценария, указывающее на то, что выполнение кода отслеживается на сайте ClearML.
- URL-ссылка на страницу результатов ClearML , где вы можете следить за ходом тренировки и просматривать подробные журналы.
- Загрузите прогресс для модели YOLO11 и указанного набора данных, а затем краткую информацию об архитектуре модели и конфигурации обучения.
- Сообщения инициализации для различных компонентов обучения, таких как TensorBoard, Automatic Mixed Precision (AMP) и подготовка наборов данных.
- Наконец, начинается процесс обучения, в ходе которого обновляется информация о ходе обучения модели на заданном наборе данных. Чтобы получить более подробное представление о показателях производительности, используемых в процессе обучения, прочитайте наше руководство по показателям производительности.
Просмотр страницы результатов ClearML
Щелкнув по URL-ссылке на страницу результатов ClearML в выводе фрагмента кода использования, вы можете получить доступ к полному представлению процесса обучения вашей модели.
Ключевые особенности страницы результатов ClearML
-
Отслеживание показателей в режиме реального времени
- Отслеживайте такие важные показатели, как потери, точность и оценки проверки, по мере их возникновения.
- Обеспечивает мгновенную обратную связь для своевременной корректировки работы модели.
-
Сравнение экспериментов
- Сравните разные тренировки между собой.
- Необходим для настройки гиперпараметров и выявления наиболее эффективных моделей.
-
Подробные журналы и выходные данные
- Доступ к полным журналам, графическим представлениям показателей и выводам консоли.
- Получите более глубокое понимание поведения модели и решения проблем.
-
Мониторинг использования ресурсов
- Контролируйте использование вычислительных ресурсов, включая CPU, GPU и память.
- Ключ к оптимизации эффективности и стоимости обучения.
-
Управление артефактами модели
- Просматривайте, загружайте и делитесь артефактами модели, такими как обученные модели и контрольные точки.
- Улучшает совместную работу и упрощает развертывание и обмен моделями.
Чтобы получить наглядное представление о том, как выглядит страница результатов ClearML , посмотрите видео ниже:
Смотреть: YOLO11 Интеграция MLOps с использованием ClearML
Дополнительные возможности в ClearML
ClearML предлагает несколько расширенных функций для повышения эффективности работы с MLOps.
Удаленное выполнение
ClearMLФункция удаленного выполнения позволяет воспроизводить эксперименты и манипулировать ими на разных машинах. Она регистрирует такие важные данные, как установленные пакеты и незафиксированные изменения. Когда задание поставлено в очередь, агент ClearML получает его, воссоздает среду и запускает эксперимент, сообщая подробные результаты.
Развертывание агента ClearML не требует особых усилий и может быть выполнено на различных машинах с помощью следующей команды:
Эта настройка применима к облачным виртуальным машинам, локальным GPU или ноутбукам. ClearML Автоскалеры помогают управлять облачными рабочими нагрузками на таких платформах, как AWS, GCP и Azure, автоматизируя развертывание агентов и регулируя ресурсы в зависимости от бюджета.
Клонирование, редактирование и загрузка
ClearMLУдобный интерфейс позволяет легко клонировать, редактировать и регистрировать задания. Пользователи могут клонировать существующий эксперимент, изменить параметры или другие детали с помощью пользовательского интерфейса и подать заявку на выполнение задачи. Такой упрощенный процесс гарантирует, что агент ClearML , выполняющий задание, использует обновленные конфигурации, что делает его идеальным для итеративных экспериментов и точной настройки модели.
Резюме
Это руководство провело вас через процесс интеграции ClearML с Ultralytics' YOLO11. Охватив все, от начальной настройки до расширенного управления моделями, вы узнали, как использовать ClearML для эффективного обучения, отслеживания экспериментов и оптимизации рабочего процесса в ваших проектах машинного обучения.
Более подробную информацию об использовании можно найти в официальной документацииClearML.
Кроме того, вы можете узнать больше об интеграциях и возможностях Ultralytics , посетив страницу руководства по интеграцииUltralytics , которая представляет собой сокровищницу ресурсов и знаний.
ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ
Каков процесс интеграции Ultralytics YOLO11 с ClearML?
Интеграция Ultralytics YOLO11 с ClearML включает в себя ряд шагов, которые позволят оптимизировать рабочий процесс MLOps. Сначала установите необходимые пакеты:
Затем инициализируйте ClearML SDK в вашей среде, используя:
Затем вы настраиваете ClearML с помощью своих учетных данных на странице настроекClearML . Подробные инструкции по всему процессу настройки, включая выбор модели и конфигурации обучения, можно найти в нашем руководствеYOLO11 Model Training.
Почему я должен использовать ClearML с Ultralytics YOLO11 для проектов машинного обучения?
Использование ClearML с Ultralytics YOLO11 улучшает проекты машинного обучения, автоматизируя отслеживание экспериментов, оптимизируя рабочие процессы и обеспечивая надежное управление моделями. ClearML предлагает отслеживание метрик в реальном времени, мониторинг использования ресурсов и удобный интерфейс для сравнения экспериментов. Эти функции помогают оптимизировать работу модели и сделать процесс разработки более эффективным. Узнайте больше о преимуществах и процедурах в нашем руководстве по интеграции MLOps.
Как устранить общие проблемы при интеграции YOLO11 и ClearML ?
Если вы столкнулись с проблемами при интеграции YOLO11 с ClearML, обратитесь к нашему руководству по общим проблемам, чтобы найти решения и советы. Типичные проблемы могут быть связаны с ошибками при установке пакетов, настройкой учетных данных или проблемами конфигурации. В этом руководстве приведены пошаговые инструкции по устранению неисправностей для эффективного решения этих распространенных проблем.
Как настроить задачу ClearML для обучения модели YOLO11 ?
Настройка задачи ClearML для обучения YOLO11 включает инициализацию задачи, выбор варианта модели, загрузку модели, настройку аргументов обучения и, наконец, запуск обучения модели. Приведем упрощенный пример:
from clearml import Task
from ultralytics import YOLO
# Step 1: Creating a ClearML Task
task = Task.init(project_name="my_project", task_name="my_yolov8_task")
# Step 2: Selecting the YOLO11 Model
model_variant = "yolo11n"
task.set_parameter("model_variant", model_variant)
# Step 3: Loading the YOLO11 Model
model = YOLO(f"{model_variant}.pt")
# Step 4: Setting Up Training Arguments
args = dict(data="coco8.yaml", epochs=16)
task.connect(args)
# Step 5: Initiating Model Training
results = model.train(**args)
Подробное описание этих шагов см. в нашем руководстве по использованию.
Где я могу просмотреть результаты моего обучения на YOLO11 в ClearML?
После выполнения обучающего скрипта YOLO11 с помощью ClearML вы можете просмотреть результаты на странице результатов ClearML . Результаты будут содержать URL-ссылку на панель управления ClearML , где вы можете отслеживать метрики, сравнивать эксперименты и контролировать использование ресурсов. Подробнее о том, как просматривать и интерпретировать результаты, читайте в разделе Просмотр страницы результатов ClearML .
