Обучение YOLO11 с ClearML: оптимизация рабочего процесса в MLOps
MLOps bridges the gap between creating and deploying machine learning models in real-world settings. It focuses on efficient deployment, scalability, and ongoing management to ensure models perform well in practical applications.
Ultralytics YOLO11 effortlessly integrates with ClearML, streamlining and enhancing your object detection model's training and management. This guide will walk you through the integration process, detailing how to set up ClearML, manage experiments, automate model management, and collaborate effectively.
ClearML
ClearML is an innovative open-source MLOps platform that is skillfully designed to automate, monitor, and orchestrate machine learning workflows. Its key features include automated logging of all training and inference data for full experiment reproducibility, an intuitive web UI for easy data visualization and analysis, advanced hyperparameter optimization algorithms, and robust model management for efficient deployment across various platforms.
Тренировка YOLO11 с ClearML
Ты можешь привнести автоматизацию и эффективность в рабочий процесс машинного обучения, улучшив процесс обучения с помощью интеграции YOLO11 с ClearML.
Установка
Чтобы установить необходимые пакеты, выполни:
For detailed instructions and best practices related to the installation process, be sure to check our YOLO11 Installation guide. While installing the required packages for YOLO11, if you encounter any difficulties, consult our Common Issues guide for solutions and tips.
Настройка ClearML
После того как ты установил необходимые пакеты, следующим шагом будет инициализация и настройка твоего ClearML SDK. Это включает в себя настройку твоего аккаунта ClearML и получение необходимых учетных данных для беспрепятственного соединения между твоей средой разработки и сервером ClearML.
Начнем с инициализации ClearML SDK в вашей среде. Команда 'clearml-init' запускает процесс установки и запрашивает необходимые учетные данные.
Выполнив эту команду, зайди на страницу настроекClearML . Перейди в правый верхний угол и выбери "Настройки". Перейди в раздел "Рабочее пространство" и нажми на "Создать новые учетные данные". Используй учетные данные, указанные во всплывающем окне "Create Credentials", чтобы завершить настройку в соответствии с инструкциями, в зависимости от того, настраиваешь ли ты ClearML в Jupyter Notebook или в локальной среде Python .
Использование
Прежде чем погрузиться в инструкцию по использованию, обязательно ознакомься с ассортиментом моделей YOLO11, предлагаемых на сайте Ultralytics. Это поможет тебе выбрать наиболее подходящую модель под требования твоего проекта.
Использование
from clearml import Task
from ultralytics import YOLO
# Step 1: Creating a ClearML Task
task = Task.init(project_name="my_project", task_name="my_yolov8_task")
# Step 2: Selecting the YOLO11 Model
model_variant = "yolo11n"
task.set_parameter("model_variant", model_variant)
# Step 3: Loading the YOLO11 Model
model = YOLO(f"{model_variant}.pt")
# Step 4: Setting Up Training Arguments
args = dict(data="coco8.yaml", epochs=16)
task.connect(args)
# Step 5: Initiating Model Training
results = model.train(**args)
Понимание кода
Давайте разберемся в шагах, показанных в приведенном выше фрагменте кода использования.
Шаг 1: Создание задачи ClearML : Новая задача инициализируется в разделе ClearML, где указываются имена проекта и задачи. Эта задача будет отслеживать и управлять обучением твоей модели.
Step 2: Selecting the YOLO11 Model: The model_variant Переменная устанавливается на 'yolo11n', одну из моделей YOLO11. Затем этот вариант регистрируется на сайте ClearML для отслеживания.
Step 3: Loading the YOLO11 Model: The selected YOLO11 model is loaded using Ultralytics' YOLO class, preparing it for training.
Шаг 4: Установка тренировочных аргументов: Основные аргументы в пользу обучения, такие как набор данных (coco8.yaml) and the number of Эпохи (16) организованы в словарь и связаны с заданием ClearML . Это позволяет отслеживать и вносить возможные изменения через пользовательский интерфейс ClearML . Для детального понимания процесса обучения модели и лучших практик, обратись к нашему YOLO11 Model Training guide.
Шаг 5: Начало обучения модели: Тренировка модели запускается с указанными аргументами. Результаты процесса обучения фиксируются в файле results переменная.
Понимание вывода
Запустив приведенный выше фрагмент кода использования, ты можешь ожидать следующего результата:
- Подтверждающее сообщение о создании новой задачи ClearML, а также ее уникальный ID.
- Информационное сообщение о хранящемся коде скрипта, указывающее на то, что выполнение кода отслеживается ClearML.
- URL-ссылка на страницу результатов ClearML, где ты сможешь следить за ходом тренировки и просматривать подробные журналы.
- Загрузи прогресс для модели YOLO11 и указанного набора данных, а затем кратко расскажи об архитектуре модели и конфигурации обучения.
- Initialization messages for various training components like TensorBoard, Automatic Mixed Precision (AMP), and dataset preparation.
- И наконец, начинается процесс обучения, в ходе которого обновляется информация о прогрессе по мере того, как модель тренируется на заданном наборе данных. Для более глубокого понимания метрик производительности, используемых в процессе обучения, прочти наше руководство по метрикам производительности.
Просмотр страницы результатов ClearML
Нажав на URL-ссылку на страницу результатов ClearML в выводе фрагмента кода использования, ты сможешь получить доступ к комплексному представлению процесса обучения твоей модели.
Ключевые особенности страницы результатов ClearML
Отслеживание показателей в режиме реального времени
- Track critical metrics like loss, accuracy, and validation scores as they occur.
- Обеспечивает мгновенную обратную связь для своевременной корректировки работы модели.
Сравнение экспериментов
- Сравнивай разные тренировки бок о бок.
- Essential for hyperparameter tuning and identifying the most effective models.
Подробные журналы и результаты
- Получи доступ к исчерпывающим журналам, графическим представлениям метрик и консольным выводам.
- Получи более глубокое понимание поведения модели и решения проблем.
Мониторинг использования ресурсов
- Следи за использованием вычислительных ресурсов, включая CPU, GPU, и память.
- Ключ к оптимизации эффективности и стоимости тренировок.
Управление артефактами модели
- Просматривай, загружай и делись артефактами модели, такими как обученные модели и контрольные точки.
- Enhances collaboration and streamlines model deployment and sharing.
Чтобы наглядно увидеть, как выглядит страница результатов ClearML, посмотри видео ниже:
Смотри: YOLO11 MLOps Integration using ClearML
Дополнительные возможности в ClearML
ClearML предлагает несколько дополнительных функций, которые улучшат твой опыт работы с MLOps.
Удаленное выполнение
Функция удаленного выполнения ClearML облегчает воспроизведение и манипулирование экспериментами на разных машинах. Она регистрирует такие важные детали, как установленные пакеты и незафиксированные изменения. Когда задание ставится в очередь, ClearML Agent получает его, воссоздает окружение и запускает эксперимент, сообщая подробные результаты.
Развертывание агента ClearML Agent очень простое и может быть выполнено на разных машинах с помощью следующей команды:
Эта настройка применима к облачным ВМ, локальным GPU или ноутбукам. Автоскалеры ClearML помогают управлять облачными рабочими нагрузками на таких платформах, как AWS, GCP и Azure, автоматизируя развертывание агентов и регулируя ресурсы в зависимости от твоего ресурсного бюджета.
Клонирование, редактирование и загрузка
Удобный интерфейс ClearML позволяет легко клонировать, редактировать и зачислять задания. Пользователи могут клонировать существующий эксперимент, настроить параметры или другие детали через пользовательский интерфейс и подать задание на выполнение. Такой упрощенный процесс гарантирует, что агент ClearML, выполняющий задание, использует обновленные конфигурации, что делает его идеальным для итеративных экспериментов и тонкой настройки модели.
Резюме
Это руководство провело тебя через процесс интеграции ClearML с Ultralytics' YOLO11. Охватив все, от начальной настройки до продвинутого управления моделями, ты узнал, как использовать ClearML для эффективного обучения, отслеживания экспериментов и оптимизации рабочего процесса в твоих проектах машинного обучения.
Более подробную информацию об использовании можно найти в официальной документацииClearML.
Кроме того, изучи больше интеграций и возможностей Ultralytics , посетив страницу руководства по интеграцииUltralytics , которая является кладезем ресурсов и знаний.
ВОПРОСЫ И ОТВЕТЫ
Каков процесс интеграции Ultralytics YOLO11 с ClearML?
Интеграция Ultralytics YOLO11 с ClearML включает в себя ряд шагов, которые позволят оптимизировать твой рабочий процесс MLOps. Для начала установи необходимые пакеты:
Далее инициализируй ClearML SDK в своем окружении, используя:
You then configure ClearML with your credentials from the ClearML Settings page. Detailed instructions on the entire setup process, including model selection and training configurations, can be found in our YOLO11 Model Training guide.
Почему я должен использовать ClearML с Ultralytics YOLO11 для своих проектов машинного обучения?
Using ClearML with Ultralytics YOLO11 enhances your machine learning projects by automating experiment tracking, streamlining workflows, and enabling robust model management. ClearML offers real-time metrics tracking, resource utilization monitoring, and a user-friendly interface for comparing experiments. These features help optimize your model's performance and make the development process more efficient. Learn more about the benefits and procedures in our MLOps Integration guide.
Как устранить типичные проблемы при интеграции YOLO11 и ClearML ?
If you encounter issues during the integration of YOLO11 with ClearML, consult our Common Issues guide for solutions and tips. Typical problems might involve package installation errors, credential setup, or configuration issues. This guide provides step-by-step troubleshooting instructions to resolve these common issues efficiently.
Как настроить задание ClearML для тренировки модели YOLO11?
Настройка задачи ClearML для тренировки YOLO11 включает в себя инициализацию задачи, выбор варианта модели, загрузку модели, установку аргументов для тренировки и, наконец, запуск тренировки модели. Вот упрощенный пример:
from clearml import Task
from ultralytics import YOLO
# Step 1: Creating a ClearML Task
task = Task.init(project_name="my_project", task_name="my_yolov8_task")
# Step 2: Selecting the YOLO11 Model
model_variant = "yolo11n"
task.set_parameter("model_variant", model_variant)
# Step 3: Loading the YOLO11 Model
model = YOLO(f"{model_variant}.pt")
# Step 4: Setting Up Training Arguments
args = dict(data="coco8.yaml", epochs=16)
task.connect(args)
# Step 5: Initiating Model Training
results = model.train(**args)
Обратись к нашему руководству по использованию за подробным описанием этих шагов.
Где можно посмотреть результаты тренировки YOLO11 на сайте ClearML?
After running your YOLO11 training script with ClearML, you can view the results on the ClearML results page. The output will include a URL link to the ClearML dashboard, where you can track metrics, compare experiments, and monitor resource usage. For more details on how to view and interpret the results, check our section on Viewing the ClearML Results Page.
