Начать

Новый уровень обучения YOLO26: упрости логирование с Comet

Логирование ключевых сведений об обучении, таких как параметры, метрики, предсказания для изображений и контрольные точки модели, необходимо в сфере машинного обучения: оно обеспечивает прозрачность проекта, позволяет измерять прогресс и воспроизводить результаты.



Смотри: Как использовать Comet для журналов обучения и метрик моделей Ultralytics YOLO 🚀

Ultralytics YOLO26 интегрируется с Comet (ранее Comet ML) для записи процесса обучения твоих моделей обнаружения объектов YOLO26. В этом руководстве рассматриваются установка, настройка Comet, аналитика в реальном времени, пользовательское журналирование и автономный режим, чтобы запуски обучения YOLO26 были задокументированы и воспроизводимы.

Comet#

Comet ML experiment tracking dashboard

Comet — это платформа для отслеживания, сравнения, объяснения и оптимизации моделей машинного обучения и экспериментов. Во время обучения модели она позволяет записывать метрики, параметры, мультимедийные данные и многое другое, а также отслеживать эксперименты через веб-интерфейс. Comet помогает специалистам по данным быстрее проводить итерации, повышает прозрачность и воспроизводимость и способствует разработке моделей для продакшена.

Используй возможности YOLO26 и Comet#

Интеграция Ultralytics YOLO26 с Comet дает несколько преимуществ: упрощает отслеживание экспериментов, предоставляет аналитику в реальном времени для быстрой корректировки, поддерживает гибкое и настраиваемое журналирование, а также позволяет записывать эксперименты автономно при ограниченном доступе к интернету. Эта интеграция помогает принимать решения на основе данных и анализировать метрики производительности.

Установка#

Чтобы установить необходимые пакеты, выполни команду:

Установка
# Install YOLO26 and Comet
pip install ultralytics comet_ml

Настройка Comet#

После установки необходимых пакетов зарегистрируйся, получи ключ API Comet и настрой его.

Настройка Comet
# Set your Comet API Key
export COMET_API_KEY=YOUR_API_KEY

Затем пройди аутентификацию в Comet. Колбэк Ultralytics создаёт эксперимент и использует аргумент обучения YOLO project в качестве имени проекта Comet.

Инициализация проекта Comet
import comet_ml

comet_ml.login()

Если ты работаешь в блокноте Google Colab, приведённый выше код предложит ввести ключ API для инициализации.

Использование#

Использование
from ultralytics import YOLO

# Загрузить модель
model = YOLO("yolo26n.pt")

# Обучить модель
results = model.train(
    data="coco8.yaml",
    project="comet-example-yolo26-coco128",
    batch=32,
    save_period=1,
    save_json=True,
    epochs=3,
)

После запуска кода обучения Comet автоматически создаст эксперимент в твоём рабочем пространстве Comet для отслеживания запуска. Затем ты получишь ссылку, по которой можно посмотреть подробное логирование процесса обучения модели YOLO26.

После установки и настройки Comet его callback включается по умолчанию и записывает такие метрики, как mAP и потери, гиперпараметры, контрольные точки модели и интерактивную матрицу ошибок. Предсказания ограничивающих рамок на изображениях из валидационной выборки записываются для обучения с обнаружением и сегментацией с помощью save_json=True. Чтобы отключить интеграцию, запусти yolo settings comet=False.

Анализ производительности модели с помощью визуализаций Comet#

Когда начнется обучение модели YOLO26, на панели Comet будут отображаться автоматически записанные данные в виде графиков и статистики:

Панели экспериментов

Раздел панелей экспериментов на панели Comet упорядочивает и отображает различные запуски и их метрики, например потери маски сегментации, потери классификации, точность и среднюю точность.

Comet experiment panels comparing YOLO26 training runs and metrics

Метрики

В разделе метрик можно также просматривать их в виде таблицы, которая отображается в отдельной панели, как показано здесь.

Comet metrics pane listing YOLO26 training metrics in a table

Интерактивная матрица ошибок

Матрица ошибок на вкладке «Матрица ошибок» позволяет интерактивно оценивать точность классификации модели. В ней показаны правильные и ошибочные предсказания, что помогает понять сильные и слабые стороны модели.

Comet interactive confusion matrix for YOLO26 validation results

Системные метрики

Comet логирует системные метрики, чтобы помочь выявить узкие места в процессе обучения. Среди них — загрузка GPU, использование памяти GPU, загрузка CPU и использование RAM. Эти метрики необходимы для контроля эффективности использования ресурсов при обучении модели.

Comet system metrics showing GPU and CPU utilization during training

Настройка логирования Comet#

Comet позволяет настраивать поведение логирования с помощью переменных среды. Эти параметры дают возможность адаптировать Comet к твоим потребностям и предпочтениям. Колбэк Ultralytics считывает следующие переменные среды (задай их до начала обучения):

Переменная средыПо умолчаниюОписание
COMET_START_ONLINE1Запуск эксперимента в онлайн-режиме (1) или автономном режиме (0).
COMET_PROJECT_NAMEargs.projectПроект рабочего пространства Comet. Если значение не задано, используется аргумент обучения YOLO project.
COMET_MODEL_NAMEUltralyticsИмя, под которым регистрируется залогированный артефакт модели.
COMET_MAX_IMAGE_PREDICTIONS100Общее число предсказаний на проверочных изображениях, логируемых за один запуск.
COMET_EVAL_BATCH_LOGGING_INTERVAL1Логирование предсказаний на изображениях для каждого N-го проверочного батча.
COMET_EVAL_LOG_IMAGE_PREDICTIONStrueВключение (true) или отключение (false) логирования предсказаний на изображениях.
COMET_EVAL_LOG_CONFUSION_MATRIXfalseЗаписывать матрицу ошибок на каждой контрольной точке save_period. После обучения всегда записывается итоговая матрица.
COMET_MAX_CONFIDENCE_SCORE100.0Множитель для оценок уверенности обнаружения перед логированием (интерфейс Comet ожидает значения в процентах).
COMET_MODE (устарела)onlineУстаревший псевдоним COMET_START_ONLINE ("online" ↔ 1, "offline" ↔ 0). Выводится предупреждение об устаревании.

Для логических переключателей (COMET_EVAL_LOG_IMAGE_PREDICTIONS и COMET_EVAL_LOG_CONFUSION_MATRIX) значения 1, true, yes, on, y и t интерпретируются как True (без учёта регистра). Любое другое значение интерпретируется как False.

Логирование предсказаний на изображениях#

Ты можешь управлять количеством предсказаний на изображениях, которые Comet регистрирует во время экспериментов. С save_json=True Comet регистрирует до 100 предсказаний на изображениях из валидационной выборки. Однако ты можешь изменить это число в соответствии со своими требованиями. Например, чтобы зарегистрировать 200 предсказаний на изображениях, используй следующий код:

import os

os.environ["COMET_MAX_IMAGE_PREDICTIONS"] = "200"

Чтобы отключить регистрацию аннотированных предсказаний на изображениях (например, чтобы уменьшить объем загружаемых данных при медленном подключении), установи для COMET_EVAL_LOG_IMAGE_PREDICTIONS значение "false":

import os

os.environ["COMET_EVAL_LOG_IMAGE_PREDICTIONS"] = "false"

Изображения графиков train_batch*.jpg и val_batch*.jpg по-прежнему регистрируются по завершении обучения.

Интервал логирования батчей#

В Comet можно задать, как часто логируются батчи предсказаний на изображениях. За эту частоту отвечает переменная среды COMET_EVAL_BATCH_LOGGING_INTERVAL. По умолчанию задано значение 1, то есть предсказания логируются для каждого проверочного батча. Измени значение, чтобы логировать предсказания с другим интервалом. Например, значение 4 означает, что предсказания будут логироваться для каждого четвёртого батча.

import os

os.environ["COMET_EVAL_BATCH_LOGGING_INTERVAL"] = "4"

Запись матрицы ошибок после каждой эпохи#

По умолчанию матрица ошибок для валидационного набора записывается один раз после завершения обучения. Чтобы записывать её также на каждой контрольной точке, сохраняемой save_period (save_period=1 сохраняет данные каждую эпоху), задай переменной окружения COMET_EVAL_LOG_CONFUSION_MATRIX значение "true".

import os

os.environ["COMET_EVAL_LOG_CONFUSION_MATRIX"] = "true"

Онлайн- и автономный режимы#

По умолчанию Comet работает в онлайн-режиме и передаёт данные экспериментов на серверы Comet. Если нужно обучать модель без доступа к интернету, задай COMET_START_ONLINE=0 до начала обучения. Данные эксперимента будут сохранены локально, а позже их можно будет загрузить с помощью CLI comet upload.

import os

os.environ["COMET_START_ONLINE"] = "0"  # 1 (по умолчанию) = онлайн, 0 = автономный режим
`COMET_MODE` устарела

В предыдущих версиях для этой цели использовалась COMET_MODE="offline". Для обратной совместимости переменная по-прежнему учитывается, но при её использовании выводится предупреждение об устаревании. В дальнейшем используй COMET_START_ONLINE.

Имя проекта#

По умолчанию колбэк Comet передаёт в Comet аргумент обучения YOLO project (или None, если аргумент не задан; в этом случае Comet использует проект по умолчанию в твоём рабочем пространстве). Чтобы направлять все эксперименты в определённый проект Comet независимо от аргумента обучения YOLO, переопредели это значение с помощью COMET_PROJECT_NAME:

import os

os.environ["COMET_PROJECT_NAME"] = "my-yolo26-experiments"

Имя артефакта модели#

Параметр COMET_MODEL_NAME задаёт имя, под которым Comet регистрирует залогированный артефакт модели (по умолчанию — Ultralytics). Используй его, чтобы различать варианты модели в общем рабочем пространстве:

import os

os.environ["COMET_MODEL_NAME"] = "yolo26n-coco128"

Масштабирование оценок уверенности#

Оценки уверенности обнаружения выдаются в диапазоне [0, 1], но по умолчанию интерфейс Comet отображает их в процентах. Перед логированием колбэк умножает каждую оценку на COMET_MAX_CONFIDENCE_SCORE (по умолчанию 100.0). Измени это значение, если предпочитаешь использовать исходные вероятности или другой масштаб:

import os

os.environ["COMET_MAX_CONFIDENCE_SCORE"] = "1.0"  # логировать исходные оценки в диапазоне [0, 1]

Итоги#

В этом руководстве показано, как интегрировать Comet с Ultralytics YOLO26. Ты научился упрощать управление экспериментами, получать аналитику в реальном времени и настраивать журналирование под нужды своего проекта — от установки до кастомизации.

Изучи официальную документацию Comet по интеграции с YOLOv8, которая также применима к проектам YOLO26.

Часто задаваемые вопросы#

  • Чтобы интегрировать Comet с Ultralytics YOLO26, выполни следующие действия:

    1. Установи необходимые пакеты:

      pip install ultralytics comet_ml
    2. Настрой ключ API Comet:

      export COMET_API_KEY=YOUR_API_KEY
    3. Пройди аутентификацию в Comet в коде Python:

      import comet_ml
      
      comet_ml.login()
    4. Обучи модель YOLO26 и логируй метрики:

      from ultralytics import YOLO
      
      model = YOLO("yolo26n.pt")
      results = model.train(
          data="coco8.yaml",
          project="comet-example-yolo26-coco128",
          batch=32,
          save_period=1,
          save_json=True,
          epochs=3,
      )

    Подробные инструкции см. в разделе о настройке Comet.

  • Интегрировав Ultralytics YOLO26 с Comet, ты сможешь:

    • Отслеживать результаты в реальном времени: мгновенно получать обратную связь о результатах обучения и быстро вносить коррективы.
    • Регистрировать широкий набор метрик: автоматически сохранять важные метрики, такие как mAP, потери, гиперпараметры и контрольные точки модели.
    • Отслеживать эксперименты офлайн: сохранять запуски обучения локально, если нет доступа к интернету.
    • Сравнивать разные запуски обучения: анализировать и сравнивать несколько экспериментов с помощью интерактивной панели Comet.

    Эти возможности помогут оптимизировать рабочие процессы машинного обучения для повышения производительности и воспроизводимости.

  • Comet позволяет гибко настраивать поведение при регистрации данных с помощью переменных среды:

    • Изменить количество регистрируемых предсказаний для изображений:

      import os
      
      os.environ["COMET_MAX_IMAGE_PREDICTIONS"] = "200"
    • Настроить интервал регистрации пакетов:

      import os
      
      os.environ["COMET_EVAL_BATCH_LOGGING_INTERVAL"] = "4"
    • Записывать матрицу ошибок на каждой контрольной точке save_period:

      import os
      
      os.environ["COMET_EVAL_LOG_CONFUSION_MATRIX"] = "true"
    • Задать имя проекта Comet:

      import os
      
      os.environ["COMET_PROJECT_NAME"] = "my-yolo26-experiments"
    • Задать имя регистрируемого артефакта модели:

      import os
      
      os.environ["COMET_MODEL_NAME"] = "yolo26n-coco128"

    Полный список параметров, включая переключатели регистрации предсказаний для изображений, масштабирование оценок уверенности и онлайн- или офлайн-режим, см. в разделе Настройка регистрации данных в Comet.

  • Когда модель YOLO26 начнет обучаться, на панели Comet будут доступны различные метрики и визуализации. Среди основных возможностей:

    • Панели экспериментов: Просматривай разные запуски и их метрики, включая потери масок сегментации, потери классов и среднюю точность.
    • Метрики: изучай метрики в табличном формате для подробного анализа.
    • Интерактивная матрица ошибок: оценивай точность классификации с помощью интерактивной матрицы ошибок.
    • Системные метрики: отслеживай загрузку GPU и CPU, использование памяти и другие системные метрики.

    Подробный обзор этих возможностей см. в разделе Как оценить производительность модели с помощью визуализаций Comet.

  • Да. Перед началом обучения задай COMET_START_ONLINE=0, чтобы сохранять данные локально:

    import os
    
    os.environ["COMET_START_ONLINE"] = "0"

    Данные эксперимента сохраняются на диске, а позднее их можно загрузить в Comet с помощью CLI comet upload, когда появится подключение к сети. Прежняя переменная COMET_MODE="offline" по-прежнему работает, но выводит предупреждение об устаревании. Подробнее см. в разделе Онлайн- и офлайн-режим.

Комментарии5

Задай вопрос, поделись результатами или помоги кому-нибудь.

  1. lauravchrobakGitHub

    I am getting this warning when using the above workflow, 'comet_ml.init() is deprecated and will be removed soon. Please use comet_ml.login()' perhaps the above should be updated to use comet_ml.login() instead?

    1. Paula DerrengerUltralytics

      @lauravchrobak thank you for pointing that out. The warning indicates that comet_ml.init() is deprecated and should be replaced with comet_ml.login(). We will update the documentation accordingly. For now, please use comet_ml.login() to avoid the deprecation warning. If you encounter any further issues, ensure you are using the latest versions of the packages. For more details, you can visit the Comet ML integration guide.

      1
    2. Glenn JocherUltralytics

      Thank you for your feedback! We've updated our documentation to use comet_ml.login() instead of the deprecated comet_ml.init(). This should resolve the warning you're encountering. If you have any other questions or need further assistance, feel free to ask. For more details, you can visit the Comet ML integration guide.