Интеграция Roboflow

Roboflow представляет собой набор инструментов, предназначенных для построения и развертывания моделей компьютерного зрения. Вы можете интегрировать Roboflow на различных этапах разработки, используя его API и SDK, или использовать его сквозной интерфейс для управления процессом от сбора изображений до вывода заключений. Roboflow предлагает функциональные возможности для маркировки данных, обучения моделей и их развертывания, обеспечивая компоненты для разработки индивидуальных решений в области компьютерного зрения вместе с инструментами Ultralytics .

В этом руководстве показано, как находить, маркировать и организовывать данные для обучения пользовательской Ultralytics YOLO11 с помощью Roboflow.

• Сбор данных для обучения пользовательской модели YOLO11
• Загрузка, преобразование и маркировка данных для формата YOLO11 .
• Предварительная обработка и дополнение данных для повышения надежности модели
• Управление наборами данных для YOLO11
• Экспорт данных в 40+ форматов для обучения моделей
• Загрузите пользовательские веса моделей YOLO11 для тестирования и развертывания.
• Как оценить модели YOLO11
• Учебные ресурсы
• Витрина проектов
• ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ

Сбор данных для обучения пользовательской модели YOLO11

Roboflow предлагает два основных сервиса для сбора данных длямоделей Ultralytics YOLO : Universe и Collect. Для получения более подробной информации о стратегиях сбора данных обратитесь к нашему Руководству по сбору данных и аннотациям.

Roboflow Вселенная

Roboflow Universe - это онлайн-репозиторий, содержащий большое количество наборов данных по зрению.

Имея учетную запись Roboflow , вы можете экспортировать наборы данных, доступные во Вселенной. Чтобы экспортировать набор данных, воспользуйтесь кнопкой "Загрузить этот набор данных" на странице соответствующего набора данных.

Для совместимости с Ultralytics YOLO11выберитеYOLO11" в качестве формата экспорта:

В Universe также есть страница, на которой собраны публичные модели YOLO с тонкой настройкой, загруженные в Roboflow. Это может быть полезно для изучения предварительно обученных моделей для тестирования или автоматической маркировки данных.

Roboflow Collect

Если вы предпочитаете собирать изображения самостоятельно, Roboflow Collect - это проект с открытым исходным кодом, позволяющий автоматически собирать изображения через веб-камеру на устройствах, расположенных на границе. Вы можете использовать текстовые или графические подсказки для указания данных, которые необходимо собрать, что поможет получить только необходимые изображения для вашей модели видения.

Загрузка, преобразование и маркировка данных для формата YOLO11 .

Roboflow Annotate - это онлайн-инструмент для маркировки изображений для различных задач компьютерного зрения, включая обнаружение объектов, классификацию и сегментацию.

Для маркировки данных для Ultralytics YOLO (которая поддерживает обнаружение, сегментацию экземпляров, классификацию, оценку позы и OBB), начните с создания проекта в Roboflow.

Затем загрузите в Roboflow свои изображения и все существующие аннотации из других инструментов.

После загрузки вы попадете на страницу "Аннотирование". Выберите партию загруженных изображений и нажмите "Начать аннотирование", чтобы начать маркировку.

Инструменты аннотации

• Аннотация ограничительной рамки: Нажмите B или щелкните значок коробки. Нажмите и перетащите, чтобы создать ограничительная рамка. Во всплывающем окне вам будет предложено выбрать класс для аннотации.

• Аннотация полигона: Используется для сегментация экземпляров. Нажмите P или щелкните значок многоугольника. Щелкните точки вокруг объекта, чтобы нарисовать многоугольник.

Label AssistantSAM интеграция сSAM )

В Roboflow интегрирован помощник по работе с метками на основе модели Segment Anything Model (SAM), что позволяет ускорить процесс аннотирования.

Чтобы воспользоваться помощником по работе с метками, нажмите на значок курсора в боковой панели. SAM будет включен для вашего проекта.

Наведите курсор на объект, и SAM может предложить аннотацию. Щелкните, чтобы принять аннотацию. Вы можете уточнить специфику аннотации, щелкнув внутри или за пределами предложенной области.

Метки

Вы можете добавлять теги к изображениям с помощью панели "Теги" на боковой панели. Теги могут представлять такие атрибуты, как местоположение, источник камеры и т. д. Эти теги позволяют искать конкретные изображения и генерировать версии наборов данных, содержащие изображения с определенными тегами.

Помощь при наклеивании этикеток (на основе моделей)

Модели, размещенные на Roboflow , можно использовать с Label Assist, автоматизированным инструментом аннотирования, который использует ваши обученные YOLO11 модель, чтобы предложить аннотации. Сначала загрузите весовые коэффициенты модели YOLO11 в Roboflow (см. инструкции ниже). Затем активируйте Label Assist, нажав на значок волшебной палочки в левой боковой панели и выбрав свою модель.

Выберите свою модель и нажмите "Продолжить", чтобы включить функцию Label Assist:

Когда вы открываете новые изображения для аннотирования, Label Assist может автоматически предлагать аннотации на основе прогнозов вашей модели.

Управление наборами данных для YOLO11

Roboflow предоставляет несколько инструментов для понимания и управления наборами данных компьютерного зрения.

Поиск данных

Используйте поиск по набору данных, чтобы найти изображения на основе семантических текстовых описаний (например, "найти все изображения, содержащие людей") или конкретных меток/тегов. Для доступа к этой функции нажмите "Набор данных" в боковой панели и используйте строку поиска и фильтры.

Например, поиск изображений, содержащих людей:

Вы можете уточнить поиск по тегам с помощью селектора "Теги":

Проверка здоровья

Перед обучением используйте Roboflow Health Check, чтобы получить представление о вашем наборе данных и определить возможные улучшения. Доступ к нему осуществляется по ссылке "Проверка здоровья" на боковой панели. Она содержит статистику по размерам изображений, балансу классов, тепловым картам аннотаций и многое другое.

Проверка состояния может предложить изменения для повышения производительности, например, устранение дисбаланса классов, выявленного в функции баланса классов. Понимание состояния набора данных очень важно для эффективного обучения модели.

Предварительная обработка и дополнение данных для повышения надежности модели

Чтобы экспортировать данные, необходимо создать версию набора данных, которая представляет собой снимок набора данных в определенный момент времени. Нажмите "Версии" на боковой панели, затем "Создать новую версию". Здесь вы можете применить шаги предварительной обработки и дополнения данных для потенциального повышения надежности модели.

Для каждого выбранного дополнения во всплывающем окне можно точно настроить его параметры, например яркость. Правильное увеличение может значительно улучшить обобщение модели, что является ключевым понятием, обсуждаемым в нашем руководстве по обучению моделей.

Экспорт данных в 40+ форматов для обучения моделей

После создания версии набора данных вы можете экспортировать его в различные форматы, подходящие для обучения модели. Нажмите кнопку "Экспорт набора данных" на странице версии.

Выберите форматYOLO11" для совместимости с конвейерами обучения Ultralytics . Теперь вы готовы к обучению вашего пользовательского YOLO11 модели. Обратитесь к документации по режиму обученияUltralytics для получения подробных инструкций по запуску обучения с экспортированным набором данных.

Загрузите пользовательские веса моделей YOLO11 для тестирования и развертывания.

Roboflow предлагает масштабируемый API для развернутых моделей и SDK, совместимые с такими устройствами, как NVIDIA Jetson, Luxonis OAK, Raspberry Pi и системами GPU. Изучите различные варианты развертывания моделей в наших руководствах.

Вы можете развернуть модели YOLO11 , загрузив их веса в Roboflow с помощью простой программы Python скрипт.

Создайте новый файл Python и добавьте в него следующий код:

import roboflow  # install with 'pip install roboflow'

# Log in to Roboflow (requires API key)
roboflow.login()

# Initialize Roboflow client
rf = roboflow.Roboflow()

# Define your workspace and project details
WORKSPACE_ID = "your-workspace-id"  # Replace with your actual Workspace ID
PROJECT_ID = "your-project-id"  # Replace with your actual Project ID
VERSION = 1  # Replace with your desired dataset version number
MODEL_PATH = "path/to/your/runs/detect/train/"  # Replace with the path to your YOLO11 training results directory

# Get project and version
project = rf.workspace(WORKSPACE_ID).project(PROJECT_ID)
dataset = project.version(VERSION)

# Upload model weights for deployment
# Ensure model_path points to the directory containing 'best.pt'
project.version(dataset.version).deploy(
    model_type="yolov8", model_path=MODEL_PATH
)  # Note: Use "yolov8" as model_type for YOLO11 compatibility in Roboflow deployment

print(f"Model from {MODEL_PATH} uploaded to Roboflow project {PROJECT_ID}, version {VERSION}.")
print("Deployment may take up to 30 minutes.")

В этом коде замените your-workspace-id, your-project-id, the VERSION номер, и MODEL_PATH со значениями, характерными для вашего аккаунта Roboflow , проекта и локального каталога результатов обучения. Убедитесь, что MODEL_PATH правильно указывает на каталог, содержащий ваш обученный best.pt весовой файл.

Когда вы запустите приведенный выше код, вам будет предложено пройти аутентификацию (обычно с помощью ключа API). Затем ваша модель будет загружена, и для вашего проекта будет создана конечная точка API. Этот процесс может занять до 30 минут.

Чтобы протестировать свою модель и найти инструкции по развертыванию для поддерживаемых SDK, перейдите на вкладку "Развертывание" в боковой панели Roboflow . В верхней части этой страницы появится виджет, позволяющий протестировать модель с помощью веб-камеры или загрузив изображения или видео.

Загруженную модель также можно использовать в качестве помощника по маркировке, предлагая аннотации к новым изображениям на основе ее обучения.

Как оценить модели YOLO11

Roboflow предоставляет возможности для оценки производительности модели. Понимание показателей эффективности очень важно для итерации модели.

После загрузки модели откройте инструмент оценки модели на странице модели на приборной панели Roboflow . Нажмите "Просмотреть подробную оценку".

Этот инструмент отображает матрицу путаницы, иллюстрирующую эффективность модели, и интерактивный график векторного анализа с использованием вкраплений CLIP. Эти функции помогают определить области для улучшения модели.

Всплывающая матрица путаницы:

Наведите курсор на ячейки, чтобы увидеть значения, и нажмите на ячейки, чтобы просмотреть соответствующие изображения с прогнозами модели и данными, полученными в результате исследования.

Нажмите "Векторный анализ", чтобы получить диаграмму рассеяния, визуализирующую сходство изображений на основе вкраплений CLIP. Изображения, расположенные ближе друг к другу, семантически схожи. Точки представляют изображения, окрашенные в цвета от белого (хорошая работа) до красного (плохая работа).

Векторный анализ помогает:

• Определите кластеры изображений.
• Определите кластеры, в которых модель работает плохо.
• Поймите общие черты изображений, вызывающих низкую производительность.

Учебные ресурсы

Изучите эти ресурсы, чтобы узнать больше об использовании Roboflow с Ultralytics YOLO11:

• Обучение YOLO11 на пользовательском наборе данных (Colab): Интерактивный блокнот Google Colab, который поможет вам обучить YOLO11 на ваших данных.
• ДокументацияYOLO11 : Узнайте о подготовке, экспорте и развертывании моделей YOLO11 в рамках Ultralytics .
• БлогUltralytics : Статьи о компьютерном зрении, включая обучениеYOLO11 и лучшие практики аннотирования.
• КаналUltralytics на YouTube: Предлагает подробные видеоруководства по темам компьютерного зрения, от обучения моделей до автоматической маркировки и развертывания.

Витрина проектов

Отзывы пользователей, сочетающих Ultralytics YOLO11 и Roboflow:

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ

Часто задаваемые вопросы

Как маркировать данные для моделей YOLO11 с помощью Roboflow?

Используйте Roboflow Annotate. Создайте проект, загрузите изображения и используйте инструменты аннотации (B для ограничительные рамки, P для многоугольников) или ассистент маркировки SAM для ускорения маркировки. Подробные шаги доступны в Раздел "Загрузка, преобразование и маркировка данных.

Какие услуги предлагает Roboflow для сбора данных об обучении YOLO11 ?

Roboflow предоставляет Universe (доступ к многочисленным наборам данных) и Collect (автоматический сбор изображений с помощью веб-камеры). Они помогут получить необходимые обучающие данные для вашей модели YOLO11 , дополняя стратегии, описанные в нашем Руководстве по сбору данных.

Как управлять и анализировать набор данных YOLO11 с помощью Roboflow?

Используйте функции Roboflow по поиску, тегированию и проверке здоровья наборов данных. Поиск находит изображения по тексту или тегам, а функция Health Check анализирует качество набора данных (баланс классов, размеры изображений и т. д.), чтобы направить его на улучшение перед обучением. Подробности см. в разделе "Управление наборами данных".

Как экспортировать набор данных YOLO11 из Roboflow?

Создайте версию набора данных в Roboflow, примените необходимые предварительные обработки и дополнения, затем нажмите "Экспорт набора данных" и выберите формат YOLO11 . Процесс описан в разделе "Экспорт данных". Это подготовит ваши данные для использования вобучающих конвейерах Ultralytics .

Как интегрировать и развернуть модели YOLO11 с помощью Roboflow?

Загрузите обученные веса YOLO11 в Roboflow с помощью прилагаемого Python . При этом создается развертываемая конечная точка API. Сценарий и инструкции см. в разделе "Загрузка пользовательских весов". Изучите другие варианты развертывания в нашей документации.

📅 Создано 1 год назад ✏️ Обновлено 27 дней назад

Комментарии