Roboflow

Roboflow содержит все необходимое для построения и развертывания моделей компьютерного зрения. Подключите Roboflow на любом этапе вашего конвейера с помощью API и SDK или используйте сквозной интерфейс для автоматизации всего процесса от изображения до вывода. Независимо от того, требуется ли вам маркировка данных, обучение модели или ее развертывание, Roboflow предоставляет вам строительные блоки для создания индивидуальных решений для компьютерного зрения в вашем проекте.

В этом руководстве мы покажем, как находить, маркировать и организовывать данные для использования в обучении пользовательской модели Ultralytics YOLO11 . Используйте оглавление ниже, чтобы перейти непосредственно к определенному разделу:

• Сбор данных для обучения пользовательской модели YOLO11
• Загрузка, преобразование и маркировка данных для формата YOLO11 .
• Предварительная обработка и дополнение данных для повышения надежности модели
• Управление наборами данных для YOLO11
• Экспорт данных в 40+ форматов для обучения моделей
• Загрузите пользовательские веса моделей YOLO11 для тестирования и развертывания.
• Сбор данных для обучения пользовательской модели YOLO11

Roboflow предоставляет две службы, которые помогут вам собрать данные для моделей YOLO11 : Universe и Collect.

Universe - это онлайн-репозиторий, содержащий более 250 000 наборов данных по зрению, включающих в себя более 100 миллионов изображений.

Имея бесплатную учетную запись Roboflow , вы можете экспортировать любой набор данных, доступный в Universe. Чтобы экспортировать набор данных, нажмите кнопку "Загрузить этот набор данных" на любом наборе данных.

Для YOLO11 выберите "YOLO11" в качестве формата экспорта:

В Universe также есть страница, на которой собраны все публичные модели с тонкой настройкой YOLO11 , загруженные на Roboflow. Вы можете использовать эту страницу для изучения предварительно обученных моделей, которые можно использовать для тестирования или для автоматической маркировки данных, а также для создания прототипов для выводаRoboflow .

Если вы хотите собирать изображения самостоятельно, попробуйте Collect- проект с открытым исходным кодом, который позволяет автоматически собирать изображения с помощью веб-камеры на краю экрана. В Collect можно использовать текстовые или графические подсказки, чтобы указать, какие данные следует собрать, что позволит вам получить только полезные данные, необходимые для построения модели зрения.

Загрузка, преобразование и маркировка данных для формата YOLO11 .

Roboflow Annotate - это онлайн-инструмент для маркировки изображений с целью обнаружения, классификации и сегментации объектов.

Чтобы разметить данные для модели обнаружения объектов, сегментации экземпляров или классификации YOLO11 , сначала создайте проект в Roboflow.

Затем загрузите изображения и все аннотации, которые уже были сделаны с помощью других инструментов(используя один из 40+ поддерживаемых форматов импорта), на сайт Roboflow.

Выберите партию загруженных изображений на странице "Аннотирование", на которую вы попадаете после загрузки изображений. Затем нажмите кнопку "Начать аннотирование", чтобы пометить изображения.

Чтобы сделать метку с ограничительными рамками, нажмите кнопку B на клавиатуре или щелкните значок коробки на боковой панели. Щелкните на точке, с которой вы хотите начать ограничительная рамкаЗатем перетащите, чтобы создать коробку:

После создания аннотации появится всплывающее окно с предложением выбрать класс для аннотации.

Чтобы наклеить многоугольники, нажмите кнопку P на клавиатуре или значок полигона на боковой панели. Включив инструмент аннотации многоугольников, щелкните отдельные точки на изображении, чтобы нарисовать многоугольник.

Roboflow предлагает ассистент маркировки на базе SAM, с помощью которого вы сможете маркировать изображения быстрее, чем когда-либо. SAM (Segment Anything Model) - это современная модель компьютерного зрения, которая позволяет точно маркировать изображения. С помощью SAM можно значительно ускорить процесс маркировки изображений. Аннотирование изображений с помощью многоугольников становится простым, а не утомительным процессом точного выделения точек вокруг объекта.

Чтобы воспользоваться помощником по созданию этикеток, нажмите на значок курсора в боковой панели, и SAM будет загружен для использования в вашем проекте.

Наведите курсор на любой объект на изображении, и SAM порекомендует аннотацию. Вы можете навести курсор, чтобы найти подходящее место для аннотации, а затем щелкнуть, чтобы создать аннотацию. Чтобы изменить аннотацию на более или менее конкретную, вы можете щелкнуть внутри или за пределами аннотации, созданной SAM на документе.

Вы также можете добавлять теги к изображениям с панели "Теги" на боковой панели. Теги можно применить к данным из определенной области, снятым с определенной камеры и т. д. Эти метки можно использовать для поиска в данных изображений, соответствующих метке, и создания версий набора данных с изображениями, содержащими определенную метку или набор меток.

Модели, размещенные на Roboflow , можно использовать с Label Assist, инструментом для автоматического аннотирования, который использует вашу модель YOLO11 для рекомендации аннотаций. Чтобы использовать Label Assist, сначала загрузите модель YOLO11 на Roboflow (см. инструкции далее в руководстве). Затем нажмите на значок волшебной палочки в левой боковой панели и выберите свою модель для использования в Label Assist.

Выберите модель, затем нажмите "Продолжить", чтобы включить функцию Label Assist:

Когда вы открываете новые изображения для аннотирования, Label Assist запускает и рекомендует аннотации.

Управление наборами данных для YOLO11

Roboflow предоставляет набор инструментов для понимания наборов данных компьютерного зрения.

Во-первых, вы можете использовать поиск по набору данных, чтобы найти изображения, которые соответствуют семантическому описанию текста (например, найти все изображения, содержащие людей) или соответствуют заданной метке (например, изображение связано с определенным тегом). Чтобы воспользоваться поиском по набору данных, нажмите "Набор данных" на боковой панели. Затем введите поисковый запрос, используя строку поиска и соответствующие фильтры в верхней части страницы.

Например, следующий текстовый запрос позволяет найти в наборе данных изображения, содержащие людей:

С помощью селектора "Теги" можно сузить поиск до изображений с определенным тегом:

Прежде чем приступить к обучению модели на основе вашего набора данных, мы рекомендуем воспользоваться Roboflow Health Check- веб-инструментом, который дает представление о вашем наборе данных и о том, как его можно улучшить перед обучением модели зрения.

Чтобы воспользоваться функцией Health Check, щелкните ссылку "Health Check" на боковой панели. Появится список статистики, показывающий средний размер изображений в вашем наборе данных, баланс классов, тепловую карту расположения аннотаций на изображениях и многое другое.

Health Check может рекомендовать изменения для повышения производительности набора данных. Например, функция баланса классов может показать, что существует дисбаланс меток, который, если его устранить, может повысить производительность вашей модели.

Экспорт данных в 40+ форматов для обучения моделей

Для экспорта данных вам понадобится версия набора данных. Версия - это состояние вашего набора данных, замороженное во времени. Чтобы создать версию, сначала нажмите "Версии" на боковой панели. Затем нажмите кнопку "Создать новую версию". На этой странице вы сможете выбрать дополнения и этапы предварительной обработки, которые будут применены к вашему набору данных:

Для каждого выбранного вами дополнения появится всплывающее окно, позволяющее настроить дополнение в соответствии с вашими потребностями. Здесь приведен пример настройки усиления яркости в соответствии с заданными параметрами:

После создания версии набора данных вы можете экспортировать данные в различные форматы. Чтобы экспортировать данные, нажмите кнопку "Экспорт набора данных" на странице версии набора данных:

Теперь вы готовы к обучению YOLO11 на пользовательском наборе данных. Следуйте этому письменному руководству и видеоролику на YouTube для получения пошаговых инструкций или обратитесь к документацииUltralytics .

Загрузите пользовательские веса моделей YOLO11 для тестирования и развертывания.

Roboflow предлагает масштабируемый API для развернутых моделей и SDK для использования с NVIDIA Jetson, Luxonis OAK, Raspberry Pi, GPU-based devices и другими устройствами.

Вы можете развернуть модели YOLO11 , загрузив веса YOLO11 на Roboflow. Это можно сделать с помощью нескольких строк кода Python . Создайте новый файл Python и добавьте в него следующий код:

import roboflow  # install with 'pip install roboflow'

roboflow.login()

rf = roboflow.Roboflow()

project = rf.workspace(WORKSPACE_ID).project("football-players-detection-3zvbc")
dataset = project.version(VERSION).download("yolov8")

project.version(dataset.version).deploy(model_type="yolov8", model_path=f"{HOME}/runs/detect/train/")

В этом коде замените ID проекта и ID версии на значения для вашей учетной записи и проекта. Узнайте, как получить свой API-ключ Roboflow .

Когда вы запустите приведенный выше код, вам будет предложено пройти аутентификацию. Затем ваша модель будет загружена, и для вашего проекта будет создан API. Этот процесс может занять до 30 минут.

Чтобы протестировать свою модель и найти инструкции по развертыванию для поддерживаемых SDK, перейдите на вкладку "Развертывание" в боковой панели Roboflow . В верхней части этой страницы появится виджет, с помощью которого вы можете протестировать свою модель. Вы можете использовать веб-камеру для тестирования в реальном времени или загрузить изображения или видео.

Вы также можете использовать загруженную модель в качестве помощника по маркировке. Эта функция использует вашу обученную модель для рекомендации аннотаций к изображениям, загруженным на Roboflow.

Как оценить модели YOLO11

Roboflow предоставляет ряд возможностей для использования при оценке моделей.

После загрузки модели на сайт Roboflow вы можете получить доступ к нашему инструменту оценки модели, который предоставляет матрицу путаницы, показывающую эффективность вашей модели, а также интерактивный график векторного анализа. Эти функции помогут вам найти возможности для улучшения вашей модели.

Чтобы получить доступ к матрице путаницы, перейдите на страницу вашей модели на приборной панели Roboflow , затем нажмите "Просмотр подробной оценки":

Появится всплывающее окно с матрицей путаницы:

Наведите курсор на поле в матрице путаницы, чтобы увидеть значение, связанное с этим полем. Нажмите на поле, чтобы просмотреть изображения в соответствующей категории. Нажмите на изображение, чтобы просмотреть предсказания модели и данные, связанные с этим изображением.

Чтобы получить более подробную информацию, щелкните Векторный анализ. Это покажет диаграмму рассеяния изображений в вашем наборе данных, рассчитанную с помощью CLIP. Чем ближе изображения на диаграмме, тем больше они похожи семантически. Каждое изображение представлено в виде точки, цвет которой находится в диапазоне от белого до красного. Чем краснее точка, тем хуже работает модель.

Вы можете использовать векторный анализ для:

• Найдите кластеры изображений;
• Определите кластеры, в которых модель работает плохо, и;
• Визуализируйте общие черты между изображениями, на которых модель работает плохо.

Учебные ресурсы

Хотите узнать больше об использовании Roboflow для создания моделей YOLO11 ? Следующие ресурсы могут оказаться полезными в вашей работе.

• Обучение YOLO11 на пользовательском наборе данных: Следуйте нашему интерактивному блокноту, который покажет вам, как обучить модель YOLO11 на пользовательском наборе данных.
• Autodistill: использование моделей технического зрения с большим фундаментом для маркировки данных для конкретных моделей. С помощью Autodistill можно маркировать изображения для использования в обучении моделей классификации, обнаружения и сегментации YOLO11 .
• Supervision: Пакет Python с полезными утилитами для работы с моделями компьютерного зрения. Вы можете использовать супервизию для фильтрации обнаружений, вычисления матриц смешения и многого другого, и все это в нескольких строках кода Python .
• Roboflow Блог: В блоге Roboflow представлено более 500 статей по компьютерному зрению, охватывающих различные темы: от обучения модели YOLO11 до лучших практик аннотирования.
• Roboflow Канал YouTube: На нашем канале YouTube вы найдете десятки подробных руководств по компьютерному зрению, охватывающих различные темы: от обучения моделей YOLO11 до автоматической маркировки изображений.

Витрина проектов

Ниже приведены несколько из многочисленных отзывов, которые мы получили о совместном использовании YOLO11 и Roboflow для создания моделей компьютерного зрения.

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ

Как маркировать данные для моделей YOLO11 с помощью Roboflow?

Маркировка данных для моделей YOLO11 , использующих Roboflow , легко выполняется с помощью Roboflow Annotate. Сначала создайте проект на сайте Roboflow и загрузите изображения. После загрузки выберите партию изображений и нажмите "Начать аннотирование". Вы можете использовать B для ограничительных рамок или клавиша P для многоугольников. Для ускорения аннотирования воспользуйтесь помощником создания меток на основе SAM, нажав на значок курсора в боковой панели. Подробные шаги можно найти здесь.

Какие услуги предлагает Roboflow для сбораданных об обучении YOLO11 ?

Roboflow предоставляет два ключевых сервиса для сбора учебных данных YOLO11 : Universe и Collect. Universe предлагает доступ к более чем 250 000 наборов данных по зрению, а Collect помогает собирать изображения с помощью веб-камеры и автоматических подсказок.

Как управлять и анализировать набор данных YOLO11 с помощью Roboflow?

Roboflow предлагает надежные инструменты управления наборами данных, включая поиск, маркировку и проверку состояния. Используйте функцию поиска, чтобы найти изображения по текстовым описаниям или тегам. Функция Health Check дает представление о качестве набора данных, показывая баланс классов, размеры изображений и тепловые карты аннотаций. Это помогает оптимизировать производительность набора данных перед обучением моделей YOLO11 . Подробную информацию можно найти здесь.

Как экспортировать набор данных YOLO11 из Roboflow?

Чтобы экспортировать набор данных YOLO11 из Roboflow, необходимо создать версию набора данных. Нажмите "Версии" на боковой панели, затем "Создать новую версию" и примените все необходимые дополнения. Когда версия будет создана, нажмите "Export Dataset" и выберите формат YOLO11 . Следуйте этому процессу здесь.

Как интегрировать и развернуть модели YOLO11 с помощью Roboflow?

Интегрируйте и развертывайте модели YOLO11 на сайте Roboflow , загрузив свои веса YOLO11 с помощью нескольких строк кода Python . Используйте предоставленный скрипт для аутентификации и загрузки вашей модели, который создаст API для развертывания. Подробности о скрипте и дальнейшие инструкции см. в этом разделе.

Какие инструменты предоставляет Roboflow для оценки моделей YOLO11 ?

Roboflow предлагает инструменты оценки модели, включая матрицу путаницы и графики векторного анализа. Доступ к этим инструментам осуществляется с помощью кнопки "Просмотр подробной оценки" на странице вашей модели. Эти функции помогают выявить проблемы с производительностью модели и найти области для улучшения. Для получения дополнительной информации обратитесь к этому разделу.

📅 Создано 1 год назад ✏️ Обновлено 6 дней назад

Комментарии