Методы предварительной обработки аннотированных данных компьютерного зрения

Введение

После того как ты определил цели своего проекта по компьютерному зрению, собрал и аннотировал данные, следующим шагом будет предварительная обработка аннотированных данных и подготовка их к обучению модели. Чистые и согласованные данные жизненно важны для создания модели, которая будет работать хорошо.

Предварительная обработка - это этап в рабочем процессе проекта по компьютерному зрению, который включает в себя изменение размера изображений, нормализацию значений пикселей, расширение набора данных и разделение данных на обучающий, проверочный и тестовый наборы. Давай изучим основные техники и лучшие практики для очистки данных!

Важность предварительной обработки данных

Мы уже тщательно собираем и аннотируем наши данные, принимая во внимание множество соображений. Тогда почему предварительная обработка данных так важна для проекта компьютерного зрения? Что ж, предварительная обработка данных заключается в том, чтобы привести ваши данные в подходящий формат для обучения, который снижает вычислительную нагрузку и помогает повысить производительность модели. Ниже приведены некоторые распространенные проблемы с необработанными данными, которые решает предварительная обработка.

Шум: Несущественные или случайные вариации в данных.
Несоответствие: Различия в размерах, форматах и качестве изображений.
Дисбаланс: Неравномерное распределение классов или категорий в наборе данных.

Методы предварительной обработки данных

Одним из первых и важнейших шагов в предварительной обработке данных является изменение размера. Некоторые модели предназначены для работы с переменными размерами входных данных, но для многих моделей требуется постоянный размер входных данных. Изменение размера изображений делает их однородными и снижает вычислительную сложность.

Изменение размера изображений

Вы можете изменить размер изображений следующими способами:

Билинейная интерполяция: Сглаживает значения пикселей, беря средневзвешенное значение четырех ближайших значений пикселей.
Ближайший сосед: Присваивает ближайшему пикселю значение без усреднения, что приводит к блочности изображения, но ускоряет вычисления.

Чтобы упростить изменение размера, можно использовать следующие инструменты:

OpenCV: популярная библиотека компьютерного зрения с обширными функциями для обработки изображений.
PIL (Pillow): Библиотека изображений Python для открытия, манипулирования и сохранения файлов изображений.

Что касается YOLOv8, то параметр 'imgsz' во время обучения модели позволяет гибко настраивать размеры входных изображений. Если задать определенный размер, например 640, модель изменит размер входных изображений так, чтобы их наибольший размер составлял 640 пикселей, сохраняя при этом исходное соотношение сторон.

Оценив конкретные потребности модели и набора данных, можно определить, является ли изменение размера необходимым этапом предварительной обработки или модель может эффективно обрабатывать изображения различных размеров.

Нормализация значений пикселов

Еще одним методом предварительной обработки является нормализация. Нормализация масштабирует значения пикселов до стандартного диапазона, что помогает ускорить сходимость во время обучения и повышает производительность модели. Ниже приведены некоторые распространенные методы нормализации.

Масштабирование Min-Max: Масштабируй значения пикселей в диапазоне от 0 до 1.
Нормализация по Z-Score: Масштабируй значения пикселей на основе их среднего и стандартного отклонения.

В отношении YOLOv8, нормализация легко обрабатывается как часть конвейера предварительной обработки во время обучения модели. YOLOv8 автоматически выполняет несколько этапов предварительной обработки, включая преобразование в RGB, масштабирование значений пикселей до диапазона [0, 1] и нормализацию с использованием предопределенных значений среднего и стандартного отклонения.

Разделение набора данных

После очистки данных можно приступать к разделению набора данных. Разделение данных на обучающий, проверочный и тестовый наборы выполняется для того, чтобы модель можно было оценить на основе невидимых данных для оценки эффективности ее обобщения. Обычно 70 % приходится на обучение, 20 % — на проверку и 10 % — на тестирование. Существуют различные инструменты и библиотеки, которые вы можете использовать для разделения данных, такие как scikit-learn или TensorFlow.

При разделении набора данных учитывайте следующее:

Поддерживай распределение данных: Убедись, что распределение данных по классам сохраняется в тренировочном, проверочном и тестовом наборах.
Избегай утечки данных: Как правило, увеличение данных производится после разделения набора данных. Увеличение данных и любая другая предварительная обработка должны применяться только к обучающему набору, чтобы информация из валидационного или тестового наборов не повлияла на обучение модели. -Балансировкаклассов: Для несбалансированных наборов данных рассмотри такие методы, как перебор меньшинства или недобор большинства классов в обучающем наборе.

Что такое аугментация данных?

Наиболее часто обсуждаемым этапом предварительной обработки данных является их дополнение. Аугментация данных искусственно увеличивает размер набора данных за счет создания модифицированных версий изображений. Расширяя данные, можно уменьшить переобучение и улучшить генерализацию модели.

Вот еще несколько преимуществ дополнения данных:

Создает более надежный набор данных: Расширение данных может сделать модель более устойчивой к изменениям и искажениям входных данных. Сюда относятся изменения освещения, ориентации и масштаба.
Экономически эффективно: Увеличение данных - это экономически эффективный способ увеличить количество тренировочных данных без сбора и маркировки новых данных.
Лучшее использование данных: Каждая доступная точка данных используется с максимальным потенциалом, создавая новые вариации

Методы дополнения данных

К распространенным методам аугментации относятся зеркальное отражение, поворот, масштабирование и коррекция цвета. Несколько библиотек, таких как Albumentations, Imgaug и TensorFlowImageDataGenerator может генерировать эти дополнения.

Обзор дополнений к данным

Что касается YOLOv8, то ты можешь дополнить свой пользовательский набор данных, изменив файл конфигурации набора данных, который представляет собой .yaml-файл. В этом файле ты можешь добавить секцию дополнения с параметрами, которые определяют, как именно ты хочешь дополнить свои данные.

РепозиторийUltralytics YOLOv8 поддерживает широкий спектр дополнений к данным. Ты можешь применять различные преобразования, такие как:

Случайные культуры
Зеркальное отражение: изображения можно переворачивать по горизонтали или вертикали.
Поворот: изображения можно поворачивать на определенные углы.
Искажение

Кроме того, вы можете настроить интенсивность этих методов аугментации с помощью определенных параметров, чтобы получить большее разнообразие данных.

Пример предварительной обработки

Рассмотрим проект, направленный на разработку модели обнаружения и классификации различных типов транспортных средств на изображениях дорожного движения с использованием YOLOv8. Мы собрали изображения трафика и аннотировали их ограничительными рамками и надписями.

Вот как будет выглядеть каждый шаг предварительной обработки для этого проекта:

Изменение размера изображений: Так как YOLOv8 Обрабатывает гибкие размеры входных данных и выполняет автоматическое изменение размера, ручное изменение размера не требуется. Модель будет корректировать размер изображения в соответствии с заданным параметром imgsz во время обучения.
Нормализация значений пикселов: YOLOv8 Автоматически нормализует значения пикселей в диапазоне от 0 до 1 во время предварительной обработки, поэтому это не требуется.
Разделение набора данных: разделите набор данных на обучающий (70%), проверочный (20%) и тестовый (10%) наборы с помощью таких инструментов, как scikit-learn.
Расширение данных: измените файл конфигурации набора данных (.yaml), включив в него методы расширения данных, такие как случайные обрезки, горизонтальные отражения и регулировки яркости.

Эти шаги позволяют убедиться, что набор данных подготовлен без каких-либо потенциальных проблем и готов к исследовательскому анализу данных (EDA).

Методы исследовательского анализа данных

После предварительной обработки и дополнения набора данных следующим шагом является получение аналитических сведений с помощью исследовательского анализа данных. EDA использует статистические методы и инструменты визуализации для понимания закономерностей и распределений в данных. Вы можете выявлять такие проблемы, как дисбаланс классов или выбросы, и принимать обоснованные решения о дальнейшей предварительной обработке данных или корректировке обучения модели.

Статистические методы САПР

Статистические методы часто начинаются с вычисления основных показателей, таких как среднее значение, медиана, стандартное отклонение и диапазон. Эти метрики предоставляют краткий обзор свойств набора данных изображений, таких как распределения интенсивности пикселей. Понимание этих базовых статистических данных поможет вам понять общее качество и характеристики ваших данных, что позволит вам обнаружить любые нарушения на ранней стадии.

Визуальные методы САПР

Визуализации являются ключевыми в САПР для наборов данных изображений. Например, анализ дисбаланса классов является еще одним важным аспектом EDA. Это помогает определить, недостаточно ли представлены определенные классы в наборе данных, Визуализация распределения различных классов или категорий изображений с помощью линейчатых диаграмм может быстро выявить любые дисбалансы. Аналогичным образом, выбросы могут быть идентифицированы с помощью инструментов визуализации, таких как ящичковые диаграммы, которые выделяют аномалии в интенсивности пикселей или распределении признаков. Обнаружение выбросов предотвращает искажение результатов необычными точками данных.

К распространенным инструментам для визуализации относятся:

Гистограммы и ящичковые диаграммы: полезны для понимания распределения значений пикселов и выявления выбросов.
Точечные диаграммы: полезны для изучения взаимосвязей между объектами изображения или аннотациями.
Тепловые карты: Эффективны для визуализации распределения интенсивности пикселов или пространственного распределения аннотированных объектов на изображениях.

Использование Ultralytics Проводник для САПР

Для более продвинутого подхода к EDA можно использовать метод Ultralytics Инструмент Explorer. Он предлагает надежные возможности для изучения наборов данных компьютерного зрения. Поддерживая семантический поиск, SQL-запросы и поиск по схожести векторов, инструмент упрощает анализ и понимание данных. С Ultralytics Explorer, вы можете создавать встраивания для своего набора данных, чтобы находить похожие изображения, выполнять SQL-запросы для детального анализа и выполнять семантический поиск — и все это с помощью удобного графического интерфейса.

Обзор Ultralytics Explorer

Протяните руку помощи и свяжитесь с нами

Обсуждение вашего проекта с другими энтузиастами компьютерного зрения может дать вам новые идеи с разных точек зрения. Вот несколько отличных способов обучения, устранения неполадок и налаживания связей:

Каналы связи с сообществом

Вопросы на GitHub: Заходи в репозиторий YOLOv8 на GitHub и используй вкладку Issues, чтобы задавать вопросы, сообщать об ошибках и предлагать новые возможности. Сообщество и мейнтейнеры готовы помочь с любыми проблемами, с которыми ты столкнешься.
Ultralytics Сервер Discord: Присоединяйся к серверуUltralytics Discord, чтобы общаться с другими пользователями и разработчиками, получать поддержку, делиться знаниями и обмениваться идеями.

Официальная документация

Ultralytics YOLOv8 Документация: Обратись к официальной документации YOLOv8 , где ты найдешь подробные руководства и ценные сведения о многочисленных задачах и проектах, связанных с компьютерным зрением.

Ваш датасет готов!

Правильно измененные, нормализованные и дополненные данные повышают производительность модели за счет уменьшения шума и улучшения обобщения. Следуя методам предварительной обработки и рекомендациям, описанным в этом руководстве, можно создать твердотельный набор данных. Когда предварительно обработанный набор данных готов, вы можете с уверенностью переходить к следующим шагам в проекте.

ВОПРОСЫ И ОТВЕТЫ

В чем важность предварительной обработки данных в проектах по компьютерному зрению?

Предварительная обработка данных очень важна в проектах по компьютерному зрению, потому что она гарантирует, что данные чистые, согласованные и имеют формат, оптимальный для обучения модели. Решая такие проблемы, как шум, несогласованность и дисбаланс в исходных данных, этапы предварительной обработки, такие как изменение размера, нормализация, увеличение и разделение набора данных, помогают снизить вычислительную нагрузку и повысить производительность модели. Для получения более подробной информации посетите раздел " Шаги проекта по компьютерному зрению".

Как я могу использовать Ultralytics YOLO для увеличения данных?

Для увеличения данных с помощью Ultralytics YOLOv8 тебе нужно изменить файл конфигурации набора данных (.yaml). В этом файле ты можешь указать различные техники аугментации, такие как случайное кадрирование, переворачивание по горизонтали и корректировка яркости. Это можно эффективно сделать с помощью тренировочных конфигураций, о которых рассказывается здесь. Аугментация данных помогает создать более надежный набор данных, уменьшить перебор и улучшить обобщение модели.

Какие методы нормализации данных лучше всего подходят для данных компьютерного зрения?

Нормализация масштабирует значения пикселей к стандартному диапазону для ускорения сходимости и повышения производительности во время обучения. К распространенным техникам относятся:

Масштабирование Min-Max: Масштабируй значения пикселей в диапазоне от 0 до 1.
Нормализация по Z-Score: Масштабируй значения пикселей на основе их среднего и стандартного отклонения.

Для YOLOv8 нормализация выполняется автоматически, включая преобразование в RGB и масштабирование значений пикселей. Подробнее об этом в разделе обучения модели.

Как мне разделить аннотированный набор данных для обучения?

Чтобы разделить твой набор данных, обычно принято делить его на 70% для обучения, 20% для проверки и 10% для тестирования. Важно сохранить распределение данных по классам при таком разделении и избежать утечки данных, выполняя аугментацию только на обучающем наборе. Используй такие инструменты, как scikit-learn или TensorFlow , для эффективного разбиения набора данных. Смотри подробное руководство по подготовке набора данных.

Могу ли я работать с изображениями разного размера в YOLOv8 без ручного изменения размера?

Да, Ultralytics YOLOv8 может обрабатывать изображения разного размера с помощью параметра 'imgsz' во время обучения модели. Этот параметр обеспечивает изменение размера изображений таким образом, чтобы их наибольший размер соответствовал заданному (например, 640 пикселей), сохраняя при этом соотношение сторон. О более гибкой обработке входных данных и автоматических настройках читай в разделе "Обучение модели".

📅 Created 3 months ago ✏️ Updated 7 days ago