YOLOv7: Обучаемый мешок бесплатных вещей

YOLOv7 - это современный детектор объектов в реальном времени, который превосходит все известные детекторы объектов как по скорости, так и по точности в диапазоне от 5 FPS до 160 FPS. Он обладает самой высокой точностью (56,8% AP) среди всех известных детекторов объектов в реальном времени с частотой 30 FPS и выше на GPU V100. Более того, YOLOv7 превосходит по скорости и точности другие детекторы объектов, такие как YOLOR, YOLOX, Scaled-YOLOv4, YOLOv5, и многие другие. Модель обучена на наборе данных MS COCO с нуля, без использования каких-либо других наборов данных или предварительно обученных весов. Исходный код YOLOv7 доступен на GitHub.

Сравнение YOLOv7 с детекторами объектов SOTA

Сравнение детекторов объектов SOTA

Из результатов, приведенных в сравнительной таблице YOLO , мы знаем, что предложенный метод имеет наилучший компромисс между скоростью и точностью в целом. Если сравнивать YOLOv7-tiny-SiLU с YOLOv5-N (r6.1), то наш метод на 127 fps быстрее и на 10,7% точнее по AP. Кроме того, YOLOv7 имеет 51,4% AP при частоте кадров 161 fps, в то время как PPYOLOE-L с той же AP имеет только 78 fps частоты кадров. Что касается использования параметров, то YOLOv7 на 41% меньше, чем PPYOLOE-L. Если сравнить YOLOv7-X со скоростью вывода 114 кадров в секунду с YOLOv5-L (r6.1) со скоростью вывода 99 кадров в секунду, то YOLOv7-X может улучшить AP на 3,9%. Если сравнить YOLOv7-X с YOLOv5-X (r6.1) аналогичного масштаба, то скорость умозаключений YOLOv7-X на 31 кадр быстрее. Кроме того, что касается количества параметров и вычислений, YOLOv7-X сокращает 22% параметров и 8% вычислений по сравнению с YOLOv5-X (r6.1), но улучшает AP на 2,2%(Источник).

Модель	Params ^(M)	FLOPs ^(G)	Размер ^{(пикселей)}	FPS	APtest^{/ val 50-95}	APtest⁵⁰	APtest⁷⁵	APtest^S	APtest^M	APtest^L
YOLOX-S	9.0M	26.8G	640	102	40.5% / 40.5%	-	-	-	-	-
YOLOX-M	25.3M	73.8G	640	81	47.2% / 46.9%	-	-	-	-	-
YOLOX-L	54.2M	155.6G	640	69	50.1% / 49.7%	-	-	-	-	-
YOLOX-X	99.1M	281.9G	640	58	51.5% / 51.1%	-	-	-	-	-

PPYOLOE-S	7.9M	17.4G	640	208	43.1% / 42.7%	60.5%	46.6%	23.2%	46.4%	56.9%
PPYOLOE-M	23.4M	49.9G	640	123	48.9% / 48.6%	66.5%	53.0%	28.6%	52.9%	63.8%
PPYOLOE-L	52.2M	110.1G	640	78	51.4% / 50.9%	68.9%	55.6%	31.4%	55.3%	66.1%
PPYOLOE-X	98.4M	206.6G	640	45	52.2% / 51.9%	69.9%	56.5%	33.3%	56.3%	66.4%

YOLOv5-N (r6.1)	1.9M	4.5G	640	159	- / 28.0%	-	-	-	-	-
YOLOv5-S (r6.1)	7.2M	16.5G	640	156	- / 37.4%	-	-	-	-	-
YOLOv5-М (r6.1)	21.2M	49.0G	640	122	- / 45.4%	-	-	-	-	-
YOLOv5-L (r6.1)	46.5M	109.1G	640	99	- / 49.0%	-	-	-	-	-
YOLOv5-X (r6.1)	86.7M	205.7G	640	83	- / 50.7%	-	-	-	-	-

YOLOR-CSP	52.9M	120.4G	640	106	51.1% / 50.8%	69.6%	55.7%	31.7%	55.3%	64.7%
YOLOR-CSP-X	96.9M	226.8G	640	87	53.0% / 52.7%	71.4%	57.9%	33.7%	57.1%	66.8%
YOLOv7-tiny-SiLU	6.2M	13.8G	640	286	38.7% / 38.7%	56.7%	41.7%	18.8%	42.4%	51.9%
YOLOv7	36.9M	104.7G	640	161	51.4% / 51.2%	69.7%	55.9%	31.8%	55.5%	65.0%
YOLOv7-X	71.3M	189.9G	640	114	53.1% / 52.9%	71.2%	57.8%	33.8%	57.1%	67.4%

YOLOv5-N6 (r6.1)	3.2M	18.4G	1280	123	- / 36.0%	-	-	-	-	-
YOLOv5-S6 (r6.1)	12.6M	67.2G	1280	122	- / 44.8%	-	-	-	-	-
YOLOv5-M6 (r6.1)	35.7M	200.0G	1280	90	- / 51.3%	-	-	-	-	-
YOLOv5-L6 (r6.1)	76.8M	445.6G	1280	63	- / 53.7%	-	-	-	-	-
YOLOv5-X6 (r6.1)	140.7M	839.2G	1280	38	- / 55.0%	-	-	-	-	-

YOLOR-P6	37.2M	325.6G	1280	76	53.9% / 53.5%	71.4%	58.9%	36.1%	57.7%	65.6%
YOLOR-W6	79.8G	453.2G	1280	66	55.2% / 54.8%	72.7%	60.5%	37.7%	59.1%	67.1%
YOLOR-E6	115.8M	683.2G	1280	45	55.8% / 55.7%	73.4%	61.1%	38.4%	59.7%	67.7%
YOLOR-D6	151.7M	935.6G	1280	34	56.5% / 56.1%	74.1%	61.9%	38.9%	60.4%	68.7%

YOLOv7-W6	70.4M	360.0G	1280	84	54.9% / 54.6%	72.6%	60.1%	37.3%	58.7%	67.1%
YOLOv7-E6	97.2M	515.2G	1280	56	56.0% / 55.9%	73.5%	61.2%	38.0%	59.9%	68.4%
YOLOv7-D6	154.7M	806.8G	1280	44	56.6% / 56.3%	74.0%	61.8%	38.8%	60.1%	69.5%
YOLOv7-E6E	151.7M	843.2G	1280	36	56.8% / 56.8%	74.4%	62.1%	39.3%	60.5%	69.0%

Обзор

Обнаружение объектов в реальном времени - важный компонент многих систем компьютерного зрения, включая многообъектное слежение, автономное вождение, робототехнику и анализ медицинских изображений. В последние годы разработки в области обнаружения объектов в реальном времени были сосредоточены на создании эффективных архитектур и повышении скорости вычислений на различных CPU, GPU и нейронных процессорах (NPU). YOLOv7 поддерживает как мобильные GPU , так и GPU устройства, от края до облака.

В отличие от традиционных детекторов объектов в реальном времени, которые фокусируются на оптимизации архитектуры, YOLOv7 делает акцент на оптимизации процесса обучения. Сюда входят модули и методы оптимизации, разработанные для повышения точности обнаружения объектов без увеличения стоимости умозаключений, - концепция, известная как "обучаемый мешок свободных вещей".

Основные характеристики

YOLOv7 представляет несколько ключевых особенностей:

Перепараметризация модели: YOLOv7 предлагает запланированную перепараметризованную модель, которая представляет собой стратегию, применимую к слоям в различных сетях с концепцией пути распространения градиента.
Динамическое присвоение меток: При обучении модели с несколькими выходными слоями возникает новая проблема: "Как назначить динамические цели для выходов разных ветвей?". Чтобы решить эту проблему, в YOLOv7 появился новый метод присвоения меток, который называется грубым и тонким присвоением меток.
Расширенное и составное масштабирование: В YOLOv7 предлагаются методы "расширенного" и "составного масштабирования" для детектора объектов в реальном времени, которые позволяют эффективно использовать параметры и вычисления.
Эффективность: Метод, предложенный YOLOv7, позволяет эффективно сократить около 40 % параметров и 50 % вычислений современного детектора объектов в реальном времени, а также имеет более высокую скорость вывода и точность обнаружения.

Примеры использования

На момент написания статьи Ultralytics не поддерживает модели YOLOv7. Поэтому все пользователи, заинтересованные в использовании YOLOv7, должны будут обратиться непосредственно к репозиторию YOLOv7 на GitHub за инструкциями по установке и использованию.

Вот краткий обзор типичных шагов, которые ты можешь предпринять, чтобы использовать YOLOv7:

Посети репозиторий YOLOv7 на GitHub: https://github.com/WongKinYiu/yolov7.
Для установки следуй инструкциям, приведенным в файле README. Обычно это включает в себя клонирование репозитория, установку необходимых зависимостей и настройку всех необходимых переменных окружения.
После завершения установки ты можешь обучать и использовать модель в соответствии с инструкциями по использованию, которые содержатся в репозитории. Обычно это включает в себя подготовку набора данных, настройку параметров модели, обучение модели, а затем использование обученной модели для обнаружения объектов.

Обрати внимание, что конкретные шаги могут отличаться в зависимости от твоего конкретного случая использования и текущего состояния репозитория YOLOv7. Поэтому настоятельно рекомендуется обращаться непосредственно к инструкциям, представленным в репозитории YOLOv7 на GitHub.

Мы сожалеем о возможных неудобствах и постараемся обновить этот документ примерами использования Ultralytics, как только поддержка YOLOv7 будет реализована.

Цитаты и благодарности

Мы хотели бы поблагодарить авторов YOLOv7 за их значительный вклад в область обнаружения объектов в реальном времени:

BibTeX

@article{wang2022yolov7,
  title={YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors},
  author={Wang, Chien-Yao and Bochkovskiy, Alexey and Liao, Hong-Yuan Mark},
  journal={arXiv preprint arXiv:2207.02696},
  year={2022}
}

Оригинальную статью YOLOv7 можно найти на arXiv. Авторы сделали свою работу общедоступной, а кодовую базу можно найти на GitHub. Мы ценим их усилия, направленные на развитие области и обеспечение доступности их работы для широкого сообщества.

ВОПРОСЫ И ОТВЕТЫ

Что такое YOLOv7 и почему его считают прорывом в области обнаружения объектов в реальном времени?

YOLOv7 - это передовая модель обнаружения объектов в реальном времени, которая достигает непревзойденной скорости и точности. Она превосходит другие модели, такие как YOLOX, YOLOv5, и PPYOLOE, как по использованию параметров, так и по скорости вывода. К отличительным особенностям YOLOv7 относятся перепараметризация модели и динамическое присвоение меток, которые оптимизируют ее производительность без увеличения затрат на вывод. Более подробную техническую информацию о его архитектуре и сравнительные метрики с другими современными детекторами объектов можно найти в статье YOLOv7.

Как YOLOv7 улучшает предыдущие модели YOLO , такие как YOLOv4 и YOLOv5?

В YOLOv7 появилось несколько нововведений, включая перепараметризацию модели и динамическое присвоение меток, которые улучшают процесс обучения и повышают точность выводов. По сравнению с YOLOv5, YOLOv7 значительно повышает скорость и точность. Например, YOLOv7-X повышает точность на 2,2 % и сокращает параметры на 22 % по сравнению с YOLOv5-X. Подробные сравнения можно найти в таблице производительности YOLOv7 в сравнении с детекторами объектов SOTA.

Могу ли я использовать YOLOv7 с инструментами и платформами Ultralytics ?

На данный момент Ultralytics не поддерживает YOLOv7 напрямую в своих инструментах и платформах. Пользователям, заинтересованным в использовании YOLOv7, необходимо следовать инструкциям по установке и использованию, представленным в репозитории YOLOv7 на GitHub. Что касается других современных моделей, то ты можешь изучать и тренироваться с помощью инструментов Ultralytics , например Ultralytics HUB.

Как установить и запустить YOLOv7 для пользовательского проекта по обнаружению объектов?

Чтобы установить и запустить YOLOv7, выполни следующие шаги:

Клонируй репозиторий YOLOv7:

git clone https://github.com/WongKinYiu/yolov7

Перейди в клонированную директорию и установи зависимости:
```
cd yolov7
pip install -r requirements.txt
```
Подготовь свой набор данных и настрой параметры модели в соответствии с инструкциями по использованию, представленными в репозитории. Для получения дальнейших рекомендаций посети репозиторий YOLOv7 на GitHub, где ты найдешь самую свежую информацию и обновления.

Какие ключевые особенности и оптимизации появились в YOLOv7?

YOLOv7 предлагает несколько ключевых особенностей, которые революционизируют обнаружение объектов в реальном времени:

Перепараметризация модели: Повышает производительность модели, оптимизируя пути распространения градиента.
Динамическое назначение меток: Использует метод грубого и тонкого наведения для назначения динамических целей для выходов в разных ветках, что повышает точность.
Расширенное и составное масштабирование: Эффективное использование параметров и вычислений позволяет масштабировать модель для различных приложений реального времени.
Эффективность: Сокращение количества параметров на 40% и вычислений на 50% по сравнению с другими современными моделями, при этом достигается более высокая скорость вывода. Подробнее об этих особенностях читай в разделе " Обзор YOLOv7 ".