Экспорт в Intel OpenVINO

В этом руководстве мы рассмотрим экспорт моделей YOLO11 в формат OpenVINO, который может обеспечить до 3 раз более высокую скорость CPU, а также ускорение логического вывода YOLO на оборудовании GPU и NPU Intel.

OpenVINO, сокращение от Open Visual Inference & Neural Network Optimization toolkit, — это комплексный набор инструментов для оптимизации и развертывания моделей логического вывода ИИ. Несмотря на то, что в названии присутствует Visual, OpenVINO также поддерживает различные дополнительные задачи, включая язык, аудио, временные ряды и т. д.

Смотреть: Как экспортировать Ultralytics YOLO11 в формат Intel OpenVINO для более быстрого вывода 🚀.

Примеры использования

Экспортируйте модель YOLO11n в формат OpenVINO и запустите вывод с помощью экспортированной модели.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo11n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

# Export a YOLO11n PyTorch model to OpenVINO format
yolo export model=yolo11n.pt format=openvino # creates 'yolo11n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg'

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg' device="intel:gpu"

Аргументы экспорта

Для получения более подробной информации о процессе экспорта посетите страницу документации Ultralytics по экспорту.

Преимущества OpenVINO

1. Производительность: OpenVINO обеспечивает высокую производительность логического вывода, используя мощность CPU Intel, интегрированных и дискретных GPU и FPGA.
2. Поддержка гетерогенного выполнения: OpenVINO предоставляет API для однократной записи и развертывания на любом поддерживаемом оборудовании Intel (CPU, GPU, FPGA, VPU и т. д.).
3. Оптимизатор моделей: OpenVINO предоставляет оптимизатор моделей, который импортирует, преобразует и оптимизирует модели из популярных фреймворков глубокого обучения, таких как PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle и Caffe.
4. Простота использования: Инструментарий поставляется с более чем 80 обучающими блокнотами (включая оптимизацию YOLOv8), обучающими различным аспектам инструментария.

Структура экспорта OpenVINO

При экспорте модели в формат OpenVINO получается каталог, содержащий следующее:

1. XML-файл: Описывает топологию сети.
2. BIN-файл: Содержит двоичные данные весов и смещений.
3. Файл сопоставления: Содержит соответствие исходных выходных тензоров модели именам тензоров OpenVINO.

Вы можете использовать эти файлы для запуска inference с OpenVINO Inference Engine.

Использование экспорта OpenVINO при развертывании

После успешного экспорта вашей модели в формат OpenVINO у вас есть два основных варианта запуска инференса:

1. Используйте ultralytics package, который предоставляет высокоуровневый API и оборачивает OpenVINO Runtime.

2. Использовать нативный openvino package для более продвинутого или индивидуального контроля над поведением инференса.

Логический вывод с Ultralytics

Пакет ultralytics позволяет легко запускать inference с использованием экспортированной модели OpenVINO с помощью метода predict. Вы также можете указать целевое устройство (например, intel:gpu, intel:npu, intel:cpu) используя аргумент device.

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

Этот подход идеально подходит для быстрого прототипирования или развертывания, когда вам не нужен полный контроль над конвейером инференса.

Логический вывод с OpenVINO Runtime

OpenVINO Runtime предоставляет унифицированный API для инференса на всем поддерживаемом оборудовании Intel. Он также предоставляет расширенные возможности, такие как балансировка нагрузки между устройствами Intel и асинхронное выполнение. Для получения дополнительной информации о запуске инференса обратитесь к блокнотам YOLO11.

Помните, что вам понадобятся файлы XML и BIN, а также любые специфические для приложения параметры, такие как размер входных данных, коэффициент масштабирования для нормализации и т. д., чтобы правильно настроить и использовать модель со средой выполнения.

В вашем приложении для развертывания обычно выполняются следующие шаги:

1. Инициализировать OpenVINO путем создания core = Core().
2. Загрузите модель, используя core.read_model() метод.
3. Скомпилируйте модель, используя core.compile_model() функцию.
4. Подготовьте входные данные (изображение, текст, аудио и т. д.).
5. Запустите inference, используя compiled_model(input_data).

Для получения более подробных инструкций и фрагментов кода обратитесь к документации OpenVINO или учебнику по API.

Бенчмарки OpenVINO YOLO11

Команда Ultralytics провела сравнительный анализ YOLO11 для различных форматов моделей и точности, оценивая скорость и точность на различных устройствах Intel, совместимых с OpenVINO.

Intel Core CPU

Intel® Core® series — это линейка высокопроизводительных процессоров от Intel. В линейку входят Core i3 (начальный уровень), Core i5 (средний уровень), Core i7 (высокий уровень) и Core i9 (экстремальная производительность). Каждая серия предназначена для различных вычислительных потребностей и бюджетов, от повседневных задач до ресурсоемких профессиональных рабочих нагрузок. С каждым новым поколением вносятся улучшения в производительность, энергоэффективность и функциональность.

Приведенные ниже тесты запускаются на 12th Gen Intel® Core® i9-12900KS CPU с точностью FP32.

Intel® Core™ Ultra

Серия Intel® Core™ Ultra™ представляет собой новый эталон в высокопроизводительных вычислениях, разработанный для удовлетворения растущих потребностей современных пользователей — от геймеров и создателей контента до профессионалов, использующих ИИ. Эта линейка нового поколения — больше, чем традиционная серия CPU; она сочетает в себе мощные ядра CPU, интегрированные высокопроизводительные возможности GPU и выделенный блок нейронной обработки (NPU) в одном чипе, предлагая унифицированное решение для разнообразных и интенсивных вычислительных нагрузок.

В основе архитектуры Intel® Core Ultra™ лежит гибридная конструкция, обеспечивающая исключительную производительность при выполнении традиционных задач обработки, рабочих нагрузок с ускорением GPU и операций, управляемых искусственным интеллектом. Включение NPU улучшает инференс AI на устройстве, обеспечивая более быстрое и эффективное машинное обучение и обработку данных в широком спектре приложений.

Семейство Core Ultra™ включает в себя различные модели, адаптированные для различных потребностей в производительности, с вариантами, варьирующимися от энергоэффективных конструкций до мощных вариантов, отмеченных обозначением "H" — идеально подходящих для ноутбуков и компактных форм-факторов, требующих серьезной вычислительной мощности. Во всей линейке пользователи получают выгоду от синергии интеграции CPU, GPU и NPU, обеспечивающей замечательную эффективность, скорость реагирования и возможности многозадачности.

В рамках непрерывных инноваций Intel серия Core Ultra™ устанавливает новый стандарт для вычислений, ориентированных на будущее. Благодаря множеству доступных моделей и новым разработкам, эта серия подчеркивает стремление Intel предоставлять передовые решения для следующего поколения интеллектуальных устройств с расширенными возможностями искусственного интеллекта.

Приведенные ниже тесты производительности выполнялись на Intel® Core™ Ultra™ 7 258V и Intel® Core™ Ultra™ 7 265K с точностью FP32 и INT8.

Intel® Core™ Ultra™ 7 258V

Оценка производительности

Интегрированный Intel® Arc™ GPUIntel® Lunar Lake CPUИнтегрированный Intel® AI Boost NPU

Подробные результаты эталонного тестирования

Модель	Формат	Точность	Статус	Размер (МБ)	metrics/mAP50-95(B)	Время инференса (мс/изобр.)
YOLO11n	PyTorch	FP32	✅	5.4	0.5052	32.27
YOLO11n	OpenVINO	FP32	✅	10.4	0.5068	11.84
YOLO11n	OpenVINO	INT8	✅	3.3	0.4969	11.24
YOLO11s	PyTorch	FP32	✅	18.4	0.5776	92.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.5797	14.82
YOLO11s	OpenVINO	INT8	✅	9.8	0.5751	12.88
YOLO11m	PyTorch	FP32	✅	38.8	0.6262	277.24
YOLO11m	OpenVINO	FP32	✅	77.1	0.6306	22.94
YOLO11m	OpenVINO	INT8	✅	20.2	0.6126	17.85
YOLO11l	PyTorch	FP32	✅	49.0	0.6361	348.97
YOLO11l	OpenVINO	FP32	✅	97.3	0.6365	27.34
YOLO11l	OpenVINO	INT8	✅	25.7	0.6242	20.83
YOLO11x	PyTorch	FP32	✅	109.3	0.6984	666.07
YOLO11x	OpenVINO	FP32	✅	217.8	0.6890	39.09
YOLO11x	OpenVINO	INT8	✅	55.9	0.6856	30.60

Подробные результаты эталонного тестирования

Модель	Формат	Точность	Статус	Размер (МБ)	metrics/mAP50-95(B)	Время инференса (мс/изобр.)
YOLO11n	PyTorch	FP32	✅	5.4	0.5052	32.27
YOLO11n	OpenVINO	FP32	✅	10.4	0.5077	32.55
YOLO11n	OpenVINO	INT8	✅	3.3	0.4980	22.98
YOLO11s	PyTorch	FP32	✅	18.4	0.5776	92.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.5782	98.38
YOLO11s	OpenVINO	INT8	✅	9.8	0.5745	52.84
YOLO11m	PyTorch	FP32	✅	38.8	0.6262	277.24
YOLO11m	OpenVINO	FP32	✅	77.1	0.6307	275.74
YOLO11m	OpenVINO	INT8	✅	20.2	0.6172	132.63
YOLO11l	PyTorch	FP32	✅	49.0	0.6361	348.97
YOLO11l	OpenVINO	FP32	✅	97.3	0.6361	348.97
YOLO11l	OpenVINO	INT8	✅	25.7	0.6240	171.36
YOLO11x	PyTorch	FP32	✅	109.3	0.6984	666.07
YOLO11x	OpenVINO	FP32	✅	217.8	0.6900	783.16
YOLO11x	OpenVINO	INT8	✅	55.9	0.6890	346.82

Подробные результаты эталонного тестирования

Модель	Формат	Точность	Статус	Размер (МБ)	metrics/mAP50-95(B)	Время инференса (мс/изобр.)
YOLO11n	PyTorch	FP32	✅	5.4	0.5052	32.27
YOLO11n	OpenVINO	FP32	✅	10.4	0.5085	8.33
YOLO11n	OpenVINO	INT8	✅	3.3	0.5019	8.91
YOLO11s	PyTorch	FP32	✅	18.4	0.5776	92.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.5788	9.72
YOLO11s	OpenVINO	INT8	✅	9.8	0.5710	10.58
YOLO11m	PyTorch	FP32	✅	38.8	0.6262	277.24
YOLO11m	OpenVINO	FP32	✅	77.1	0.6301	19.41
YOLO11m	OpenVINO	INT8	✅	20.2	0.6124	18.26
YOLO11l	PyTorch	FP32	✅	49.0	0.6361	348.97
YOLO11l	OpenVINO	FP32	✅	97.3	0.6362	23.70
YOLO11l	OpenVINO	INT8	✅	25.7	0.6240	21.40
YOLO11x	PyTorch	FP32	✅	109.3	0.6984	666.07
YOLO11x	OpenVINO	FP32	✅	217.8	0.6892	43.91
YOLO11x	OpenVINO	INT8	✅	55.9	0.6890	34.04

Intel® Core™ Ultra™ 7 265K

Оценка производительности

Интегрированный Intel® Arc™ GPUIntel® Arrow Lake CPUИнтегрированный Intel® AI Boost NPU

Подробные результаты эталонного тестирования

Модель	Формат	Точность	Статус	Размер (МБ)	metrics/mAP50-95(B)	Время инференса (мс/изобр.)
YOLO11n	PyTorch	FP32	✅	5.4	0.5072	16.29
YOLO11n	OpenVINO	FP32	✅	10.4	0.5079	13.13
YOLO11n	OpenVINO	INT8	✅	3.3	0.4976	8.86
YOLO11s	PyTorch	FP32	✅	18.4	0.5771	39.61
YOLO11s	OpenVINO	FP32	✅	36.4	0.5808	18.26
YOLO11s	OpenVINO	INT8	✅	9.8	0.5726	13.24
YOLO11m	PyTorch	FP32	✅	38.8	0.6258	100.65
YOLO11m	OpenVINO	FP32	✅	77.1	0.6310	43.50
YOLO11m	OpenVINO	INT8	✅	20.2	0.6137	20.90
YOLO11l	PyTorch	FP32	✅	49.0	0.6367	131.37
YOLO11l	OpenVINO	FP32	✅	97.3	0.6371	54.52
YOLO11l	OpenVINO	INT8	✅	25.7	0.6226	27.36
YOLO11x	PyTorch	FP32	✅	109.3	0.6990	212.45
YOLO11x	OpenVINO	FP32	✅	217.8	0.6884	112.76
YOLO11x	OpenVINO	INT8	✅	55.9	0.6900	52.06

Подробные результаты эталонного тестирования

Модель	Формат	Точность	Статус	Размер (МБ)	metrics/mAP50-95(B)	Время инференса (мс/изобр.)
YOLO11n	PyTorch	FP32	✅	5.4	0.5072	16.29
YOLO11n	OpenVINO	FP32	✅	10.4	0.5077	15.04
YOLO11n	OpenVINO	INT8	✅	3.3	0.4980	11.60
YOLO11s	PyTorch	FP32	✅	18.4	0.5771	39.61
YOLO11s	OpenVINO	FP32	✅	36.4	0.5782	33.45
YOLO11s	OpenVINO	INT8	✅	9.8	0.5745	20.64
YOLO11m	PyTorch	FP32	✅	38.8	0.6258	100.65
YOLO11m	OpenVINO	FP32	✅	77.1	0.6307	81.15
YOLO11m	OpenVINO	INT8	✅	20.2	0.6172	44.63
YOLO11l	PyTorch	FP32	✅	49.0	0.6367	131.37
YOLO11l	OpenVINO	FP32	✅	97.3	0.6409	103.77
YOLO11l	OpenVINO	INT8	✅	25.7	0.6240	58.00
YOLO11x	PyTorch	FP32	✅	109.3	0.6990	212.45
YOLO11x	OpenVINO	FP32	✅	217.8	0.6900	208.37
YOLO11x	OpenVINO	INT8	✅	55.9	0.6897	113.04

Подробные результаты эталонного тестирования

Модель	Формат	Точность	Статус	Размер (МБ)	metrics/mAP50-95(B)	Время инференса (мс/изобр.)
YOLO11n	PyTorch	FP32	✅	5.4	0.5072	16.29
YOLO11n	OpenVINO	FP32	✅	10.4	0.5075	8.02
YOLO11n	OpenVINO	INT8	✅	3.3	0.3656	9.28
YOLO11s	PyTorch	FP32	✅	18.4	0.5771	39.61
YOLO11s	OpenVINO	FP32	✅	36.4	0.5801	13.12
YOLO11s	OpenVINO	INT8	✅	9.8	0.5686	13.12
YOLO11m	PyTorch	FP32	✅	38.8	0.6258	100.65
YOLO11m	OpenVINO	FP32	✅	77.1	0.6310	29.88
YOLO11m	OpenVINO	INT8	✅	20.2	0.6111	26.32
YOLO11l	PyTorch	FP32	✅	49.0	0.6367	131.37
YOLO11l	OpenVINO	FP32	✅	97.3	0.6356	37.08
YOLO11l	OpenVINO	INT8	✅	25.7	0.6245	30.81
YOLO11x	PyTorch	FP32	✅	109.3	0.6990	212.45
YOLO11x	OpenVINO	FP32	✅	217.8	0.6894	68.48
YOLO11x	OpenVINO	INT8	✅	55.9	0.6417	49.76

Intel® Arc GPU

Intel® Arc™ — это линейка дискретных видеокарт Intel, предназначенных для высокопроизводительных игр, создания контента и рабочих нагрузок ИИ. Серия Arc включает в себя передовые архитектуры GPU, поддерживающие трассировку лучей в реальном времени, графику с улучшением на основе ИИ и игры с высоким разрешением. Ориентируясь на производительность и эффективность, Intel® Arc™ стремится конкурировать с другими ведущими брендами GPU, предоставляя при этом уникальные функции, такие как аппаратно-ускоренное кодирование AV1 и поддержку новейших графических API.

Приведенные ниже тесты производительности выполнялись на Intel Arc A770 и Intel Arc B580 с точностью FP32 и INT8.

Intel Arc A770

Intel Arc B580

Воспроизведение наших результатов

Чтобы воспроизвести тесты Ultralytics, приведенные выше, для всех форматов экспорта, запустите этот код:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco128.yaml

Заключение

Результаты сравнительного анализа ясно демонстрируют преимущества экспорта модели YOLO11 в формат OpenVINO. В разных моделях и на разных аппаратных платформах формат OpenVINO неизменно превосходит другие форматы с точки зрения скорости вывода, сохраняя при этом сопоставимую точность.

Результаты бенчмарков подчеркивают эффективность OpenVINO как инструмента для развертывания моделей глубокого обучения. Преобразуя модели в формат OpenVINO, разработчики могут добиться значительного повышения производительности, что упрощает развертывание этих моделей в реальных приложениях.

Для получения более подробной информации и инструкций по использованию OpenVINO обратитесь к официальной документации OpenVINO.

Часто задаваемые вопросы

Как экспортировать модели YOLO11 в формат OpenVINO?

Экспорт моделей YOLO11 в формат OpenVINO может значительно повысить скорость CPU и обеспечить ускорение GPU и NPU на оборудовании Intel. Для экспорта можно использовать Python или CLI, как показано ниже:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo11n_openvino_model/'

# Export a YOLO11n PyTorch model to OpenVINO format
yolo export model=yolo11n.pt format=openvino # creates 'yolo11n_openvino_model/'

Для получения дополнительной информации обратитесь к документации по форматам экспорта.

Каковы преимущества использования OpenVINO с моделями YOLO11?

Использование инструментария OpenVINO от Intel с моделями YOLO11 предлагает несколько преимуществ:

1. Производительность: Добейтесь 3-кратного увеличения скорости логического вывода на CPU и используйте Intel GPU и NPU для ускорения.
2. Оптимизатор моделей: Преобразуйте, оптимизируйте и выполняйте модели из популярных фреймворков, таких как PyTorch, TensorFlow и ONNX.
3. Простота использования: Доступно более 80 учебных блокнотов, которые помогут пользователям начать работу, в том числе и для YOLO11.
4. Гетерогенное выполнение: Развертывайте модели на различном оборудовании Intel с унифицированным API.

Подробные сравнения производительности можно найти в нашем разделе тестов производительности.

Как я могу запустить вывод, используя модель YOLO11, экспортированную в OpenVINO?

После экспорта модели YOLO11n в формат OpenVINO вы можете запустить вывод, используя Python или CLI:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with the exported model
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Для получения более подробной информации обратитесь к нашей документации по режиму предсказания.

Почему мне следует выбрать Ultralytics YOLO11 вместо других моделей для экспорта в OpenVINO?

Ultralytics YOLO11 оптимизирована для обнаружения объектов в реальном времени с высокой точностью и скоростью. В частности, при использовании с OpenVINO, YOLO11 обеспечивает:

• Ускорение до 3 раз на CPU Intel
• Простое развертывание на графических процессорах и NPU Intel
• Стабильная и сопоставимая точность для различных форматов экспорта

Для углубленного анализа производительности ознакомьтесь с нашими подробными бенчмарками YOLO11 на различном оборудовании.

Могу ли я протестировать модели YOLO11 в различных форматах, таких как PyTorch, ONNX и OpenVINO?

Да, вы можете протестировать модели YOLO11 в различных форматах, включая PyTorch, TorchScript, ONNX и OpenVINO. Используйте следующий фрагмент кода для запуска тестов на выбранном вами наборе данных:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml

Подробные результаты тестов производительности можно найти в нашем разделе тестов производительности и в документации по форматам экспорта.

📅 Создано 1 год назад ✏️ Обновлено 6 дней назад

Комментарии