Экспорт в Intel OpenVINO

В этом руководстве мы расскажем об экспорте моделей YOLO26 в формат OpenVINO, который может обеспечить ускорение CPU до 3 раз, а также ускорить инференс YOLO на оборудовании Intel GPU и NPU.

OpenVINO, сокращение от Open Visual Inference & Neural Network Optimization toolkit, — это комплексный набор инструментов для оптимизации и развертывания моделей ИИ-инференса. Несмотря на то, что в названии есть слово Visual, OpenVINO также поддерживает множество дополнительных задач, включая язык, аудио, временные ряды и т. д.

Примеры использования

Экспортируй модель YOLO26n в формат OpenVINO и запусти инференс с экспортированной моделью.

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Аргументы экспорта

Чтобы узнать больше о процессе экспорта, посети страницу документации Ultralytics по экспорту.

Преимущества OpenVINO

1. Производительность: OpenVINO обеспечивает высокопроизводительный инференс за счет использования мощности процессоров Intel, встроенных и дискретных графических процессоров и FPGA.
2. Поддержка гетерогенного выполнения: OpenVINO предоставляет API, позволяющий написать код один раз и развертывать его на любом поддерживаемом оборудовании Intel (CPU, GPU, FPGA, VPU и т. д.).
3. Оптимизатор моделей: OpenVINO предоставляет оптимизатор моделей, который импортирует, преобразует и оптимизирует модели из популярных фреймворков deep learning, таких как PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle и Caffe.
4. Простота использования: В комплект поставки входит более 80 обучающих ноутбуков (включая оптимизацию YOLO26), обучающих различным аспектам работы с набором инструментов.

Структура экспорта OpenVINO

Когда ты экспортируешь модель в формат OpenVINO, создается каталог, содержащий следующее:

1. Файл XML: описывает топологию сети.
2. Файл BIN: содержит бинарные данные весов и смещений.
3. Файл сопоставления: хранит сопоставление тензоров вывода исходной модели с именами тензоров OpenVINO.

Ты можешь использовать эти файлы для запуска инференса с помощью движка OpenVINO Inference Engine.

Использование экспорта OpenVINO при развертывании

Как только твоя модель успешно экспортирована в формат OpenVINO, у тебя есть два основных варианта запуска инференса:

1. Использовать пакет ultralytics, который предоставляет высокоуровневый API и оборачивает среду выполнения OpenVINO Runtime.

2. Использовать собственный пакет openvino для более расширенного или настраиваемого управления поведением инференса.

Инференс с помощью Ultralytics

Пакет ultralytics позволяет легко запускать инференс с использованием экспортированной модели OpenVINO с помощью метода predict. Ты также можешь указать целевое устройство (например, intel:gpu, intel:npu, intel:cpu), используя аргумент device.

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

Этот подход идеально подходит для быстрого прототипирования или развертывания, когда тебе не требуется полный контроль над конвейером инференса.

Инференс с использованием OpenVINO Runtime

OpenVINO Runtime предоставляет унифицированный API для инференса на всем поддерживаемом оборудовании Intel. Он также предлагает расширенные возможности, такие как балансировка нагрузки между оборудованием Intel и асинхронное выполнение. Дополнительную информацию о запуске инференса см. в ноутбуках YOLO26.

Помни, что тебе понадобятся файлы XML и BIN, а также любые специфические для приложения настройки, такие как размер входных данных, коэффициент масштабирования для нормализации и т. д., чтобы правильно настроить и использовать модель с Runtime.

В своем приложении для развертывания ты обычно выполняешь следующие шаги:

1. Инициализируй OpenVINO, создав core = Core().
2. Загрузи модель, используя метод core.read_model().
3. Скомпилируй модель, используя функцию core.compile_model().
4. Подготовь входные данные (изображение, текст, аудио и т. д.).
5. Запусти инференс с помощью compiled_model(input_data).

Для получения более подробных шагов и фрагментов кода обратись к документации OpenVINO или учебнику по API.

Бенчмарки OpenVINO YOLO26

Команда Ultralytics протестировала YOLO26 для различных форматов моделей и точности, оценивая скорость и точность на различных устройствах Intel, совместимых с OpenVINO.

Intel® Core™ Ultra

Серия Intel® Core™ Ultra™ представляет собой новый стандарт в высокопроизводительных вычислениях, разработанный для удовлетворения растущих потребностей современных пользователей — от геймеров и создателей контента до профессионалов, использующих ИИ. Эта линейка нового поколения — нечто большее, чем традиционная серия процессоров; она объединяет мощные процессорные ядра, встроенные высокопроизводительные графические возможности GPU и выделенный нейронный процессор (NPU) в одном чипе, предлагая унифицированное решение для разнообразных и интенсивных вычислительных задач.

В основе архитектуры Intel® Core Ultra™ лежит гибридный дизайн, обеспечивающий исключительную производительность при выполнении традиционных задач обработки данных, задач с ускорением GPU и операций на базе ИИ. Включение NPU расширяет возможности инференса ИИ на устройстве, обеспечивая более быстрое и эффективное машинное обучение и обработку данных в широком спектре приложений.

Семейство Core Ultra™ включает различные модели, адаптированные под разные потребности в производительности, с вариантами от энергоэффективных дизайнов до мощных моделей с маркировкой "H" — идеально подходящих для ноутбуков и компактных форм-факторов, требующих серьезной вычислительной мощности. Во всей линейке пользователи выигрывают от синергии интеграции CPU, GPU и NPU, обеспечивая замечательную эффективность, отзывчивость и многозадачность.

Являясь частью постоянных инноваций Intel, серия Core Ultra™ устанавливает новый стандарт для будущих вычислений. Благодаря наличию множества моделей и новым разработкам на горизонте, эта серия подчеркивает стремление Intel поставлять передовые решения для следующего поколения интеллектуальных устройств с поддержкой ИИ.

Бенчмарки ниже запущены на Intel® Core™ Ultra™ X7 358H, Intel® Core™ Ultra™ 7 258V и Intel® Core™ Ultra™ 7 155H при точности FP32, FP16 и INT8.

Intel® Core™ Ultra™ X7 358H

Бенчмарки

Встроенный GPU Intel® Arc™Intel® Panther Lake CPUIntegrated Intel® AI Boost NPU

Подробные результаты тестирования

Модель	Формат	Точность	Статус	Размер (МБ)	metrics/mAP50-95(B)	Время инференса (мс/изобр)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	25.18
YOLO26n	OpenVINO	FP32	✅	9.6	0.4763	2.67
YOLO26n	OpenVINO	FP16	✅	5.1	0.4763	2.64
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	2.73
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	50.09
YOLO26s	OpenVINO	FP32	✅	36.7	0.5615	3.57
YOLO26s	OpenVINO	FP16	✅	18.6	0.5615	3.55
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	3.09
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	135.1
YOLO26m	OpenVINO	FP32	✅	78.3	0.6168	5.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	5.85
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	4.14
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	169.75
YOLO26l	OpenVINO	FP32	✅	95.3	0.6206	8.14
YOLO26l	OpenVINO	FP16	✅	48.1	0.6206	8.18
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	4.67
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	407.56
YOLO26x	OpenVINO	FP32	✅	213.2	0.6569	13.11
YOLO26x	OpenVINO	FP16	✅	107.1	0.6569	13.15
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	9.24

Intel® Core™ Ultra™ 7 258V

Бенчмарки

Встроенный GPU Intel® Arc™Intel® Lunar Lake CPUIntegrated Intel® AI Boost NPU

Подробные результаты тестирования

Модель	Формат	Точность	Статус	Размер (МБ)	metrics/mAP50-95(B)	Время инференса (мс/изобр)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	31.43
YOLO26n	OpenVINO	FP32	✅	9.6	0.4762	3.57
YOLO26n	OpenVINO	FP16	✅	5.1	0.4762	3.53
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	3.65
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	60.4
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	5.02
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	5.01
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	4.31
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	173.31
YOLO26m	OpenVINO	FP32	✅	78.3	0.6191	9.48
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	9.6
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	6.03
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6173	224.52
YOLO26l	OpenVINO	FP32	✅	95.3	0.3725	11.88
YOLO26l	OpenVINO	FP16	✅	48.1	0.6201	12.0
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	8.47
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	595.72
YOLO26x	OpenVINO	FP32	✅	213.2	0.6567	20.26
YOLO26x	OpenVINO	FP16	✅	107.1	0.6454	20.25
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	14.77

Intel® Core™ Ultra™ 7 155H

Бенчмарки

Встроенный GPU Intel® Arc™Intel® Meteor Lake CPU

Подробные результаты тестирования

Модель	Формат	Точность	Статус	Размер (МБ)	metrics/mAP50-95(B)	Время инференса (мс/изобр)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	38.77
YOLO26n	OpenVINO	FP32	✅	9.6	0.4774	9.87
YOLO26n	OpenVINO	FP16	✅	5.1	0.4774	9.84
YOLO26n	OpenVINO	INT8	✅	3.2	0.4705	5.86
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	69.54
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	17.29
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	17.06
YOLO26s	OpenVINO	INT8	✅	10.0	0.5452	10.33
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	192.22
YOLO26m	OpenVINO	FP32	✅	78.3	0.6187	34.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6187	34.75
YOLO26m	OpenVINO	INT8	✅	20.5	0.6073	15.99
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	245.62
YOLO26l	OpenVINO	FP32	✅	95.3	0.6202	43.7
YOLO26l	OpenVINO	FP16	✅	48.1	0.6202	44.65
YOLO26l	OpenVINO	INT8	✅	25.2	0.6048	20.31
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	513.06
YOLO26x	OpenVINO	FP32	✅	213.2	0.6544	80.19
YOLO26x	OpenVINO	FP16	✅	107.1	0.6544	79.83
YOLO26x	OpenVINO	INT8	✅	54.8	0.6393	35.16

Воспроизведение наших результатов

Чтобы воспроизвести приведенные выше бенчмарки Ultralytics для всех форматов экспорта, запусти этот код:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

Заключение

Результаты бенчмаркинга наглядно демонстрируют преимущества экспорта модели YOLO26 в формат OpenVINO. Для различных моделей и аппаратных платформ формат OpenVINO неизменно превосходит другие форматы по скорости инференса, сохраняя при этом сопоставимую точность.

Бенчмарки подчеркивают эффективность OpenVINO как инструмента для развертывания моделей глубокого обучения. Преобразуя модели в формат OpenVINO, разработчики могут добиться значительного повышения производительности, что упрощает развертывание этих моделей в реальных приложениях.

Для получения более подробной информации и инструкций по использованию OpenVINO обратись к официальной документации OpenVINO.

FAQ

Как экспортировать модели YOLO26 в формат OpenVINO?

Экспорт моделей YOLO26 в формат OpenVINO может значительно увеличить скорость работы на CPU и обеспечить ускорение на GPU и NPU при использовании оборудования Intel. Для экспорта ты можешь использовать Python или CLI, как показано ниже:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

Для получения дополнительной информации обратись к документации по форматам экспорта.

В чем преимущества использования OpenVINO с моделями YOLO26?

Использование инструментария OpenVINO от Intel с моделями YOLO26 дает несколько преимуществ:

1. Производительность: Достигай ускорения инференса на CPU до 3 раз и задействуй GPU и NPU Intel для ускорения.
2. Оптимизатор моделей: Конвертируй, оптимизируй и запускай модели из популярных фреймворков, таких как PyTorch, TensorFlow и ONNX.
3. Простота использования: Доступно более 80 обучающих блокнотов, которые помогут тебе начать работу, включая блокноты для YOLO26.
4. Гетерогенное выполнение: Развертывай модели на различном оборудовании Intel с помощью унифицированного API.

Для детального сравнения производительности посети наш раздел бенчмарков.

Как запустить инференс с помощью модели YOLO26, экспортированной в OpenVINO?

После экспорта модели YOLO26n в формат OpenVINO ты можешь запустить инференс, используя Python или CLI:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

Для получения более подробной информации обратись к нашей документации по режиму предсказания.

Почему стоит выбрать Ultralytics YOLO26 вместо других моделей для экспорта в OpenVINO?

Ultralytics YOLO26 оптимизирована для обнаружения объектов в реальном времени с высокой точностью и скоростью. В частности, при использовании с OpenVINO модель YOLO26 обеспечивает:

• Ускорение до 3 раз на процессорах Intel
• Бесшовное развертывание на GPU и NPU Intel
• Стабильная и сопоставимая точность для различных форматов экспорта

Для глубокого анализа производительности ознакомься с нашими подробными бенчмарками YOLO26 на различном оборудовании.

Могу ли я проводить бенчмаркинг моделей YOLO26 в различных форматах, таких как PyTorch, ONNX и OpenVINO?

Да, ты можешь проводить бенчмаркинг моделей YOLO26 в различных форматах, включая PyTorch, TorchScript, ONNX и OpenVINO. Используй следующий фрагмент кода для запуска бенчмарков на выбранном наборе данных:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

Для получения подробных результатов бенчмарков обратись к нашему разделу бенчмарков и документации по форматам экспорта.