Link to this sectionЭкспорт в Intel OpenVINO#

В этом руководстве мы расскажем об экспорте моделей YOLO26 в формат OpenVINO, который позволяет ускорить работу до 3 раз на CPU, а также ускорить вывод YOLO на оборудовании Intel GPU и NPU.

OpenVINO, сокращение от Open Visual Inference & Neural Network Optimization toolkit, — это комплексный набор инструментов для оптимизации и развертывания моделей вывода ИИ. Несмотря на то, что в названии есть слово Visual, OpenVINO также поддерживает множество других задач, включая работу с языком, аудио, временными рядами и т. д.

Link to this sectionПримеры использования#

Формат OpenVINO поддерживает режимы Export, Predict и Validate. Экспортируй свою модель, а затем загрузи её, чтобы запустить вывод или проверить точность на процессоре Intel CPU, встроенном/дискретном GPU или NPU.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to OpenVINO format
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

from ultralytics import YOLO

# Load the exported OpenVINO model
model = YOLO("yolo26n_openvino_model/")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

# Run inference on a specific device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

from ultralytics import YOLO

# Load the exported OpenVINO model
model = YOLO("yolo26n_openvino_model/")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Link to this sectionАргументы экспорта#

Более подробную информацию о процессе экспорта можно найти на странице документации Ultralytics по экспорту.

Link to this sectionПреимущества OpenVINO#

1. Производительность: OpenVINO обеспечивает высокую скорость вывода, используя мощность процессоров Intel CPU, интегрированных и дискретных GPU, а также FPGA.
2. Поддержка гетерогенных вычислений: OpenVINO предоставляет API, позволяющий написать код один раз и развернуть его на любом поддерживаемом оборудовании Intel (CPU, GPU, FPGA, VPU и т. д.).
3. Оптимизатор моделей: OpenVINO предоставляет оптимизатор моделей, который импортирует, конвертирует и оптимизирует модели из популярных фреймворков deep learning, таких как PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle и Caffe.
4. Простота использования: Набор инструментов включает большую коллекцию учебных блокнотов (включая оптимизацию YOLO26), обучающих различным аспектам работы с инструментарием.

Link to this sectionСтруктура экспорта OpenVINO#

При экспорте модели в формат OpenVINO создается директория, содержащая следующие файлы:

1. Файл XML: Описывает топологию сети.
2. Файл BIN: Содержит бинарные данные весов и смещений.
3. Файл сопоставления: Содержит сопоставление выходных тензоров исходной модели с именами тензоров OpenVINO.

Ты можешь использовать эти файлы для запуска вывода с помощью движка OpenVINO Inference Engine.

Link to this sectionИспользование экспорта OpenVINO при развертывании#

Как только модель успешно экспортирована в формат OpenVINO, у тебя есть два основных способа для запуска вывода:

1. Использование пакета ultralytics, который предоставляет высокоуровневый API и является оберткой над OpenVINO Runtime.

2. Использование нативного пакета openvino для более расширенного или индивидуального управления процессом вывода.

Link to this sectionВывод с помощью Ultralytics#

Пакет ultralytics позволяет легко запускать вывод с использованием экспортированной модели OpenVINO через метод predict. Ты также можешь указать целевое устройство (например, intel:gpu, intel:npu, intel:cpu), используя аргумент device.

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

Этот подход идеален для быстрого прототипирования или развертывания, когда тебе не требуется полный контроль над конвейером вывода.

Link to this sectionВывод с помощью OpenVINO Runtime#

OpenVINO Runtime предоставляет унифицированный API для вывода на всем поддерживаемом оборудовании Intel. Он также предлагает расширенные возможности, такие как балансировка нагрузки между устройствами Intel и асинхронное выполнение. Для получения дополнительной информации о запуске вывода обратись к блокнотам YOLO26.

Помни, что тебе понадобятся файлы XML и BIN, а также любые специфические для приложения настройки, такие как размер входных данных, коэффициент масштабирования для нормализации и т. д., чтобы правильно настроить и использовать модель с Runtime.

В своем приложении для развертывания ты обычно выполняешь следующие шаги:

1. Инициализируй OpenVINO, создав core = Core().
2. Загрузи модель с помощью метода core.read_model().
3. Скомпилируй модель с помощью функции core.compile_model().
4. Подготовь входные данные (изображение, текст, аудио и т. д.).
5. Запусти вывод, используя compiled_model(input_data).

Для получения более подробных инструкций и примеров кода обратись к документации OpenVINO или учебнику по API.

Link to this sectionБенчмарки YOLO26 для OpenVINO#

Команда Ultralytics провела тестирование YOLO26 на различных форматах моделей и precision, оценивая скорость и точность на разных устройствах Intel, совместимых с OpenVINO.

Link to this sectionIntel® Core™ Ultra#

Серия Intel® Core™ Ultra™ представляет собой новый стандарт высокопроизводительных вычислений, разработанный для удовлетворения меняющихся требований современных пользователей — от геймеров и создателей контента до профессионалов, использующих ИИ. Это поколение — не просто серия процессоров; оно объединяет мощные CPU-ядра, интегрированные высокопроизводительные GPU и выделенный нейронный процессор (NPU) на одном чипе, предлагая единое решение для разнообразных и интенсивных вычислительных задач.

В основе архитектуры Intel® Core Ultra™ лежит гибридный дизайн, обеспечивающий исключительную производительность в традиционных вычислительных задачах, рабочих нагрузках с ускорением GPU и операциях на базе ИИ. Включение NPU улучшает локальный вывод ИИ, обеспечивая более быстрое и эффективное машинное обучение и обработку данных в широком спектре приложений.

Семейство Core Ultra™ включает различные модели, адаптированные под разные потребности: от энергоэффективных решений до мощных вариантов с обозначением "H", идеально подходящих для ноутбуков и компактных форм-факторов, требующих серьезной вычислительной мощности. Во всей линейке пользователи выигрывают от синергии интеграции CPU, GPU и NPU, что обеспечивает замечательную эффективность, отзывчивость и возможности многозадачности.

Как часть постоянных инноваций Intel, серия Core Ultra™ устанавливает новый стандарт для вычислений будущего. Благодаря наличию множества моделей и перспективным новинкам, эта серия подчеркивает стремление Intel предоставлять передовые решения для следующего поколения интеллектуальных устройств с поддержкой ИИ.

Бенчмарки ниже выполнены на Intel® Core™ Ultra™ X7 358H, Intel® Core™ Ultra™ 7 258V и Intel® Core™ Ultra™ 7 155H с точностью FP32, FP16 и INT8.

Link to this sectionIntel® Core™ Ultra™ X7 358H#

Бенчмарки

Интегрированный Intel® Arc™ GPUIntel® Panther Lake CPUIntegrated Intel® AI Boost NPU

Подробные результаты тестирования

Модель	Формат	Точность	Статус	Размер (МБ)	metrics/mAP50-95(B)	Время вывода (мс/изоб)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	25.18
YOLO26n	OpenVINO	FP32	✅	9.6	0.4763	2.67
YOLO26n	OpenVINO	FP16	✅	5.1	0.4763	2.64
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	2.73
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	50.09
YOLO26s	OpenVINO	FP32	✅	36.7	0.5615	3.57
YOLO26s	OpenVINO	FP16	✅	18.6	0.5615	3.55
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	3.09
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	135.1
YOLO26m	OpenVINO	FP32	✅	78.3	0.6168	5.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	5.85
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	4.14
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	169.75
YOLO26l	OpenVINO	FP32	✅	95.3	0.6206	8.14
YOLO26l	OpenVINO	FP16	✅	48.1	0.6206	8.18
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	4.67
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	407.56
YOLO26x	OpenVINO	FP32	✅	213.2	0.6569	13.11
YOLO26x	OpenVINO	FP16	✅	107.1	0.6569	13.15
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	9.24

Link to this sectionIntel® Core™ Ultra™ 7 258V#

Бенчмарки

Интегрированный Intel® Arc™ GPUIntel® Lunar Lake CPUIntegrated Intel® AI Boost NPU

Подробные результаты тестирования

Модель	Формат	Точность	Статус	Размер (МБ)	metrics/mAP50-95(B)	Время вывода (мс/изоб)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	31.43
YOLO26n	OpenVINO	FP32	✅	9.6	0.4762	3.57
YOLO26n	OpenVINO	FP16	✅	5.1	0.4762	3.53
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	3.65
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	60.4
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	5.02
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	5.01
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	4.31
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	173.31
YOLO26m	OpenVINO	FP32	✅	78.3	0.6191	9.48
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	9.6
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	6.03
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6173	224.52
YOLO26l	OpenVINO	FP32	✅	95.3	0.3725	11.88
YOLO26l	OpenVINO	FP16	✅	48.1	0.6201	12.0
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	8.47
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	595.72
YOLO26x	OpenVINO	FP32	✅	213.2	0.6567	20.26
YOLO26x	OpenVINO	FP16	✅	107.1	0.6454	20.25
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	14.77

Link to this sectionIntel® Core™ Ultra™ 7 155H#

Бенчмарки

Интегрированный Intel® Arc™ GPUIntel® Meteor Lake CPU

Подробные результаты тестирования

Модель	Формат	Точность	Статус	Размер (МБ)	metrics/mAP50-95(B)	Время вывода (мс/изоб)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	38.77
YOLO26n	OpenVINO	FP32	✅	9.6	0.4774	9.87
YOLO26n	OpenVINO	FP16	✅	5.1	0.4774	9.84
YOLO26n	OpenVINO	INT8	✅	3.2	0.4705	5.86
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	69.54
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	17.29
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	17.06
YOLO26s	OpenVINO	INT8	✅	10.0	0.5452	10.33
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	192.22
YOLO26m	OpenVINO	FP32	✅	78.3	0.6187	34.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6187	34.75
YOLO26m	OpenVINO	INT8	✅	20.5	0.6073	15.99
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	245.62
YOLO26l	OpenVINO	FP32	✅	95.3	0.6202	43.7
YOLO26l	OpenVINO	FP16	✅	48.1	0.6202	44.65
YOLO26l	OpenVINO	INT8	✅	25.2	0.6048	20.31
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	513.06
YOLO26x	OpenVINO	FP32	✅	213.2	0.6544	80.19
YOLO26x	OpenVINO	FP16	✅	107.1	0.6544	79.83
YOLO26x	OpenVINO	INT8	✅	54.8	0.6393	35.16

Link to this sectionВоспроизведение наших результатов#

Чтобы воспроизвести представленные выше бенчмарки Ultralytics для всех форматов экспорта, запусти этот код:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

Link to this sectionЗаключение#

Результаты бенчмарков наглядно демонстрируют преимущества экспорта модели YOLO26 в формат OpenVINO. На различных моделях и аппаратных платформах формат OpenVINO неизменно превосходит другие форматы по скорости инференса, сохраняя при этом сопоставимую точность.

Бенчмарки подчеркивают эффективность OpenVINO как инструмента для развертывания моделей глубокого обучения. Конвертируя модели в формат OpenVINO, разработчики могут добиться значительного повышения производительности, упрощая внедрение этих моделей в реальные приложения.

Более подробную информацию и инструкции по использованию OpenVINO можно найти в официальной документации OpenVINO.

Link to this sectionFAQ#

Link to this sectionКак мне экспортировать модели YOLO26 в формат OpenVINO?#

Экспорт моделей YOLO26 в формат OpenVINO может значительно увеличить скорость на CPU и задействовать ускорение на GPU и NPU при использовании аппаратного обеспечения Intel. Для экспорта ты можешь использовать Python или CLI, как показано ниже:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

Дополнительную информацию см. в документации по форматам экспорта.

Link to this sectionВ чем преимущества использования OpenVINO с моделями YOLO26?#

Использование набора инструментов Intel OpenVINO с моделями YOLO26 дает несколько преимуществ:

1. Производительность: до 3-кратного ускорения инференса на CPU и использование GPU и NPU Intel для ускорения.
2. Оптимизатор моделей: конвертируй, оптимизируй и выполняй модели из популярных фреймворков, таких как PyTorch, TensorFlow и ONNX.
3. Простота использования: доступна большая коллекция обучающих ноутбуков, помогающих пользователям начать работу, включая ноутбуки для YOLO26.
4. Гетерогенное выполнение: развертывай модели на различном оборудовании Intel с помощью единого API.

Подробное сравнение производительности см. в нашем разделе бенчмарков.

Link to this sectionКак запустить инференс с помощью модели YOLO26, экспортированной в OpenVINO?#

После экспорта модели YOLO26n в формат OpenVINO ты можешь запустить инференс с помощью Python или CLI:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

Подробнее см. в нашей документации по режиму предсказания.

Link to this sectionПочему стоит выбрать Ultralytics YOLO26, а не другие модели для экспорта в OpenVINO?#

Ultralytics YOLO26 оптимизирована для обнаружения объектов в реальном времени с высокой точностью и скоростью. В частности, при использовании с OpenVINO YOLO26 обеспечивает:

• До 3-кратного ускорения на процессорах Intel
• Бесшовное развертывание на GPU и NPU Intel
• Стабильную и сопоставимую точность при различных форматах экспорта

Для глубокого анализа производительности ознакомься с нашими подробными бенчмарками YOLO26 на разном оборудовании.

Link to this sectionМогу ли я тестировать модели YOLO26 в разных форматах, таких как PyTorch, ONNX и OpenVINO?#

Да, ты можешь запускать бенчмарки для моделей YOLO26 в различных форматах, включая PyTorch, TorchScript, ONNX и OpenVINO. Используй следующий фрагмент кода для запуска бенчмарков на выбранном тобой датасете:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

Подробные результаты бенчмарков см. в нашем разделе бенчмарков и документации по форматам экспорта.