Link to this sectionЭкспорт в Intel OpenVINO#

В этом руководстве мы рассматриваем экспорт моделей YOLO26 в формат OpenVINO, который может обеспечить до 3-кратного ускорения на CPU, а также ускорить инференс YOLO на оборудовании Intel GPU и NPU.

OpenVINO, сокращение от Open Visual Inference & Neural Network Optimization toolkit, представляет собой комплексный инструментарий для оптимизации и развертывания моделей инференса ИИ. Несмотря на то, что название содержит слово Visual, OpenVINO также поддерживает множество других задач, включая обработку языка, аудио, временных рядов и т. д.

Link to this sectionПримеры использования#

Формат OpenVINO поддерживает режимы Export, Predict и Validate. Экспортируй свою модель, а затем загрузи ее для выполнения инференса или проверки точности на CPU, интегрированном/дискретном GPU или NPU от Intel.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to OpenVINO format
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

from ultralytics import YOLO

# Load the exported OpenVINO model
model = YOLO("yolo26n_openvino_model/")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

# Run inference on a specific device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

from ultralytics import YOLO

# Load the exported OpenVINO model
model = YOLO("yolo26n_openvino_model/")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Link to this sectionАргументы экспорта#

Для получения дополнительной информации о процессе экспорта посети страницу документации Ultralytics по экспорту.

Link to this sectionПреимущества OpenVINO#

1. Производительность: OpenVINO обеспечивает высокопроизводительный инференс, используя мощность CPU, интегрированных и дискретных GPU, а также FPGA от Intel.
2. Поддержка гетерогенного выполнения: OpenVINO предоставляет API для написания кода один раз и развертывания на любом поддерживаемом оборудовании Intel (CPU, GPU, FPGA, VPU и т. д.).
3. Оптимизатор моделей: OpenVINO предоставляет оптимизатор моделей, который импортирует, конвертирует и оптимизирует модели из популярных фреймворков глубокого обучения, таких как PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle и Caffe.
4. Простота использования: Инструментарий поставляется с большой коллекцией учебных блокнотов (включая оптимизацию YOLO26), обучающих различным аспектам работы с инструментарием.

Link to this sectionСтруктура экспорта OpenVINO#

Когда ты экспортируешь модель в формат OpenVINO, создается директория, содержащая следующее:

1. XML-файл: Описывает топологию сети.
2. BIN-файл: Содержит бинарные данные весов и смещений.
3. Файл маппинга: Содержит сопоставление тензоров вывода оригинальной модели с именами тензоров OpenVINO.

Ты можешь использовать эти файлы для запуска инференса с помощью движка OpenVINO Inference Engine.

Link to this sectionИспользование экспорта OpenVINO при развертывании#

Как только твоя модель успешно экспортирована в формат OpenVINO, у тебя есть два основных варианта запуска инференса:

1. Используй пакет ultralytics, который предоставляет высокоуровневый API и является оберткой для OpenVINO Runtime.

2. Используй нативный пакет openvino для более продвинутого или кастомизированного контроля над поведением инференса.

Link to this sectionИнференс с Ultralytics#

Пакет ultralytics позволяет тебе легко запускать инференс, используя экспортированную модель OpenVINO через метод predict. Ты также можешь указать целевое устройство (например, intel:gpu, intel:npu, intel:cpu), используя аргумент device.

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

Этот подход идеально подходит для быстрого прототипирования или развертывания, когда тебе не нужен полный контроль над конвейером инференса.

Link to this sectionИнференс с OpenVINO Runtime#

OpenVINO Runtime предоставляет унифицированный API для инференса на всем поддерживаемом оборудовании Intel. Он также предлагает продвинутые возможности, такие как балансировка нагрузки между оборудованием Intel и асинхронное выполнение. Дополнительную информацию о запуске инференса см. в блокнотах YOLO26.

Помни, что тебе понадобятся XML и BIN файлы, а также любые специфичные для приложения настройки, такие как размер входных данных, коэффициент масштабирования для нормализации и т. д., чтобы правильно настроить и использовать модель с Runtime.

В своем приложении для развертывания ты обычно выполняешь следующие шаги:

1. Инициализируй OpenVINO, создав core = Core().
2. Загрузи модель, используя метод core.read_model().
3. Скомпилируй модель, используя функцию core.compile_model().
4. Подготовь входные данные (изображение, текст, аудио и т. д.).
5. Запусти инференс, используя compiled_model(input_data).

Более подробные шаги и фрагменты кода см. в документации OpenVINO или руководстве по API.

Link to this sectionБенчмарки OpenVINO YOLO26#

Команда Ultralytics провела тестирование YOLO26 по различным форматам моделей и точности, оценивая скорость и точность на разных устройствах Intel, совместимых с OpenVINO.

Link to this sectionIntel® Core™ Ultra#

Серия Intel® Core™ Ultra™ представляет собой новый стандарт высокопроизводительных вычислений, разработанный для удовлетворения растущих потребностей современных пользователей — от геймеров и создателей контента до профессионалов, использующих ИИ. Эта линейка нового поколения — больше, чем просто традиционная серия CPU; она объединяет мощные ядра процессора, интегрированные высокопроизводительные графические возможности GPU и выделенный нейронный процессор (NPU) в одном чипе, предлагая единое решение для разнообразных и интенсивных вычислительных задач.

В основе архитектуры Intel® Core Ultra™ лежит гибридный дизайн, который обеспечивает исключительную производительность при выполнении традиционных задач обработки, рабочих нагрузок с ускорением на GPU и операций на основе ИИ. Включение NPU улучшает инференс ИИ на устройстве, обеспечивая более быстрое и эффективное машинное обучение и обработку данных для широкого спектра приложений.

Семейство Core Ultra™ включает различные модели, адаптированные под разные потребности в производительности, с вариантами от энергоэффективных конструкций до высокопроизводительных моделей, отмеченных обозначением "H" — идеальный выбор для ноутбуков и компактных форм-факторов, требующих серьезной вычислительной мощности. Во всей линейке пользователи получают преимущества от синергии интеграции CPU, GPU и NPU, что обеспечивает замечательную эффективность, отзывчивость и многозадачность.

Являясь частью постоянных инноваций Intel, серия Core Ultra™ устанавливает новый стандарт для вычислений будущего. Благодаря наличию множества моделей и новым анонсам впереди, эта серия подчеркивает приверженность Intel созданию передовых решений для следующего поколения интеллектуальных устройств с поддержкой ИИ.

Бенчмарки ниже запущены на Intel® Core™ Ultra™ X7 358H, Intel® Core™ Ultra™ 7 258V и Intel® Core™ Ultra™ 7 155H при точности FP32, FP16 и INT8.

Link to this sectionIntel® Core™ Ultra™ X7 358H#

Бенчмарки

Интегрированный GPU Intel® Arc™Intel® Panther Lake CPUВстроенный NPU Intel® AI Boost

Подробные результаты бенчмарков

Модель	Формат	Precision	Статус	Размер (МБ)	метрики/mAP50-95(B)	Время вывода (мс/из)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	25.18
YOLO26n	OpenVINO	FP32	✅	9.6	0.4763	2.67
YOLO26n	OpenVINO	FP16	✅	5.1	0.4763	2.64
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	2.73
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	50.09
YOLO26s	OpenVINO	FP32	✅	36.7	0.5615	3.57
YOLO26s	OpenVINO	FP16	✅	18.6	0.5615	3.55
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	3.09
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	135.1
YOLO26m	OpenVINO	FP32	✅	78.3	0.6168	5.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	5.85
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	4.14
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	169.75
YOLO26l	OpenVINO	FP32	✅	95.3	0.6206	8.14
YOLO26l	OpenVINO	FP16	✅	48.1	0.6206	8.18
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	4.67
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	407.56
YOLO26x	OpenVINO	FP32	✅	213.2	0.6569	13.11
YOLO26x	OpenVINO	FP16	✅	107.1	0.6569	13.15
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	9.24

Link to this sectionIntel® Core™ Ultra™ 7 258V#

Бенчмарки

Интегрированный GPU Intel® Arc™CPU Intel® Lunar LakeВстроенный NPU Intel® AI Boost

Подробные результаты бенчмарков

Модель	Формат	Precision	Статус	Размер (МБ)	метрики/mAP50-95(B)	Время вывода (мс/из)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	31.43
YOLO26n	OpenVINO	FP32	✅	9.6	0.4762	3.57
YOLO26n	OpenVINO	FP16	✅	5.1	0.4762	3.53
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	3.65
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	60.4
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	5.02
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	5.01
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	4.31
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	173.31
YOLO26m	OpenVINO	FP32	✅	78.3	0.6191	9.48
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	9.6
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	6.03
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6173	224.52
YOLO26l	OpenVINO	FP32	✅	95.3	0.3725	11.88
YOLO26l	OpenVINO	FP16	✅	48.1	0.6201	12.0
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	8.47
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	595.72
YOLO26x	OpenVINO	FP32	✅	213.2	0.6567	20.26
YOLO26x	OpenVINO	FP16	✅	107.1	0.6454	20.25
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	14.77

Link to this sectionIntel® Core™ Ultra™ 7 155H#

Бенчмарки

Интегрированный GPU Intel® Arc™Intel® Meteor Lake CPU

Подробные результаты бенчмарков

Модель	Формат	Precision	Статус	Размер (МБ)	метрики/mAP50-95(B)	Время вывода (мс/из)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	38.77
YOLO26n	OpenVINO	FP32	✅	9.6	0.4774	9.87
YOLO26n	OpenVINO	FP16	✅	5.1	0.4774	9.84
YOLO26n	OpenVINO	INT8	✅	3.2	0.4705	5.86
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	69.54
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	17.29
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	17.06
YOLO26s	OpenVINO	INT8	✅	10.0	0.5452	10.33
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	192.22
YOLO26m	OpenVINO	FP32	✅	78.3	0.6187	34.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6187	34.75
YOLO26m	OpenVINO	INT8	✅	20.5	0.6073	15.99
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	245.62
YOLO26l	OpenVINO	FP32	✅	95.3	0.6202	43.7
YOLO26l	OpenVINO	FP16	✅	48.1	0.6202	44.65
YOLO26l	OpenVINO	INT8	✅	25.2	0.6048	20.31
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	513.06
YOLO26x	OpenVINO	FP32	✅	213.2	0.6544	80.19
YOLO26x	OpenVINO	FP16	✅	107.1	0.6544	79.83
YOLO26x	OpenVINO	INT8	✅	54.8	0.6393	35.16

Link to this sectionВоспроизведи наши результаты#

Чтобы воспроизвести приведенные выше бенчмарки Ultralytics для всех форматов экспорта, выполни этот код:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

Link to this sectionЗаключение#

Результаты бенчмаркинга наглядно демонстрируют преимущества экспорта модели YOLO26 в формат OpenVINO. Для различных моделей и аппаратных платформ формат OpenVINO неизменно превосходит другие форматы по скорости вывода, сохраняя при этом сопоставимую точность.

Эти тесты подчеркивают эффективность OpenVINO как инструмента для развертывания моделей глубокого обучения. Преобразуя модели в формат OpenVINO, ты можешь добиться значительного повышения производительности, что упрощает их развертывание в реальных задачах.

Более подробную информацию и инструкции по использованию OpenVINO можно найти в официальной документации OpenVINO.

Link to this sectionFAQ#

Link to this sectionКак экспортировать модели YOLO26 в формат OpenVINO?#

Экспорт моделей YOLO26 в формат OpenVINO может значительно увеличить скорость на CPU и обеспечить ускорение на GPU и NPU при использовании аппаратного обеспечения Intel. Для экспорта ты можешь использовать Python или CLI, как показано ниже:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

Дополнительную информацию см. в документации по форматам экспорта.

Link to this sectionКаковы преимущества использования OpenVINO с моделями YOLO26?#

Использование инструментария Intel OpenVINO с моделями YOLO26 дает несколько преимуществ:

1. Производительность: Ускорение вывода на CPU до 3 раз и использование Intel GPU и NPU для оптимизации работы.
2. Оптимизатор моделей: Конвертируй, оптимизируй и запускай модели из популярных фреймворков, таких как PyTorch, TensorFlow и ONNX.
3. Простота использования: Доступна обширная коллекция обучающих ноутбуков, которые помогут тебе начать работу, включая ноутбуки для YOLO26.
4. Гетерогенное выполнение: Развертывай модели на различном оборудовании Intel с помощью единого API.

Для детального сравнения производительности посети наш раздел бенчмарков.

Link to this sectionКак запустить вывод с помощью модели YOLO26, экспортированной в OpenVINO?#

После экспорта модели YOLO26n в формат OpenVINO ты можешь запустить вывод с помощью Python или CLI:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

Подробности смотри в нашей документации по режиму предсказания (predict).

Link to this sectionПочему стоит выбрать Ultralytics YOLO26 вместо других моделей для экспорта в OpenVINO?#

Ultralytics YOLO26 оптимизирована для обнаружения объектов в реальном времени с высокой точностью и скоростью. В частности, в сочетании с OpenVINO модель YOLO26 обеспечивает:

• Ускорение до 3 раз на CPU Intel
• Бесшовное развертывание на GPU и NPU Intel
• Стабильную и сопоставимую точность для различных форматов экспорта

Для углубленного анализа производительности ознакомься с нашими подробными бенчмарками YOLO26 на различном оборудовании.

Link to this sectionМогу ли я проводить бенчмаркинг моделей YOLO26 в разных форматах, таких как PyTorch, ONNX и OpenVINO?#

Да, ты можешь проводить бенчмаркинг моделей YOLO26 в различных форматах, включая PyTorch, TorchScript, ONNX и OpenVINO. Используй следующий фрагмент кода для запуска бенчмарков на выбранном наборе данных:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

Для получения подробных результатов бенчмаркинга обратись к нашему разделу бенчмарков и документации по форматам экспорта.