Intel OpenVINO Экспорт

В этом руководстве мы рассмотрим экспорт моделей YOLOv8 в OpenVINO формат, который может обеспечить до 3х CPU ускорение, а также ускорение вывода YOLO на Intel GPU и аппаратном обеспечении NPU.

OpenVINOСокращение от Open Visual Inference & Neural Network Optimization toolkit - это комплексный набор инструментов для оптимизации и развертывания моделей искусственного интеллекта. Несмотря на то, что в названии присутствует слово Visual, OpenVINO также поддерживает различные дополнительные задачи, включая языки, аудио, временные ряды и т.д.

Смотреть: Как экспортировать и оптимизировать модель Ultralytics YOLOv8 для вывода с помощью OpenVINO.

Примеры использования

Экспортируйте модель YOLOv8n в формат OpenVINO и проведите расчеты с экспортированной моделью.

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolov8n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Аргументы

Преимущества OpenVINO

1. Производительность: OpenVINO обеспечивает высокопроизводительные выводы за счет использования мощности Intel CPU, интегрированных и дискретных GPU и FPGA.
2. Поддержка гетерогенного исполнения: OpenVINO предоставляет API для однократного написания и развертывания на любом поддерживаемом Intel оборудовании (CPU, GPU, FPGA, VPU и т. д.).
3. Оптимизатор моделей: OpenVINO предоставляет оптимизатор моделей, который импортирует, конвертирует и оптимизирует модели из популярных фреймворков глубокого обучения, таких как PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle, и Caffe.
4. Простота использования: В комплект поставки входит более 80 учебных тетрадей (включая YOLOv8 optimization), обучающих различным аспектам работы с инструментарием.

OpenVINO Структура экспорта

При экспорте модели в формат OpenVINO создается каталог, содержащий следующее:

1. XML-файл: Описывает топологию сети.
2. Файл BIN: Содержит двоичные данные weights and biases .
3. Файл отображения: Хранит отображение исходных выходных тензоров модели на имена OpenVINO tensor .

Вы можете использовать эти файлы для проведения выводов с помощью OpenVINO Inference Engine.

Использование экспорта OpenVINO в развертывании

Получив файлы OpenVINO , вы можете использовать OpenVINO Runtime для запуска модели. Runtime предоставляет унифицированный API для проведения выводов на всех поддерживаемых Intel аппаратных средствах. Он также предоставляет расширенные возможности, такие как балансировка нагрузки на Intel оборудование и асинхронное выполнение. Дополнительные сведения о выполнении выводов см. в руководстве по выполнению выводов с помощью OpenVINO Runtime.

Помните, что для правильной настройки и использования модели в Runtime вам понадобятся файлы XML и BIN, а также любые специфические для приложения настройки, такие как размер входных данных, масштабный коэффициент для нормализации и т. д.

В приложении для развертывания обычно выполняются следующие действия:

1. Инициализируйте OpenVINO , создав core = Core().
2. Загрузите модель с помощью core.read_model() метод.
3. Скомпилируйте модель, используя core.compile_model() функция.
4. Подготовьте входные данные (изображение, текст, аудио и т. д.).
5. Выполните вывод, используя compiled_model(input_data).

Более подробные шаги и фрагменты кода см. в документацииOpenVINO или в учебнике по API.

OpenVINO YOLOv8 Бенчмарки

YOLOv8 Бенчмарки, представленные ниже, были выполнены командой Ultralytics на 4 различных форматах моделей, измеряющих скорость и точность: PyTorch, TorchScript, ONNX и OpenVINO. Бенчмарки выполнялись на графических процессорах Intel Flex и Arc, а также на процессорах Intel Xeon при FP32. точность (с half=False аргумент).

Intel Flex GPU

Серия Intel® Data Center GPU Flex - это универсальное и надежное решение, предназначенное для интеллектуального визуального облака. Этот GPU поддерживает широкий спектр рабочих нагрузок, включая потоковую передачу мультимедиа, облачные игры, визуальные выводы ИИ и рабочие нагрузки инфраструктуры виртуальных рабочих столов. Его отличает открытая архитектура и встроенная поддержка кодирования AV1, обеспечивающая основанный на стандартах программный стек для высокопроизводительных приложений с различными архитектурами. Серия Flex GPU оптимизирована для плотности и качества, обеспечивая высокую надежность, доступность и масштабируемость.

Приведенные ниже бенчмарки выполняются на платформе Intel® Data Center GPU Flex 170 с точностью FP32.

В этой таблице представлены результаты бенчмарка для пяти различных моделей (YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) в четырех различных форматах (PyTorch, TorchScript, ONNX, OpenVINO), с указанием состояния, размера, метрики mAP50-95(B) и времени вывода для каждой комбинации.

Intel Дуга GPU

Intel® Arc™ представляет собой Intel'выход на специализированный рынок GPU . Серия Arc™, призванная конкурировать с такими ведущими GPU производителями, как AMD и NVIDIA, ориентирована как на рынок ноутбуков, так и на рынок настольных компьютеров. Серия включает мобильные версии для компактных устройств, таких как ноутбуки, и более мощные версии для настольных компьютеров.

Серия Arc™ делится на три категории: Arc™ 3, Arc™ 5 и Arc™ 7, причем каждый номер обозначает уровень производительности. Каждая категория включает в себя несколько моделей, а буква "M" в названии модели GPU означает мобильный, интегрированный вариант.

Первые отзывы высоко оценили серию Arc™, особенно интегрированный процессор A770M GPU, за впечатляющую графическую производительность. Доступность серии Arc™ зависит от региона, и в ближайшее время ожидается выпуск дополнительных моделей. Графические процессоры Intel® Arc™ - это высокопроизводительные решения для самых разных вычислительных задач, от игр до создания контента.

Приведенные ниже бенчмарки выполняются на Intel® Arc 770 GPU с точностью FP32.

Intel Xeon CPU

Intel® Xeon® CPU - это высокопроизводительные процессоры серверного класса, предназначенные для сложных и требовательных рабочих нагрузок. Процессоры Xeon® обеспечивают мощность, надежность и гибкость, необходимые для современных центров обработки данных: от высокопроизводительных облачных вычислений и виртуализации до приложений искусственного интеллекта и машинного обучения.

Кроме того, процессоры Xeon® обеспечивают высокую плотность вычислений и масштабируемость, что делает их идеальными как для малых, так и для крупных предприятий. Выбирая процессоры Intel® Xeon®, организации могут уверенно справляться с самыми сложными вычислительными задачами и стимулировать инновации, сохраняя при этом рентабельность и эффективность работы.

Приведенные ниже бенчмарки выполняются на масштабируемых процессорах Intel® Xeon® 4-го поколения CPU с точностью FP32.

Intel Ядро CPU

Серия Intel® Core® - это линейка высокопроизводительных процессоров от Intel. В линейку входят Core i3 (начальный уровень), Core i5 (средний уровень), Core i7 (высокий уровень) и Core i9 (экстремальная производительность). Каждая серия рассчитана на различные вычислительные потребности и бюджеты - от повседневных задач до сложных профессиональных нагрузок. С каждым новым поколением улучшается производительность, энергоэффективность и функциональность.

Бенчмарки, представленные ниже, выполняются на процессорах 13-го поколения Intel® Core® i7-13700H CPU с точностью FP32.

Intel Ultra 7 155H Meteor Lake CPU

Intel® Ultra™ 7 155H представляет собой новый эталон в области высокопроизводительных вычислений, предназначенный для самых требовательных пользователей - от геймеров до создателей контента. Ultra™ 7 155H - это не просто CPU; он объединяет мощный GPU и передовой NPU (Neural Processing Unit) в одном чипе, предлагая комплексное решение для различных вычислительных задач.

Эта гибридная архитектура позволяет Ultra™ 7 155H отлично справляться как с традиционными задачами CPU , так и с ускоренными нагрузками GPU, а NPU улучшает процессы, основанные на искусственном интеллекте, обеспечивая более быстрые и эффективные операции машинного обучения. Это делает Ultra™ 7 155H универсальным выбором для приложений, требующих высокопроизводительной графики, сложных вычислений и выводов ИИ.

Серия Ultra™ 7 включает в себя несколько моделей, каждая из которых отличается уровнем производительности. Обозначение "H" указывает на вариант с высокой мощностью, подходящий для ноутбуков и компактных устройств. Первые бенчмарки показали исключительную производительность Ultra™ 7 155H, особенно в многозадачных средах, где объединенная мощь CPU, GPU и NPU приводит к поразительной эффективности и скорости.

В рамках стратегии Intel по внедрению передовых технологий Ultra™ 7 155H разработан с учетом потребностей будущих вычислений, и в будущем ожидается выпуск новых моделей. Доступность Ultra™ 7 155H зависит от региона, и он продолжает получать похвалы за интеграцию трех мощных процессоров в одном чипе, устанавливая новые стандарты вычислительной производительности.

Приведенные ниже бенчмарки выполняются на процессоре Intel® Ultra™ 7 155H с точностью FP32 и INT8.

Бенчмарки

Интегрированный Intel® Arc™ GPUIntel® Meteor Lake CPUВстроенный процессор Intel® AI Boost NPU

Модель	Формат	Точность	Статус	Размер (МБ)	метрики/mAP50-95(B)	Время вывода (мс/им)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	35.95
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6117	8.32
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5791	9.88
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.72
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7136	13.37
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7086	9.96
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	202.05
YOLOv8m	OpenVINO	FP32	✅	99.1	0.7331	28.07
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7259	21.11
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	393.37
YOLOv8l	OpenVINO	FP32	✅	167.0	0.0	52.73
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7861	28.11
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	610.71
YOLOv8x	OpenVINO	FP32	✅	260.6	0.748	73.51
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8085	51.71

Модель	Формат	Точность	Статус	Размер (МБ)	метрики/mAP50-95(B)	Время вывода (мс/им)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	34.69
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6092	39.06
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5968	18.37
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.9
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7136	82.6
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7083	29.51
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	202.43
YOLOv8m	OpenVINO	FP32	✅	99.1	0.728	181.27
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7285	51.25
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	385.87
YOLOv8l	OpenVINO	FP32	✅	167.0	0.7551	347.75
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7675	91.66
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	603.63
YOLOv8x	OpenVINO	FP32	✅	260.6	0.7479	516.39
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8119	142.42

Модель	Формат	Точность	Статус	Размер (МБ)	метрики/mAP50-95(B)	Время вывода (мс/им)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	36.98
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6103	16.68
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5941	14.6
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.76
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7144	32.89
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7062	26.13
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	201.44
YOLOv8m	OpenVINO	FP32	✅	99.1	0.7284	54.4
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7268	30.76
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	385.46
YOLOv8l	OpenVINO	FP32	✅	167.0	0.7539	80.1
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7508	52.25
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	609.4
YOLOv8x	OpenVINO	FP32	✅	260.6	0.7637	104.79
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8077	64.96

Воспроизведите наши результаты

Чтобы воспроизвести приведенные выше примеры Ultralytics на всех форматах экспорта, выполните этот код:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
results = model.benchmarks(data="coco8.yaml")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

Заключение

Результаты бенчмаркинга наглядно демонстрируют преимущества экспорта модели YOLOv8 в формат OpenVINO . Для различных моделей и аппаратных платформ формат OpenVINO неизменно превосходит другие форматы по скорости вывода, сохраняя при этом сопоставимую точность.

Для ЦОД Intel® серии GPU Flex формат OpenVINO обеспечил скорость вывода почти в 10 раз выше, чем оригинальный формат PyTorch . На процессорах Xeon CPU формат OpenVINO оказался вдвое быстрее формата PyTorch . Точность моделей оставалась практически одинаковой для разных форматов.

Бенчмарки подчеркивают эффективность OpenVINO как инструмента для развертывания моделей глубокого обучения. Конвертируя модели в формат OpenVINO , разработчики могут добиться значительного повышения производительности, что упрощает развертывание моделей в реальных приложениях.

Для получения более подробной информации и инструкций по использованию OpenVINO обратитесь к официальной документации OpenVINO .

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ

Как экспортировать модели YOLOv8 в формат OpenVINO ?

Экспорт моделей YOLOv8 в формат OpenVINO может значительно повысить скорость работы CPU и обеспечить ускорение работы GPU и NPU на оборудовании Intel . Для экспорта можно использовать либо Python , либо CLI , как показано ниже:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolov8n_openvino_model/'

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

Дополнительные сведения см. в документации по форматам экспорта.

В чем преимущества использования OpenVINO в моделях YOLOv8 ?

Использование инструментария Intel' OpenVINO с моделями YOLOv8 дает ряд преимуществ:

1. Производительность: Достигайте 3-кратного ускорения при выводе данных на сайте CPU и используйте графические и цифровые процессоры Intel для ускорения.
2. Оптимизатор моделей: Конвертируйте, оптимизируйте и выполняйте модели из таких популярных фреймворков, как PyTorch, TensorFlow и ONNX.
3. Простота использования: Более 80 обучающих блокнотов помогут пользователям начать работу, в том числе для YOLOv8.
4. Гетерогенное исполнение: Развертывание моделей на различных аппаратных средствах Intel с помощью унифицированного API.

Для детального сравнения производительности посетите наш раздел бенчмарков.

Как запустить вывод по модели YOLOv8 , экспортированной в OpenVINO?

После экспорта модели YOLOv8 в формат OpenVINO вы можете проводить расчеты с помощью Python или CLI:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Более подробную информацию см. в нашей документации по режиму предсказания.

Почему стоит выбрать Ultralytics YOLOv8 , а не другие модели для экспорта OpenVINO ?

Ultralytics YOLOv8 оптимизирован для обнаружения объектов в реальном времени с высокой точностью и скоростью. В частности, в сочетании с OpenVINO, YOLOv8 обеспечивает:

• Ускорение до 3 раз на процессорах Intel .
• Бесшовное развертывание на Intel GPU и NPU.
• Последовательная и сопоставимая точность при экспорте в различных форматах

Для детального анализа производительности ознакомьтесь с нашими подробными бенчмаркамиYOLOv8 на различных аппаратных средствах.

Могу ли я сравнить модели YOLOv8 с различными форматами, такими как PyTorch, ONNX и OpenVINO?

Да, вы можете проводить бенчмарки моделей YOLOv8 в различных форматах, включая PyTorch, TorchScript, ONNX и OpenVINO. Используйте следующий фрагмент кода для запуска бенчмарков на выбранном вами наборе данных:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmarks(data="coco8.yaml")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

Подробные результаты бенчмарков можно найти в разделе бенчмарков и документации по форматам экспорта.

📅 Создано 1 год назад ✏️ Обновлено 2 месяца назад

Комментарии