Intel OpenVINO Экспорт

В этом руководстве мы расскажем об экспорте моделей YOLOv8 в OpenVINO формат, что может обеспечить до 3x CPU ускорение, а также об ускорении вывода YOLO на Intel GPU и аппаратном обеспечении NPU.

OpenVINO, сокращение от Open Visual Inference & Neural Network Optimization toolkit, - это комплексный набор инструментов для оптимизации и развертывания моделей искусственного интеллекта. Несмотря на то, что в названии присутствует слово Visual, OpenVINO также поддерживает различные дополнительные задачи, включая язык, аудио, временные ряды и т.д.

Смотри: Как экспортировать и оптимизировать модель Ultralytics YOLOv8 для выводов с помощью OpenVINO.

Примеры использования

Экспортируй модель YOLOv8n в формат OpenVINO и проведи расчеты с экспортированной моделью.

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolov8n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Аргументы

Преимущества OpenVINO

1. Производительность: OpenVINO обеспечивает высокопроизводительные выводы, используя мощь Intel процессоров, интегрированных и дискретных графических процессоров и FPGA.
2. Поддержка гетерогенного исполнения: OpenVINO предоставляет API для того, чтобы написать один раз и развернуть на любом поддерживаемом Intel оборудовании (CPU, GPU, FPGA, VPU и т.д.).
3. Оптимизатор моделей: OpenVINO предоставляет оптимизатор моделей, который импортирует, конвертирует и оптимизирует модели из популярных фреймворков глубокого обучения, таких как PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle, и Caffe.
4. Простота использования: В комплекте с инструментарием поставляется более 80 обучающих блокнотов (включая YOLOv8 optimization), обучающих различным аспектам работы с инструментарием.

OpenVINO Структура экспорта

Когда ты экспортируешь модель в формат OpenVINO, получается каталог, содержащий следующее:

1. XML-файл: Описывает топологию сети.
2. BIN-файл: Содержит бинарные данные weights and biases .
3. Файл отображения: В нем хранится отображение исходных выходных тензоров модели на имена OpenVINO tensor .

Ты можешь использовать эти файлы, чтобы запустить процесс вычисления с помощью OpenVINO Inference Engine.

Использование OpenVINO Export в развертывании

Когда у тебя есть файлы OpenVINO , ты можешь использовать OpenVINO Runtime для запуска модели. Runtime предоставляет единый API для проведения выводов на всех поддерживаемых Intel аппаратных средствах. Он также предоставляет расширенные возможности, такие как балансировка нагрузки на Intel оборудование и асинхронное выполнение. Более подробную информацию о выполнении выводов ты найдешь в руководстве Inference with OpenVINO Runtime Guide.

Помни, что для правильной настройки и использования модели в Runtime тебе понадобятся файлы XML и BIN, а также любые специфические для приложения настройки, такие как размер входных данных, масштабный коэффициент для нормализации и т.д.

В своем приложении для развертывания ты обычно выполняешь следующие действия:

1. Инициализируй OpenVINO, создав core = Core().
2. Загрузи модель с помощью core.read_model() метод.
3. Скомпилируй модель, используя core.compile_model() Функция.
4. Подготовь входные данные (изображение, текст, аудио и т.д.).
5. Выполни умозаключение, используя compiled_model(input_data).

За более подробными шагами и фрагментами кода обратись к документацииOpenVINO или учебнику по API.

OpenVINO YOLOv8 Бенчмарки

YOLOv8 Бенчмарки, представленные ниже, были выполнены командой Ultralytics на 4 различных форматах моделей, измеряющих скорость и точность: PyTorch, TorchScript, ONNX и OpenVINO. Бенчмарки выполнялись на графических процессорах Intel Flex и Arc, а также на процессорах Intel Xeon при FP32. точность (с half=False аргумент).

Intel Флекс GPU

Серия Intel® Data Center GPU Flex - это универсальное и надежное решение, созданное для интеллектуального визуального облака. Этот GPU поддерживает широкий спектр рабочих нагрузок, включая потоковое воспроизведение медиа, облачные игры, визуальные выводы ИИ и рабочие нагрузки инфраструктуры виртуальных рабочих столов. Его отличает открытая архитектура и встроенная поддержка кодировки AV1, обеспечивающая основанный на стандартах программный стек для высокопроизводительных, кросс-архитектурных приложений. Flex Series GPU оптимизированы для плотности и качества, обеспечивают высокую надежность, доступность и масштабируемость.

Бенчмарки ниже работают на Intel® Data Center GPU Flex 170 с точностью FP32.

В этой таблице представлены результаты бенчмарка для пяти различных моделей (YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) в четырех различных форматах (PyTorch, TorchScript, ONNX, OpenVINO), дающие нам статус, размер, метрику mAP50-95(B) и время вывода для каждой комбинации.

Intel Дуга GPU

Intel® Arc™ представляет собой Intel'набег на специализированный GPU рынок. Серия Arc™, призванная конкурировать с такими ведущими GPU производителями, как AMD и NVIDIA, ориентирована как на рынок ноутбуков, так и на рынок настольных компьютеров. В серию входят мобильные версии для компактных устройств, таких как ноутбуки, и более мощные версии для настольных компьютеров.

Серия Arc™ делится на три категории: Arc™ 3, Arc™ 5 и Arc™ 7, причем каждый номер обозначает уровень производительности. Каждая категория включает в себя несколько моделей, а буква 'M' в названии модели GPU означает мобильный, интегрированный вариант.

Первые отзывы высоко оценили серию Arc™, особенно интегрированную модель A770M GPU, за впечатляющую графическую производительность. Доступность серии Arc™ зависит от региона, и в ближайшее время ожидается выпуск дополнительных моделей. Графические процессоры Intel® Arc™ - это высокопроизводительные решения для самых разных вычислительных задач, от игр до создания контента.

Бенчмарки ниже работают на Intel® Arc 770 GPU с точностью FP32.

Intel Xeon CPU

Intel® Xeon® CPU - это высокопроизводительные процессоры серверного класса, предназначенные для сложных и требовательных рабочих нагрузок. От высококлассных облачных вычислений и виртуализации до приложений искусственного интеллекта и машинного обучения - процессоры Xeon® обеспечивают мощность, надежность и гибкость, необходимые для современных центров обработки данных.

Примечательно, что процессоры Xeon® обеспечивают высокую плотность вычислений и масштабируемость, что делает их идеальными как для малого бизнеса, так и для крупных предприятий. Выбирая процессоры Intel® Xeon®, организации могут уверенно справляться с самыми требовательными вычислительными задачами и способствовать инновациям, сохраняя при этом экономичность и операционную эффективность.

Бенчмарки ниже работают на масштабируемых процессорах Intel® Xeon® 4-го поколения CPU с точностью FP32.

Intel Ядро CPU

Серия Intel® Core® - это линейка высокопроизводительных процессоров от Intel. В линейку входят Core i3 (начальный уровень), Core i5 (средний уровень), Core i7 (высокий уровень) и Core i9 (экстремальная производительность). Каждая серия рассчитана на разные вычислительные потребности и бюджеты - от повседневных задач до сложных профессиональных нагрузок. С каждым новым поколением улучшается производительность, энергоэффективность и функциональность.

Бенчмарки ниже работают на процессорах 13-го поколения Intel® Core® i7-13700H CPU с точностью FP32.

Intel Ultra 7 155H Meteor Lake CPU

Intel® Ultra™ 7 155H представляет собой новый эталон в области высокопроизводительных вычислений, предназначенный для самых требовательных пользователей, от геймеров до создателей контента. Ultra™ 7 155H - это не просто CPU; он объединяет мощный GPU и продвинутый NPU (Neural Processing Unit) в рамках одного чипа, предлагая комплексное решение для различных вычислительных потребностей.

Эта гибридная архитектура позволяет Ultra™ 7 155H отлично справляться как с традиционными задачами CPU , так и с GPU-ускоренными рабочими нагрузками, а NPU улучшает процессы, управляемые искусственным интеллектом, позволяя быстрее и эффективнее выполнять операции машинного обучения. Это делает Ultra™ 7 155H универсальным выбором для приложений, требующих высокопроизводительной графики, сложных вычислений и выводов ИИ.

Серия Ultra™ 7 включает в себя несколько моделей, каждая из которых предлагает различные уровни производительности, а обозначение "H" указывает на высокомощный вариант, подходящий для ноутбуков и компактных устройств. Первые бенчмарки подчеркнули исключительную производительность Ultra™ 7 155H, особенно в многозадачных средах, где объединенная мощь CPU, GPU и NPU приводит к поразительной эффективности и скорости.

В рамках стремления Intel к передовым технологиям, Ultra™ 7 155H разработан с учетом потребностей будущих вычислений, и в будущем ожидается выпуск новых моделей. Доступность Ultra™ 7 155H зависит от региона, и он продолжает получать похвалы за интеграцию трех мощных вычислительных блоков в одном чипе, устанавливая новые стандарты вычислительной производительности.

Бенчмарки ниже работают на Intel® Ultra™ 7 155H с точностью FP32 и INT8.

Бенчмарки

Интегрированный Intel® Arc™ GPUIntel® Meteor Lake CPUИнтегрированный процессор Intel® AI Boost NPU

Модель	Формат	Точность	Статус	Размер (Мб)	метрики/mAP50-95(B)	Время вывода (мс/им)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	35.95
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6117	8.32
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5791	9.88
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.72
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7136	13.37
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7086	9.96
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	202.05
YOLOv8m	OpenVINO	FP32	✅	99.1	0.7331	28.07
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7259	21.11
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	393.37
YOLOv8l	OpenVINO	FP32	✅	167.0	0.0	52.73
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7861	28.11
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	610.71
YOLOv8x	OpenVINO	FP32	✅	260.6	0.748	73.51
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8085	51.71

Модель	Формат	Точность	Статус	Размер (Мб)	метрики/mAP50-95(B)	Время вывода (мс/им)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	34.69
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6092	39.06
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5968	18.37
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.9
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7136	82.6
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7083	29.51
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	202.43
YOLOv8m	OpenVINO	FP32	✅	99.1	0.728	181.27
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7285	51.25
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	385.87
YOLOv8l	OpenVINO	FP32	✅	167.0	0.7551	347.75
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7675	91.66
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	603.63
YOLOv8x	OpenVINO	FP32	✅	260.6	0.7479	516.39
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8119	142.42

Модель	Формат	Точность	Статус	Размер (Мб)	метрики/mAP50-95(B)	Время вывода (мс/им)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	36.98
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6103	16.68
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5941	14.6
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.76
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7144	32.89
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7062	26.13
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	201.44
YOLOv8m	OpenVINO	FP32	✅	99.1	0.7284	54.4
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7268	30.76
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	385.46
YOLOv8l	OpenVINO	FP32	✅	167.0	0.7539	80.1
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7508	52.25
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	609.4
YOLOv8x	OpenVINO	FP32	✅	260.6	0.7637	104.79
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8077	64.96

Воспроизведи наши результаты

Чтобы воспроизвести приведенные выше бенчмарки Ultralytics на всех форматах экспорта, выполни этот код:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
results = model.benchmarks(data="coco8.yaml")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

Заключение

Результаты бенчмарков наглядно демонстрируют преимущества экспорта модели YOLOv8 в формат OpenVINO. Для разных моделей и аппаратных платформ формат OpenVINO неизменно превосходит другие форматы по скорости вывода, сохраняя при этом сопоставимую точность.

Для ЦОД Intel® серии GPU Flex формат OpenVINO обеспечил скорость вывода почти в 10 раз выше, чем оригинальный формат PyTorch . На процессорах Xeon CPU формат OpenVINO был в два раза быстрее формата PyTorch . Точность моделей оставалась практически одинаковой для разных форматов.

Бенчмарки подчеркивают эффективность OpenVINO как инструмента для развертывания моделей глубокого обучения. Переводя модели в формат OpenVINO, разработчики могут добиться значительного повышения производительности, что упрощает развертывание этих моделей в реальных приложениях.

За более подробной информацией и инструкциями по использованию OpenVINO обращайся к официальной документации OpenVINO .

ВОПРОСЫ И ОТВЕТЫ

Как экспортировать модели YOLOv8 в формат OpenVINO ?

Экспорт моделей YOLOv8 в формат OpenVINO может значительно повысить скорость работы CPU и обеспечить ускорение GPU и NPU на оборудовании Intel . Для экспорта ты можешь использовать либо Python , либо CLI , как показано ниже:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolov8n_openvino_model/'

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

За дополнительной информацией обращайся к документации по форматам экспорта.

В чем преимущества использования OpenVINO с моделями YOLOv8 ?

Использование Intel' OpenVINO toolkit с YOLOv8 моделями дает несколько преимуществ:

1. Производительность: Достигни 3-кратного ускорения при выводе CPU и используй для ускорения Intel GPU и NPU.
2. Оптимизатор моделей: Конвертируй, оптимизируй и выполняй модели из таких популярных фреймворков, как PyTorch, TensorFlow и ONNX.
3. Простота использования: Чтобы помочь пользователям начать работу, доступно более 80 обучающих блокнотов, в том числе для YOLOv8.
4. Гетерогенное исполнение: Развертывай модели на различном оборудовании Intel с помощью унифицированного API.

Для детального сравнения производительности посети наш раздел бенчмарков.

Как запустить вывод по модели YOLOv8 , экспортированной в OpenVINO?

После экспорта модели YOLOv8 в формат OpenVINO ты можешь запустить вывод с помощью Python или CLI:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

За подробностями обращайся к нашей документации по режиму предсказаний.

Почему мне стоит выбрать Ultralytics YOLOv8 , а не другие модели для экспорта OpenVINO ?

Ultralytics YOLOv8 оптимизирован для обнаружения объектов в реальном времени с высокой точностью и скоростью. В частности, в сочетании с OpenVINO, YOLOv8 обеспечивает:

• Ускорение до 3 раз на процессорах Intel
• Бесшовное развертывание на Intel GPU и NPU
• Последовательная и сопоставимая точность в различных форматах экспорта

Для глубокого анализа производительности посмотри наши подробные бенчмаркиYOLOv8 на разных аппаратных средствах.

Могу ли я сравнить модели YOLOv8 на разных форматах, таких как PyTorch, ONNX и OpenVINO?

Да, ты можешь проводить бенчмарки моделей YOLOv8 в различных форматах, включая PyTorch, TorchScript, ONNX и OpenVINO. Используй следующий фрагмент кода, чтобы запустить бенчмарки на выбранном тобой наборе данных:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmarks(data="coco8.yaml")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

За подробными результатами бенчмарков обращайся к нашему разделу бенчмарков и документации по экспортным форматам.

📅 Создано 1 год назад ✏️ Обновлено 1 месяц назад

Комментарии