Перейти к содержимому

Intel OpenVINO Export

OpenVINO Экосистема

В этом руководстве мы расскажем об экспорте моделей YOLOv8 в формат OpenVINO формат, который может обеспечить ускорение процессора до 3 раз, а также ускорить вывод YOLO на GPU и NPU от Intel.

OpenVINO, сокращение от Open Visual Inference & Neural Network Optimization toolkit, - это комплексный набор инструментов для оптимизации и развертывания моделей искусственного интеллекта. Несмотря на то, что в названии присутствует слово Visual, OpenVINO также поддерживает различные дополнительные задачи, включая язык, аудио, временные ряды и так далее.



Смотри: Как экспортировать и оптимизировать модель Ultralytics YOLOv8 для выводов с помощью OpenVINO.

Примеры использования

Экспортируй модель YOLOv8n в формат OpenVINO и проведи расчеты с экспортированной моделью.

Пример

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolov8n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")
# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Аргументы

Ключ Значение Описание
format 'openvino' Формат, в который нужно экспортировать
imgsz 640 Размер изображения в виде скаляра или списка (h, w), то есть (640, 480)
half False Квантование FP16

Преимущества OpenVINO

  1. Производительность: OpenVINO обеспечивает высокопроизводительные выводы, используя мощь процессоров Intel, интегрированных и дискретных графических процессоров и FPGA.
  2. Поддержка гетерогенного исполнения: OpenVINO предоставляет API для того, чтобы написать один раз и развернуть на любом поддерживаемом Intel оборудовании (CPU, GPU, FPGA, VPU и т.д.).
  3. Оптимизатор моделей: OpenVINO предоставляет оптимизатор моделей, который импортирует, конвертирует и оптимизирует модели из популярных фреймворков глубокого обучения, таких как PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle, и Caffe.
  4. Простота использования: В комплекте с инструментарием поставляется более 80 обучающих блокнотов (включая YOLOv8 optimization), обучающих различным аспектам работы с инструментарием.

OpenVINO Структура экспорта

Когда ты экспортируешь модель в формат OpenVINO, получается каталог, содержащий следующее:

  1. XML-файл: Описывает топологию сети.
  2. BIN-файл: Содержит бинарные данные weights and biases .
  3. Файл отображения: В нем хранится отображение исходных выходных тензоров модели на имена OpenVINO tensor .

Ты можешь использовать эти файлы, чтобы запустить процесс вычисления с помощью OpenVINO Inference Engine.

Использование OpenVINO Export в развертывании

Когда у тебя есть файлы OpenVINO , ты можешь использовать OpenVINO Runtime для запуска модели. Runtime предоставляет унифицированный API для проведения выводов на всех поддерживаемых аппаратных средствах Intel. Он также предоставляет расширенные возможности, такие как балансировка нагрузки на оборудование Intel и асинхронное выполнение. Более подробную информацию о выполнении выводов ты найдешь в руководстве Inference with OpenVINO Runtime Guide.

Помни, что для правильной настройки и использования модели в Runtime тебе понадобятся файлы XML и BIN, а также любые специфические для приложения настройки, такие как размер входных данных, масштабный коэффициент для нормализации и т.д.

В своем приложении для развертывания ты обычно выполняешь следующие действия:

  1. Инициализируй OpenVINO, создав core = Core().
  2. Загрузи модель с помощью core.read_model() метод.
  3. Скомпилируй модель, используя core.compile_model() Функция.
  4. Подготовь входные данные (изображение, текст, аудио и т.д.).
  5. Выполни умозаключение, используя compiled_model(input_data).

За более подробными шагами и фрагментами кода обратись к документацииOpenVINO или учебнику по API.

OpenVINO YOLOv8 Бенчмарки

Бенчмарки YOLOv8, приведенные ниже, были запущены командой Ultralytics на 4 различных форматах моделей, измеряющих скорость и точность: PyTorch, TorchScript, ONNX и OpenVINO. Бенчмарки выполнялись на графических процессорах Intel Flex и Arc, а также на процессорах Intel Xeon с точностью FP32 (при half=False аргумент).

Примечание

Результаты бенчмарков, приведенные ниже, носят справочный характер и могут отличаться в зависимости от точной аппаратной и программной конфигурации системы, а также от текущей нагрузки на систему в момент запуска бенчмарков.

Все бенчмарки работают с openvino Python версия пакета 2023.0.1.

Графический процессор Intel Flex

Intel® Data Center GPU серии Flex - это универсальное и надежное решение, созданное для интеллектуального визуального облака. Этот GPU поддерживает широкий спектр рабочих нагрузок, включая потоковое воспроизведение медиа, облачные игры, визуальные выводы ИИ и рабочие нагрузки инфраструктуры виртуальных рабочих столов. Его отличает открытая архитектура и встроенная поддержка кодировки AV1, обеспечивающая основанный на стандартах программный стек для высокопроизводительных, кросс-архитектурных приложений. GPU серии Flex оптимизированы для плотности и качества, обеспечивают высокую надежность, доступность и масштабируемость.

Бенчмарки ниже работают на Intel® Data Center GPU Flex 170 с точностью FP32.

Бенчмарки Flex GPU
Модель Формат Статус Размер (Мб) mAP50-95(B) Время вывода (мс/им)
YOLOv8n PyTorch 6.2 0.3709 21.79
YOLOv8n TorchScript 12.4 0.3704 23.24
YOLOv8n ONNX 12.2 0.3704 37.22
YOLOv8n OpenVINO 12.3 0.3703 3.29
YOLOv8s PyTorch 21.5 0.4471 31.89
YOLOv8s TorchScript 42.9 0.4472 32.71
YOLOv8s ONNX 42.8 0.4472 43.42
YOLOv8s OpenVINO 42.9 0.4470 3.92
YOLOv8m PyTorch 49.7 0.5013 50.75
YOLOv8m TorchScript 99.2 0.4999 47.90
YOLOv8m ONNX 99.0 0.4999 63.16
YOLOv8m OpenVINO 49.8 0.4997 7.11
YOLOv8l PyTorch 83.7 0.5293 77.45
YOLOv8l TorchScript 167.2 0.5268 85.71
YOLOv8l ONNX 166.8 0.5268 88.94
YOLOv8l OpenVINO 167.0 0.5264 9.37
YOLOv8x PyTorch 130.5 0.5404 100.09
YOLOv8x TorchScript 260.7 0.5371 114.64
YOLOv8x ONNX 260.4 0.5371 110.32
YOLOv8x OpenVINO 260.6 0.5367 15.02

В этой таблице представлены результаты бенчмарка для пяти различных моделей (YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) в четырех различных форматах (PyTorch, TorchScript, ONNX, OpenVINO), дающие нам статус, размер, метрику mAP50-95(B) и время вывода для каждой комбинации.

Графический процессор Intel Arc

Intel® Arc™ представляет собой выход Intel на рынок специализированных графических процессоров. Серия Arc™, призванная конкурировать с ведущими производителями GPU, такими как AMD и Nvidia, ориентирована как на рынок ноутбуков, так и на рынок настольных компьютеров. В серию входят мобильные версии для компактных устройств вроде ноутбуков и более мощные версии для настольных компьютеров.

Серия Arc™ делится на три категории: Arc™ 3, Arc™ 5 и Arc™ 7, причем каждый номер обозначает уровень производительности. Каждая категория включает в себя несколько моделей, а буква "M" в названии модели GPU означает мобильный, интегрированный вариант.

Первые отзывы хвалят серию Arc™, особенно встроенный графический процессор A770M, за впечатляющую графическую производительность. Доступность серии Arc™ зависит от региона, и в ближайшее время ожидается выпуск дополнительных моделей. Графические процессоры Intel® Arc™ - это высокопроизводительные решения для самых разных вычислительных задач, от игр до создания контента.

Бенчмарки ниже работают на графическом процессоре Intel® Arc 770 с точностью FP32.

Бенчмарки Arc GPU
Модель Формат Статус Размер (Мб) метрики/mAP50-95(B) Время вывода (мс/им)
YOLOv8n PyTorch 6.2 0.3709 88.79
YOLOv8n TorchScript 12.4 0.3704 102.66
YOLOv8n ONNX 12.2 0.3704 57.98
YOLOv8n OpenVINO 12.3 0.3703 8.52
YOLOv8s PyTorch 21.5 0.4471 189.83
YOLOv8s TorchScript 42.9 0.4472 227.58
YOLOv8s ONNX 42.7 0.4472 142.03
YOLOv8s OpenVINO 42.9 0.4469 9.19
YOLOv8m PyTorch 49.7 0.5013 411.64
YOLOv8m TorchScript 99.2 0.4999 517.12
YOLOv8m ONNX 98.9 0.4999 298.68
YOLOv8m OpenVINO 99.1 0.4996 12.55
YOLOv8l PyTorch 83.7 0.5293 725.73
YOLOv8l TorchScript 167.1 0.5268 892.83
YOLOv8l ONNX 166.8 0.5268 576.11
YOLOv8l OpenVINO 167.0 0.5262 17.62
YOLOv8x PyTorch 130.5 0.5404 988.92
YOLOv8x TorchScript 260.7 0.5371 1186.42
YOLOv8x ONNX 260.4 0.5371 768.90
YOLOv8x OpenVINO 260.6 0.5367 19

Процессор Intel Xeon

Процессор Intel® Xeon® - это высокопроизводительный процессор серверного класса, предназначенный для сложных и требовательных рабочих нагрузок. От высокопроизводительных облачных вычислений и виртуализации до приложений искусственного интеллекта и машинного обучения - процессоры Xeon® обеспечивают мощность, надежность и гибкость, необходимые для современных центров обработки данных.

Примечательно, что процессоры Xeon® обеспечивают высокую плотность вычислений и масштабируемость, что делает их идеальными как для малого бизнеса, так и для крупных предприятий. Выбирая процессоры Intel® Xeon®, организации могут уверенно справляться с самыми требовательными вычислительными задачами и способствовать инновациям, сохраняя при этом экономичность и операционную эффективность.

Бенчмарки ниже работают на масштабируемом процессоре Intel® Xeon® 4-го поколения с точностью FP32.

Бенчмарки процессоров Xeon
Модель Формат Статус Размер (Мб) метрики/mAP50-95(B) Время вывода (мс/им)
YOLOv8n PyTorch 6.2 0.3709 24.36
YOLOv8n TorchScript 12.4 0.3704 23.93
YOLOv8n ONNX 12.2 0.3704 39.86
YOLOv8n OpenVINO 12.3 0.3704 11.34
YOLOv8s PyTorch 21.5 0.4471 33.77
YOLOv8s TorchScript 42.9 0.4472 34.84
YOLOv8s ONNX 42.8 0.4472 43.23
YOLOv8s OpenVINO 42.9 0.4471 13.86
YOLOv8m PyTorch 49.7 0.5013 53.91
YOLOv8m TorchScript 99.2 0.4999 53.51
YOLOv8m ONNX 99.0 0.4999 64.16
YOLOv8m OpenVINO 99.1 0.4996 28.79
YOLOv8l PyTorch 83.7 0.5293 75.78
YOLOv8l TorchScript 167.2 0.5268 79.13
YOLOv8l ONNX 166.8 0.5268 88.45
YOLOv8l OpenVINO 167.0 0.5263 56.23
YOLOv8x PyTorch 130.5 0.5404 96.60
YOLOv8x TorchScript 260.7 0.5371 114.28
YOLOv8x ONNX 260.4 0.5371 111.02
YOLOv8x OpenVINO 260.6 0.5371 83.28

Процессор Intel Core

Серия Intel® Core® - это линейка высокопроизводительных процессоров от Intel. В линейку входят Core i3 (начальный уровень), Core i5 (средний уровень), Core i7 (высокий уровень) и Core i9 (экстремальная производительность). Каждая серия рассчитана на разные вычислительные потребности и бюджеты, от повседневных задач до сложных профессиональных нагрузок. С каждым новым поколением улучшается производительность, энергоэффективность и функциональность.

Бенчмарки ниже работают на процессоре 13-го поколения Intel® Core® i7-13700H с точностью FP32.

Бенчмарки для центральных процессоров
Модель Формат Статус Размер (Мб) метрики/mAP50-95(B) Время вывода (мс/им)
YOLOv8n PyTorch 6.2 0.4478 104.61
YOLOv8n TorchScript 12.4 0.4525 112.39
YOLOv8n ONNX 12.2 0.4525 28.02
YOLOv8n OpenVINO 12.3 0.4504 23.53
YOLOv8s PyTorch 21.5 0.5885 194.83
YOLOv8s TorchScript 43.0 0.5962 202.01
YOLOv8s ONNX 42.8 0.5962 65.74
YOLOv8s OpenVINO 42.9 0.5966 38.66
YOLOv8m PyTorch 49.7 0.6101 355.23
YOLOv8m TorchScript 99.2 0.6120 424.78
YOLOv8m ONNX 99.0 0.6120 173.39
YOLOv8m OpenVINO 99.1 0.6091 69.80
YOLOv8l PyTorch 83.7 0.6591 593.00
YOLOv8l TorchScript 167.2 0.6580 697.54
YOLOv8l ONNX 166.8 0.6580 342.15
YOLOv8l OpenVINO 167.0 0.0708 117.69
YOLOv8x PyTorch 130.5 0.6651 804.65
YOLOv8x TorchScript 260.8 0.6650 921.46
YOLOv8x ONNX 260.4 0.6650 526.66
YOLOv8x OpenVINO 260.6 0.6619 158.73

Воспроизведи наши результаты

Чтобы воспроизвести приведенные выше бенчмарки Ultralytics на всех форматах экспорта, выполни этот код:

Пример

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmarks(data="coco8.yaml")
# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

Учти, что результаты бенчмарков могут отличаться в зависимости от точной аппаратной и программной конфигурации системы, а также от текущей загруженности системы на момент запуска бенчмарков. Для получения наиболее достоверных результатов используй набор данных с большим количеством изображений, то есть data='coco128.yaml' (128 val images), ordata='coco.yaml'` (5000 val изображений).

Заключение

Результаты бенчмарков наглядно демонстрируют преимущества экспорта модели YOLOv8 в формат OpenVINO. Для разных моделей и аппаратных платформ формат OpenVINO неизменно превосходит другие форматы по скорости вывода, сохраняя при этом сопоставимую точность.

На графических процессорах Intel® Data Center серии Flex формат OpenVINO обеспечивал скорость вычислений почти в 10 раз выше, чем оригинальный формат PyTorch. На процессорах Xeon CPU формат OpenVINO был в два раза быстрее формата PyTorch. Точность моделей оставалась практически одинаковой для разных форматов.

Бенчмарки подчеркивают эффективность OpenVINO как инструмента для развертывания моделей глубокого обучения. Переводя модели в формат OpenVINO, разработчики могут добиться значительного повышения производительности, что упрощает развертывание этих моделей в реальных приложениях.

За более подробной информацией и инструкциями по использованию OpenVINO обращайся к официальной документации OpenVINO .



Created 2023-11-12, Updated 2024-06-10
Authors: glenn-jocher (12), andrei-kochin (1), abirami-vina (1), RizwanMunawar (1), Burhan-Q (1)

Комментарии