YOLOv8 Экспорт моделей на TorchScript для быстрого развертывания

Развертывание моделей компьютерного зрения в различных средах, включая встраиваемые системы, веб-браузеры или платформы с ограниченной поддержкой Python, требует гибкого и переносимого решения. TorchScript ориентирован на переносимость и возможность запускать модели в средах, где недоступен весь фреймворк Python. Это делает его идеальным для сценариев, в которых тебе нужно развернуть возможности компьютерного зрения на различных устройствах или платформах.

Экспортируй в Torchscript , чтобы сериализовать свои Ultralytics YOLOv8 модели для кроссплатформенной совместимости и упрощения развертывания. В этом руководстве мы покажем тебе, как экспортировать твои модели YOLOv8 в формат TorchScript , что облегчит тебе их использование в более широком спектре приложений.

Почему тебе стоит экспортировать на TorchScript?

Разработанный создателями PyTorch, TorchScript - это мощный инструмент для оптимизации и развертывания PyTorch -моделей на различных платформах. Экспорт моделей YOLOv8 в TorchScript очень важен для перехода от исследований к реальным приложениям. TorchScript PyTorch , часть фреймворка , помогает сделать этот переход более плавным, позволяя использовать модели PyTorch в средах, которые не поддерживают Python.

В этом процессе задействованы две техники: трассировка и скриптинг. Трассировка записывает операции во время выполнения модели, а скриптинг позволяет определять модели, используя подмножество Python. Эти техники гарантируют, что такие модели, как YOLOv8, смогут творить свою магию даже вне привычной среды Python.

Модели на TorchScript также могут быть оптимизированы с помощью таких приемов, как слияние операторов и уточнение использования памяти, что обеспечивает эффективное выполнение. Еще одно преимущество экспорта в TorchScript - это возможность ускорить выполнение модели на различных аппаратных платформах. Он создает автономное, готовое к производству представление твоей модели PyTorch, которое можно интегрировать в среды C++, встраиваемые системы или развернуть в веб- или мобильных приложениях.

Ключевые особенности моделей TorchScript

TorchScript, ключевая часть экосистемы PyTorch, предоставляет мощные возможности для оптимизации и развертывания моделей глубокого обучения.

Вот ключевые особенности, которые делают TorchScript ценным инструментом для разработчиков:

• Static Graph Execution: TorchScript использует статическое графовое представление вычислений модели, что отличается от PyTorch'dynamic graph execution. При статическом выполнении графа вычислительный граф определяется и компилируется один раз перед фактическим выполнением, что приводит к улучшению производительности во время вывода.

• Сериализация моделей: TorchScript позволяет тебе сериализовать PyTorch модели в платформонезависимый формат. Сериализованные модели могут быть загружены без необходимости использования оригинального Python кода, что позволяет развертывать их в различных средах выполнения.

• JIT-компиляция: TorchScript использует компиляцию Just-In-Time (JIT) для преобразования моделей PyTorch в оптимизированное промежуточное представление. JIT компилирует вычислительный граф модели, обеспечивая эффективное выполнение на целевых устройствах.

• Межъязыковая интеграция: С помощью TorchScript ты можешь экспортировать PyTorch -модели в другие языки, такие как C++, Java и JavaScript. Это облегчает интеграцию моделей PyTorch в существующие программные системы, написанные на разных языках.

• Постепенное преобразование: TorchScript обеспечивает постепенное преобразование, позволяя тебе постепенно преобразовывать части твоей модели PyTorch в TorchScript. Такая гибкость особенно полезна при работе со сложными моделями или когда ты хочешь оптимизировать определенные части кода.

Варианты развертывания в TorchScript

Прежде чем мы рассмотрим код для экспорта моделей YOLOv8 в формат TorchScript, давай разберемся, где обычно используются модели TorchScript.

TorchScript предлагает различные варианты развертывания моделей машинного обучения, например:

• C++ API: Самый распространенный вариант использования TorchScript - это его C++ API, который позволяет тебе загружать и выполнять оптимизированные TorchScript модели непосредственно в приложениях на C++. Это идеальный вариант для производственных сред, где Python может оказаться непригодным или недоступным. C++ API обеспечивает низкие накладные расходы и эффективное выполнение моделей TorchScript , максимально увеличивая потенциал производительности.

• Мобильное развертывание: TorchScript предлагает инструменты для преобразования моделей в форматы, легко развертываемые на мобильных устройствах. PyTorch Mobile предоставляет среду исполнения для выполнения этих моделей в приложениях для iOS и Android. Это позволяет проводить выводы с низкой задержкой и в автономном режиме, повышая удобство использования и конфиденциальность данных.

• Развертывание в облаке: модели TorchScript можно развернуть на облачных серверах с помощью таких решений, как TorchServe. Он предоставляет такие возможности, как версионирование моделей, пакетная обработка и мониторинг метрик для масштабируемого развертывания в производственных средах. Облачное развертывание с помощью TorchScript может сделать твои модели доступными через API или другие веб-сервисы.

Экспорт в TorchScript: Преобразование твоей модели YOLOv8

Экспорт моделей YOLOv8 в TorchScript упрощает их использование в разных местах и помогает им работать быстрее и эффективнее. Это отлично подходит для тех, кто хочет более эффективно использовать модели глубокого обучения в реальных приложениях.

Установка

Чтобы установить нужный пакет, выполни:

# Install the required package for YOLOv8
pip install ultralytics

Для получения подробных инструкций и лучших практик, связанных с процессом установки, ознакомься с нашим руководством по установкеUltralytics . Во время установки необходимых пакетов для YOLOv8, если у тебя возникнут какие-либо трудности, обратись к нашему руководству по общим проблемам, чтобы найти решения и советы.

Использование

Прежде чем погрузиться в инструкцию по использованию, важно отметить, что, хотя все моделиUltralytics YOLOv8 доступны для экспорта, ты можешь убедиться, что выбранная тобой модель поддерживает функцию экспорта, здесь.

from ultralytics import YOLO

# Load the YOLOv8 model
model = YOLO('yolov8n.pt')

# Export the model to TorchScript format
model.export(format='torchscript')  # creates 'yolov8n.torchscript'

# Load the exported TorchScript model
torchscript_model = YOLO('yolov8n.torchscript')

# Run inference
results = torchscript_model('https://ultralytics.com/images/bus.jpg')

# Export a YOLOv8n PyTorch model to TorchScript format
yolo export model=yolov8n.pt format=torchscript  # creates 'yolov8n.torchscript'

# Run inference with the exported model
yolo predict model=yolov8n.torchscript source='https://ultralytics.com/images/bus.jpg'

Более подробно о процессе экспорта можно узнать на странице документацииUltralytics , посвященной экспорту.

Развертывание экспортированных YOLOv8 TorchScript моделей

После успешного экспорта твоих моделей Ultralytics YOLOv8 в формат TorchScript ты можешь приступить к их развертыванию. Основным и рекомендуемым первым шагом для запуска TorchScript-модели является использование метода YOLO("model.torchscript"), как описано в предыдущем фрагменте кода. Однако для получения подробных инструкций по развертыванию TorchScript-моделей в различных других условиях посмотри следующие ресурсы:

• Исследуй мобильное развертывание: Документация по мобильным устройствам PyTorch содержит исчерпывающие рекомендации по развертыванию моделей на мобильных устройствах, обеспечивая эффективность и отзывчивость твоих приложений.

• Мастер развертывания на стороне сервера: Узнай, как разворачивать модели на стороне сервера с помощью TorchServe, предлагающего пошаговое руководство по масштабируемой и эффективной подаче моделей.

• Реализуй развертывание C++: Погрузись в учебник по загрузке модели TorchScript в C++, облегчающий интеграцию твоих моделей TorchScript в приложения C++ для повышения производительности и универсальности.

Резюме

В этом руководстве мы рассмотрели процесс экспорта моделей Ultralytics YOLOv8 в формат TorchScript. Следуя приведенным инструкциям, ты сможешь оптимизировать модели YOLOv8 для повышения производительности и получить гибкость для их развертывания на различных платформах и в различных средах.

Более подробную информацию об использовании можно найти в официальной документацииTorchScript.

Также, если ты хочешь узнать больше о других интеграциях Ultralytics YOLOv8 , посети страницу нашего руководства по интеграции. Там ты найдешь множество полезных ресурсов и идей.

Комментарии