Link to this sectionСравнительный анализ вариантов развертывания YOLO26#
YOLO26 поддерживает более 20 вариантов развертывания, каждый из которых настроен под свою среду выполнения, целевое оборудование или платформу — от PyTorch и ONNX до TensorRT, OpenVINO, CoreML и специализированных форматов для edge-NPU. Выбор правильного варианта позволяет сбалансировать скорость вывода, аппаратные ограничения и простоту интеграции. В этом руководстве сравниваются все варианты, чтобы ты мог выбрать наиболее подходящий для своего приложения, а затем перейти к рекомендациям по развертыванию моделей для надежного внедрения.
Watch: How to Choose the Best Ultralytics YOLO26 Deployment Format for Your Project | TensorRT | OpenVINO 🚀
Развертывание — это этап рабочего процесса проекта компьютерного зрения, на котором обученная модель начинает выполнять реальную работу, поэтому формат, в который ты экспортируешь, напрямую влияет на скорость, стоимость и переносимость.
Link to this sectionКак выбрать правильный вариант развертывания для твоей модели YOLO26#
Когда приходит время развертывать твою модель YOLO26, выбор подходящего формата экспорта становится очень важным. Как описано в документации по экспорту Ultralytics YOLO26, функция model.export() преобразует твою обученную модель в различные форматы, адаптированные для разнообразных сред и требований к производительности.
Идеальный формат зависит от предполагаемого рабочего контекста твоей модели и оборудования.
Для управляемого развертывания без ручного экспорта Ultralytics Platform предоставляет готовые эндпоинты для вывода с функцией автоматического масштабирования в 43 регионах по всему миру.
Link to this sectionВарианты развертывания YOLO26#
Вот краткое описание каждого формата и рекомендации, когда его использовать. Для полного пошагового руководства по экспорту см. документацию по экспорту; для сравнения критериев перейди к сравнительной таблице.
- PyTorch (
.pt): Родной формат для обучения и вывода, предлагающий максимальную гибкость и ускорение на GPU через CUDA — идеален для исследований и прототипирования, так как не требует шага экспорта. - TorchScript (
torchscript): Сериализует модель для среды выполнения C++, не требующей Python; подходит для производственных систем, где Python недоступен. - ONNX (
onnx): Независимый от фреймворка формат обмена с широкой кроссплатформенной и аппаратной поддержкой через ONNX Runtime. - OpenVINO (
openvino): Инструментарий Intel для оптимизированного вывода на процессорах Intel, интегрированных GPU и NPU, широко распространенный в IoT и edge computing. - TensorRT (
engine): Высокопроизводительная среда выполнения от NVIDIA, обеспечивающая вывод на GPU топового уровня с оптимизацией FP16 и INT8. - CoreML (
coreml): Формат Apple для работы на устройстве в iOS, macOS, watchOS и tvOS с использованием Apple Neural Engine. - TF SavedModel (
saved_model): Стандартный формат TensorFlow для масштабируемого серверного обслуживания с помощью TensorFlow Serving. - TF GraphDef (
pb): Статический замороженный формат графа TensorFlow для сред, требующих фиксированного вычислительного графа. - TF Lite (
tflite): Легковесная среда выполнения TensorFlow для вывода на устройстве на мобильном и встроенном оборудовании. - TF Edge TPU (
edgetpu): Компилирует модели TF Lite для ускорителей Google Coral Edge TPU. - TF.js (
tfjs): Запускает модели прямо в браузере без бэкенда, с ускорением через WebGL. - PaddlePaddle (
paddle): Фреймворк Baidu для глубинного обучения, популярный в Китае, с широкой аппаратной поддержкой. - MNN (
mnn): Легковесный высокопроизводительный движок вывода, оптимизированный для мобильных и встраиваемых систем ARM и x86-64. - NCNN (
ncnn): Высокопроизводительный легковесный фреймворк вывода, настроенный для мобильных устройств ARM. - Sony IMX500 (
imx): Экспорт для интеллектуального датчика зрения Sony IMX500 с обработкой на чипе, такого как Raspberry Pi AI Camera. - Rockchip RKNN (
rknn): Ориентирован на NPU Rockchip на встраиваемых платах с квантованием FP16 и INT8. - ExecuTorch (
executorch): Родная среда выполнения PyTorch для устройств на мобильных (iOS и Android) и встраиваемых системах через XNNPACK. - Axelera AI (
axelera): Компилирует для Metis AIPU от Axelera (до 856 TOPS) через PCIe или M.2 для высокопроизводительного вывода на границе сети. - DEEPX (
deepx): Ориентирован на оборудование DEEPX NPU с квантованием INT8 для встраиваемого вывода на границе сети. - Qualcomm QNN (
qnn): Вывод на устройстве на NPU Snapdragon Hexagon, Adreno GPU и CPU через стек Qualcomm AI.
Для еще одного целевого устройства edge, интеграция Hailo компилирует модели обнаружения YOLO в Hailo HEF. Это не прямая цель для model.export(): модели обнаружения сначала экспортируются в ONNX, а затем компилируются в HEF с помощью внешнего компилятора Hailo Dataflow Compiler для ускорителей Hailo-8, Hailo-8L и Hailo-15.
Link to this sectionСравнение вариантов развертывания#
В следующей таблице представлены варианты развертывания моделей YOLO26 по критериям, которые обычно определяют выбор. Для детального обзора каждого формата см. документацию по форматам экспорта.
| Вариант развертывания | Тесты производительности | Совместимость и интеграция | Поддержка сообщества и экосистема | Примеры использования | Обслуживание и обновления | Вопросы безопасности | Аппаратное ускорение |
|---|---|---|---|---|---|---|---|
| PyTorch | Хорошая гибкость; может идти в ущерб чистой производительности | Отлично работает с библиотеками Python | Обширные ресурсы и сообщество | Исследования и прототипы | Регулярная, активная разработка | Зависит от среды развертывания | Поддержка CUDA для ускорения на GPU |
| TorchScript | Лучше подходит для продакшена, чем PyTorch | Плавный переход от PyTorch к C++ | Специализированная, но уже, чем у PyTorch | Индустрия, где Python является «узким местом» | Последовательные обновления вместе с PyTorch | Повышенная безопасность без полноценного Python | Наследует поддержку CUDA от PyTorch |
| ONNX | Переменная в зависимости от среды выполнения | Высокая для различных фреймворков | Широкая экосистема, поддерживаемая многими организациями | Гибкость между ML-фреймворками | Регулярные обновления для новых операций | Обеспечение безопасных методов конвертации и развертывания | Различные аппаратные оптимизации |
| OpenVINO | Оптимизировано для оборудования Intel | Лучше всего в рамках экосистемы Intel | Надежно в области компьютерного зрения | IoT и периферийные вычисления на оборудовании Intel | Регулярные обновления для оборудования Intel | Надежные функции для конфиденциальных приложений | Адаптировано для оборудования Intel |
| TensorRT | Высший уровень для GPU NVIDIA | Лучшее для оборудования NVIDIA | Сильная сеть через NVIDIA | Вывод видео и изображений в реальном времени | Частые обновления для новых GPU | Акцент на безопасности | Разработано для GPU NVIDIA |
| CoreML | Оптимизировано для оборудования Apple на устройстве | Эксклюзивно для экосистемы Apple | Сильная поддержка Apple и разработчиков | ML на устройстве в продуктах Apple | Регулярные обновления Apple | Фокус на конфиденциальности и безопасности | Apple Neural Engine и GPU |
| TF SavedModel | Масштабируемость в серверных средах | Широкая совместимость в экосистеме TensorFlow | Широкая поддержка благодаря популярности TensorFlow | Масштабируемое обслуживание моделей | Регулярные обновления от Google и сообщества | Надежные функции для предприятия | Различные виды аппаратного ускорения |
| TF GraphDef | Стабильно для статических вычислительных графов | Хорошо интегрируется с инфраструктурой TensorFlow | Ресурсы для оптимизации статических графов | Сценарии, требующие статических графов | Обновления параллельно с ядром TensorFlow | Устоявшиеся практики безопасности TensorFlow | Варианты ускорения TensorFlow |
| TF Lite | Скорость и эффективность на мобильных/встроенных устройствах | Широкий спектр поддерживаемых устройств | Надежное сообщество, поддержка Google | Мобильные приложения с минимальным объемом занимаемой памяти | Новейшие функции для мобильных устройств | Безопасная среда на устройствах конечных пользователей | GPU и DSP в числе прочих |
| TF Edge TPU | Оптимизировано для оборудования Google Edge TPU | Эксклюзивно для устройств Edge TPU | Развивается благодаря Google и сторонним ресурсам | IoT-устройства, требующие обработки в реальном времени | Улучшения для нового оборудования Edge TPU | Надежная IoT-безопасность от Google | Специально разработано для Google Coral |
| TF.js | Приемлемая производительность в браузере | Высокая производительность с веб-технологиями | Поддержка разработчиков Web и Node.js | Интерактивные веб-приложения | Вклад команды и сообщества TensorFlow | Модель безопасности веб-платформы | Улучшено с помощью WebGL и других API |
| PaddlePaddle | Конкурентоспособно, просто в использовании и масштабируемо | Экосистема Baidu, широкая поддержка приложений | Быстрорастущая, особенно в Китае | Китайский рынок и обработка языка | Фокус на китайских AI-приложениях | Акцент на конфиденциальности и безопасности данных | Включая чипы Kunlun от Baidu |
| MNN | Высокая производительность для мобильных устройств | Мобильные и встроенные ARM-системы и X86-64 CPU | Сообщество мобильного/встроенного ML | Эффективность мобильных систем | Поддержка высокой производительности на мобильных устройствах | Преимущества безопасности на устройстве | Оптимизация для ARM CPU и GPU |
| NCNN | Оптимизировано для мобильных устройств на базе ARM | Мобильные и встроенные ARM-системы | Нишевое, но активное сообщество мобильного/встроенного ML | Эффективность Android и ARM-систем | Поддержание высокой производительности на ARM | Преимущества безопасности на устройстве | Оптимизация для ARM CPU и GPU |
| Sony IMX500 | Вывод на сенсоре при очень низком энергопотреблении | Датчик Sony IMX500, Raspberry Pi AI Camera | Экосистема Sony AITRIOS | Edge AI на камере | Обновления Sony SDK и цепочки инструментов MCT | Данные остаются на сенсоре | Ускоритель на чипе Sony IMX500 |
| Rockchip RKNN | Оптимизировано для NPU Rockchip | Платы Rockchip SoC (например, RK3588) | Сообщество разработчиков Rockchip | Встраиваемые SBC и устройства edge | Обновления Rockchip RKNN-Toolkit | Локальный вывод на устройстве | Rockchip NPU |
| ExecuTorch | Эффективная среда выполнения PyTorch на устройстве | iOS, Android, встраиваемые системы через XNNPACK | Поддерживается проектом PyTorch | Мобильные и встраиваемые приложения | Развивается вместе с PyTorch | Инференс на устройстве позволяет сохранять данные локально | Бэкенды XNNPACK и мобильные CPU/GPU |
| Axelera AI | Очень высокая пропускная способность (до 856 TOPS) | Metis AIPU через PCIe или M.2 | Axelera Voyager SDK | Высокопроизводительный вывод на границе сети | Обновления Axelera SDK | Локальный вывод на границе сети | Axelera Metis AIPU |
| DEEPX | Вывод на NPU, оптимизированный под INT8 | Оборудование DEEPX NPU | Инструменты разработчика DEEPX (dx_com, dx_engine) | Встраиваемый вывод на границе сети | Обновления DEEPX SDK и среды выполнения | Локальный вывод на устройстве | DEEPX NPU |
| Qualcomm QNN | Быстрый вывод на устройствах Snapdragon | NPU Snapdragon Hexagon, Adreno GPU, CPU | Экосистема Qualcomm AI Hub | Мобильные и edge-устройства на базе Snapdragon | Обновления стека Qualcomm AI (QAIRT) | Инференс на устройстве позволяет сохранять данные локально | NPU Snapdragon Hexagon |
Это сравнение дает тебе общее представление. Для развертывания сопоставь специфические требования и ограничения своего проекта с каждым вариантом и обратись к руководству по интеграции для выбранного формата.
Link to this sectionЗаключение#
Широкий спектр форматов экспорта YOLO26 позволяет адаптировать модель практически к любой среде, от облачного GPU-сервера до камеры на границе сети. Выбрав формат, следуй рекомендациям по развертыванию моделей для оптимизации, устранения неполадок и обеспечения безопасности, а если возникнут трудности — обращайся к сообществу Ultralytics.
Link to this sectionFAQ#
Link to this sectionКакие варианты развертывания доступны для YOLO26 на различных аппаратных платформах?#
Ultralytics YOLO26 поддерживает различные форматы развертывания, каждый из которых предназначен для определенных сред и аппаратных платформ. Ключевые форматы включают:
- PyTorch для исследований и прототипирования с отличной интеграцией с Python.
- TorchScript для производственных сред, где Python недоступен.
- ONNX для кроссплатформенной совместимости и аппаратного ускорения.
- OpenVINO для оптимизированной производительности на оборудовании Intel.
- TensorRT для высокоскоростного инференса на NVIDIA GPUs.
У каждого формата есть свои уникальные преимущества. Подробное пошаговое руководство можно найти в нашей документации по процессу экспорта.
Link to this sectionКак мне повысить скорость инференса моей модели YOLO26 на процессоре Intel?#
Чтобы повысить скорость инференса на процессорах Intel, ты можешь развернуть свою модель YOLO26 с использованием инструментария Intel OpenVINO. OpenVINO обеспечивает значительный прирост производительности за счет оптимизации моделей для эффективного использования оборудования Intel.
- Конвертируй свою модель YOLO26 в формат OpenVINO с помощью функции
model.export(). - Следуй подробному руководству по настройке в документации по экспорту Intel OpenVINO.
Дополнительную информацию можно найти в нашем блоге.
Link to this sectionМогу ли я развернуть модели YOLO26 на мобильных устройствах?#
Да, модели YOLO26 можно развертывать на мобильных устройствах с помощью TensorFlow Lite (TF Lite) как для платформ Android, так и для iOS. TF Lite разработан для мобильных и встроенных устройств, обеспечивая эффективный инференс непосредственно на устройстве.
# Export command for TFLite format
model.export(format="tflite")Более подробную информацию о развертывании моделей на мобильных устройствах смотри в нашем руководстве по интеграции TF Lite.
Link to this sectionКакие факторы мне следует учитывать при выборе формата развертывания для моей модели YOLO26?#
При выборе формата развертывания для YOLO26 учитывай следующие факторы:
- Производительность: Некоторые форматы, такие как TensorRT, обеспечивают исключительную скорость на NVIDIA GPUs, в то время как OpenVINO оптимизирован для оборудования Intel.
- Совместимость: ONNX предлагает широкую совместимость на разных платформах.
- Простота интеграции: Форматы вроде CoreML или TF Lite адаптированы для конкретных экосистем, таких как iOS и Android соответственно.
- Поддержка сообщества: Форматы вроде PyTorch и TensorFlow обладают обширными ресурсами сообщества и поддержкой.
Для сравнительного анализа обратись к нашей документации по форматам экспорта.
Link to this sectionКак я могу развернуть модели YOLO26 в веб-приложении?#
Чтобы развернуть модели YOLO26 в веб-приложении, ты можешь использовать TensorFlow.js (TF.js), который позволяет запускать модели машинного обучения непосредственно в браузере. Такой подход устраняет необходимость в бэкенд-инфраструктуре и обеспечивает производительность в реальном времени.
- Экспортируй модель YOLO26 в формат TF.js.
- Интегрируй экспортированную модель в свое веб-приложение.
Пошаговые инструкции смотри в нашем руководстве по интеграции TensorFlow.js.