Link to this sectionСравнительный анализ вариантов развертывания YOLO26#

Link to this sectionВведение#

Ты прошел долгий путь с YOLO26. Ты старательно собирал данные, тщательно их размечал, потратил часы на обучение и строгую оценку своей пользовательской модели YOLO26. Теперь пришло время заставить твою модель работать для конкретного приложения, сценария использования или проекта. Но перед тобой стоит важный вопрос: как эффективно экспортировать и развернуть модель.

Это руководство проведет тебя через варианты развертывания YOLO26 и основные факторы, которые следует учитывать при выборе правильного варианта для твоего проекта.

Link to this sectionКак выбрать правильный вариант развертывания для твоей модели YOLO26#

Когда приходит время развертывать твою модель YOLO26, выбор подходящего формата экспорта очень важен. Как описано в документации Ultralytics YOLO26 Modes, функция model.export() позволяет конвертировать твою обученную модель в различные форматы, адаптированные под разные среды и требования к производительности.

Идеальный формат зависит от предполагаемого контекста работы модели, балансируя между скоростью, аппаратными ограничениями и легкостью интеграции. Для управляемого развертывания без ручного экспорта Ultralytics Platform предоставляет готовые к использованию инференс-эндпоинты с автоматическим масштабированием по 43 регионам мира. В следующем разделе мы более подробно рассмотрим каждый вариант экспорта и разберемся, когда стоит выбирать тот или иной вариант.

Link to this sectionВарианты развертывания YOLO26#

Давай разберем различные варианты развертывания YOLO26. Для подробного пошагового руководства по процессу экспорта посети страницу документации Ultralytics об экспорте.

Link to this sectionPyTorch#

PyTorch — это библиотека машинного обучения с открытым исходным кодом, широко используемая для приложений в области глубинного обучения и искусственного интеллекта. Она обеспечивает высокий уровень гибкости и скорости, что сделало ее фаворитом среди исследователей и разработчиков.

• Бенчмарки производительности: PyTorch известна своей простотой использования и гибкостью, что может привести к небольшому компромиссу в «чистой» производительности по сравнению с другими фреймворками, которые являются более специализированными и оптимизированными.
• Совместимость и интеграция: Предлагает отличную совместимость с различными библиотеками для обработки данных и машинного обучения в Python.
• Поддержка сообщества и экосистема: Одно из самых активных сообществ с обширными ресурсами для обучения и устранения неполадок.
• Примеры использования: Часто используется в исследовательских прототипах, многие академические статьи ссылаются на модели, развернутые в PyTorch.
• Обслуживание и обновления: Регулярные обновления с активной разработкой и поддержкой новых функций.
• Вопросы безопасности: Регулярные патчи для уязвимостей, но безопасность во многом зависит от общей среды, в которой развернута модель.
• Аппаратное ускорение: Поддерживает CUDA для ускорения на GPU, что необходимо для ускорения обучения модели и инференса.

Link to this sectionTorchScript#

TorchScript расширяет возможности PyTorch, позволяя экспортировать модели для запуска в среде выполнения C++. Это делает его подходящим для производственных сред, где отсутствует Python.

• Бенчмарки производительности: Может обеспечить улучшенную производительность по сравнению с нативным PyTorch, особенно в производственных средах.
• Совместимость и интеграция: Разработан для плавного перехода с PyTorch в производственные среды C++, хотя некоторые продвинутые функции могут переноситься не идеально.
• Поддержка сообщества и экосистема: Пользуется преимуществами большого сообщества PyTorch, но имеет более узкий круг специализированных разработчиков.
• Примеры использования: Широко используется в промышленных условиях, где накладные расходы производительности Python являются «узким местом».
• Обслуживание и обновления: Поддерживается параллельно с PyTorch с постоянными обновлениями.
• Вопросы безопасности: Обеспечивает улучшенную безопасность, позволяя запускать модели в средах без полной установки Python.
• Аппаратное ускорение: Наследует поддержку CUDA от PyTorch, обеспечивая эффективное использование GPU.

Link to this sectionONNX#

Open Neural Network Exchange (ONNX) — это формат, который обеспечивает совместимость моделей между различными фреймворками, что может быть критически важно при развертывании на разных платформах.

• Бенчмарки производительности: Модели ONNX могут демонстрировать разную производительность в зависимости от конкретной среды выполнения, на которой они развернуты.
• Совместимость и интеграция: Высокая совместимость между несколькими платформами и оборудованием благодаря своей независимости от фреймворка.
• Поддержка сообщества и экосистема: Поддерживается многими организациями, что ведет к обширной экосистеме и разнообразию инструментов для оптимизации.
• Примеры использования: Часто используется для переноса моделей между различными фреймворками машинного обучения, демонстрируя свою гибкость.
• Обслуживание и обновления: Будучи открытым стандартом, ONNX регулярно обновляется для поддержки новых операций и моделей.
• Вопросы безопасности: Как и в случае с любым кроссплатформенным инструментом, важно обеспечить безопасные методы в конвейере конвертации и развертывания.
• Аппаратное ускорение: С помощью ONNX Runtime модели могут задействовать различные аппаратные оптимизации.

Link to this sectionOpenVINO#

OpenVINO — это набор инструментов Intel, предназначенный для облегчения развертывания моделей глубокого обучения на аппаратном обеспечении Intel, повышая производительность и скорость.

• Бенчмарки производительности: Специально оптимизирован для CPU, GPU и VPU Intel, обеспечивая значительный прирост производительности на совместимом оборудовании.
• Совместимость и интеграция: Лучше всего работает в экосистеме Intel, но также поддерживает ряд других платформ.
• Поддержка сообщества и экосистема: Поддерживается Intel, имеет солидную базу пользователей, особенно в области computer vision.
• Примеры использования: Часто используется в сценариях IoT и edge computing, где широко распространено оборудование Intel.
• Обслуживание и обновления: Intel регулярно обновляет OpenVINO для поддержки новейших моделей глубокого обучения и оборудования Intel.
• Вопросы безопасности: Предоставляет надежные функции безопасности, подходящие для развертывания в чувствительных приложениях.
• Аппаратное ускорение: Адаптирован для ускорения на оборудовании Intel, используя выделенные наборы инструкций и аппаратные функции.

Для получения дополнительной информации о развертывании с использованием OpenVINO обратись к документации по интеграции Ultralytics: Intel OpenVINO Export.

Link to this sectionTensorRT#

TensorRT — это высокопроизводительный оптимизатор и среда выполнения для инференса глубокого обучения от NVIDIA, идеально подходящий для приложений, требующих скорости и эффективности.

• Бенчмарки производительности: Обеспечивает топовую производительность на GPU NVIDIA с поддержкой высокоскоростного инференса.
• Совместимость и интеграция: Лучше всего подходит для оборудования NVIDIA, с ограниченной поддержкой вне этой среды.
• Поддержка сообщества и экосистема: Сильная сеть поддержки через форумы разработчиков NVIDIA и документацию.
• Примеры использования: Широко внедряется в отраслях, требующих инференса в реальном времени на видео- и графических данных.
• Обслуживание и обновления: NVIDIA поддерживает TensorRT частыми обновлениями для повышения производительности и поддержки новых архитектур GPU.
• Вопросы безопасности: Как и многие продукты NVIDIA, делает сильный акцент на безопасности, но детали зависят от среды развертывания.
• Аппаратное ускорение: Эксклюзивно разработан для GPU NVIDIA, обеспечивая глубокую оптимизацию и ускорение.

Для получения дополнительной информации о развертывании TensorRT ознакомься с руководством по интеграции TensorRT.

Link to this sectionCoreML#

CoreML — это фреймворк машинного обучения от Apple, оптимизированный для производительности на устройстве в экосистеме Apple, включая iOS, macOS, watchOS и tvOS.

• Бенчмарки производительности: Оптимизирован для производительности на устройстве Apple с минимальным потреблением заряда батареи.
• Совместимость и интеграция: Исключительно для экосистемы Apple, обеспечивая оптимизированный рабочий процесс для приложений iOS и macOS.
• Поддержка сообщества и экосистема: Сильная поддержка от Apple и преданное сообщество разработчиков с обширной документацией и инструментами.
• Примеры использования: Часто используется в приложениях, требующих возможностей машинного обучения на устройстве на продуктах Apple.
• Обслуживание и обновления: Регулярно обновляется Apple для поддержки последних достижений машинного обучения и оборудования Apple.
• Вопросы безопасности: Использует преимущества акцента Apple на конфиденциальности пользователей и data security.
• Аппаратное ускорение: Полностью использует возможности нейронного движка Apple и GPU для ускорения задач машинного обучения.

Link to this sectionTF SavedModel#

TF SavedModel — это формат TensorFlow для сохранения и обслуживания моделей машинного обучения, особенно подходящий для масштабируемых серверных сред.

• Бенчмарки производительности: Предлагает масштабируемую производительность в серверных средах, особенно при использовании с TensorFlow Serving.
• Совместимость и интеграция: Широкая совместимость в экосистеме TensorFlow, включая развертывание в облаке и на корпоративных серверах.
• Поддержка сообщества и экосистема: Большая поддержка сообщества благодаря популярности TensorFlow, с огромным набором инструментов для развертывания и оптимизации.
• Примеры использования: Активно используется в производственных средах для обслуживания моделей глубокого обучения в масштабе.
• Обслуживание и обновления: Поддерживается Google и сообществом TensorFlow, что гарантирует регулярные обновления и новые функции.
• Вопросы безопасности: Развертывание с помощью TensorFlow Serving включает надежные функции безопасности для корпоративных приложений.
• Аппаратное ускорение: Поддерживает различные типы аппаратного ускорения через бэкенды TensorFlow.

Link to this sectionTF GraphDef#

TF GraphDef — это формат TensorFlow, представляющий модель как граф, что полезно для сред, где требуется статический вычислительный граф.

• Бенчмарки производительности: Обеспечивает стабильную производительность для статических вычислительных графов с акцентом на согласованность и надежность.
• Совместимость и интеграция: Легко интегрируется в инфраструктуру TensorFlow, но менее гибкий по сравнению с SavedModel.
• Поддержка сообщества и экосистема: Хорошая поддержка со стороны экосистемы TensorFlow, есть много ресурсов для оптимизации статических графов.
• Примеры использования: Полезен в сценариях, где необходим статический граф, например, в некоторых встраиваемых системах.
• Обслуживание и обновления: Регулярные обновления наряду с основными обновлениями TensorFlow.
• Вопросы безопасности: Обеспечивает безопасное развертывание с помощью установленных методов безопасности TensorFlow.
• Аппаратное ускорение: Может использовать варианты аппаратного ускорения TensorFlow, хотя и не так гибко, как SavedModel.

Узнай больше о TF GraphDef в нашем руководстве по интеграции TF GraphDef.

Link to this sectionTF Lite#

TF Lite — это решение TensorFlow для машинного обучения на мобильных и встраиваемых устройствах, предоставляющее легкую библиотеку для инференса на устройстве.

• Бенчмарки производительности: Разработан для скорости и эффективности на мобильных и встраиваемых устройствах.
• Совместимость и интеграция: Может использоваться на широком спектре устройств благодаря своей легкости.
• Поддержка сообщества и экосистема: Поддерживается Google, имеет надежное сообщество и растущее число ресурсов для разработчиков.
• Примеры использования: Популярен в мобильных приложениях, требующих инференса на устройстве с минимальными требованиями к ресурсам.
• Обслуживание и обновления: Регулярно обновляется для включения последних функций и оптимизаций для мобильных устройств.
• Вопросы безопасности: Предоставляет безопасную среду для запуска моделей на устройствах конечных пользователей.
• Аппаратное ускорение: Поддерживает различные варианты аппаратного ускорения, включая GPU и DSP.

Link to this sectionTF Edge TPU#

TF Edge TPU разработан для высокоскоростных и эффективных вычислений на оборудовании Google Edge TPU, идеально подходит для устройств IoT, требующих обработки в реальном времени.

• Бенчмарки производительности: Специально оптимизирован для высокоскоростных и эффективных вычислений на оборудовании Google Edge TPU.
• Совместимость и интеграция: Работает исключительно с моделями TensorFlow Lite на устройствах Edge TPU.
• Поддержка сообщества и экосистема: Растущая поддержка с ресурсами от Google и сторонних разработчиков.
• Примеры использования: Используется в устройствах IoT и приложениях, требующих обработки в реальном времени с низкой задержкой.
• Обслуживание и обновления: Постоянно улучшается для использования возможностей новых релизов оборудования Edge TPU.
• Вопросы безопасности: Интегрируется с надежной системой безопасности Google для устройств IoT и периферийных вычислений.
• Аппаратное ускорение: Специально разработан для того, чтобы в полной мере использовать преимущества устройств Google Coral.

Link to this sectionHailo HEF#

Hailo HEF — это скомпилированный исполняемый формат для ускорителей ИИ Hailo, включая устройства Hailo-8, Hailo-8L и Hailo-15. Модели детекции Ultralytics YOLO сначала экспортируются в ONNX, а затем компилируются в HEF с помощью внешнего компилятора Hailo Dataflow. HEF не является прямой целью экспорта Ultralytics; для поддерживаемых рабочих процессов аппаратного ускорения на периферии сравни Axelera AI и DeepX в первую очередь.

• Бенчмарки производительности: Зависят от оборудования Hailo, версии Hailo SDK, скрипта модели, конфигурации NMS и данных калибровки.
• Совместимость и интеграция: Только для встраиваемых систем на базе Hailo, промышленных шлюзов и развертываний с Raspberry Pi AI Kit.
• Поддержка сообщества и экосистема: Поддерживается через Hailo Developer Zone, HailoRT, TAPPAS и Hailo Model Zoo.
• Примеры использования: Полезно для обнаружения объектов в реальном времени на камерах, в робототехнике, системах контроля доступа, «умных городах» и устройствах промышленного контроля.
• Обслуживание и обновления: Зависит от обновлений Hailo SDK, прошивки и модельного зоопарка для новых целевых ускорителей.
• Вопросы безопасности: Поддерживает локальный вывод на устройстве, где данные остаются на границе сети (edge).
• Аппаратное ускорение: Использует выполнение через Hailo NPU посредством скомпилированных артефактов HEF.

Пошаговый рабочий процесс см. в руководстве по интеграции Hailo.

Link to this sectionTF.js#

TensorFlow.js (TF.js) — это библиотека, которая переносит возможности машинного обучения прямо в браузер, открывая новые возможности как для веб-разработчиков, так и для пользователей. Она позволяет интегрировать модели машинного обучения в веб-приложения без необходимости в серверной инфраструктуре.

• Тесты производительности: Позволяет выполнять машинное обучение непосредственно в браузере с приемлемой производительностью, зависящей от клиентского устройства.
• Совместимость и интеграция: Высокая совместимость с веб-технологиями, что позволяет легко интегрировать их в веб-приложения.
• Поддержка сообщества и экосистема: Поддержка со стороны сообщества веб-разработчиков и Node.js, а также множество инструментов для развертывания ML-моделей в браузерах.
• Примеры использования: Идеально подходит для интерактивных веб-приложений, которым выгодно машинное обучение на стороне клиента без необходимости серверной обработки.
• Обслуживание и обновления: Поддерживается командой TensorFlow при участии сообщества с открытым исходным кодом.
• Вопросы безопасности: Запускается в безопасном контексте браузера, используя модель безопасности веб-платформы.
• Аппаратное ускорение: Производительность может быть повышена с помощью веб-API, которые получают доступ к аппаратному ускорению, например WebGL.

Link to this sectionPaddlePaddle#

PaddlePaddle — это фреймворк глубокого обучения с открытым исходным кодом, разработанный Baidu. Он спроектирован так, чтобы быть эффективным для исследователей и простым в использовании для разработчиков. Он особенно популярен в Китае и предлагает специализированную поддержку обработки китайского языка.

• Тесты производительности: Предлагает конкурентоспособную производительность с упором на простоту использования и масштабируемость.
• Совместимость и интеграция: Хорошо интегрирован в экосистему Baidu и поддерживает широкий спектр приложений.
• Поддержка сообщества и экосистема: Хотя в мировом масштабе сообщество меньше, оно быстро растет, особенно в Китае.
• Примеры использования: Широко используется на китайских рынках и разработчиками, ищущими альтернативы другим основным фреймворкам.
• Обслуживание и обновления: Регулярно обновляется с фокусом на обслуживание AI-приложений и сервисов на китайском языке.
• Вопросы безопасности: Делает упор на конфиденциальность данных и безопасность, соблюдая стандарты управления данными в Китае.
• Аппаратное ускорение: Поддерживает различные виды аппаратного ускорения, включая собственные чипы Baidu Kunlun.

Link to this sectionMNN#

MNN — это высокоэффективный и легковесный фреймворк глубокого обучения. Он поддерживает вывод и обучение моделей глубокого обучения и обладает лучшей в отрасли производительностью для вывода и обучения на устройстве. Кроме того, MNN также используется на встроенных устройствах, таких как IoT.

• Тесты производительности: Высокая производительность для мобильных устройств с отличной оптимизацией для систем ARM.
• Совместимость и интеграция: Хорошо работает с мобильными и встроенными системами ARM и архитектурами процессоров X86-64.
• Поддержка сообщества и экосистема: Поддерживается сообществом разработчиков машинного обучения для мобильных и встроенных систем.
• Примеры использования: Идеально подходит для приложений, требующих эффективной производительности на мобильных системах.
• Обслуживание и обновления: Регулярно поддерживается для обеспечения высокой производительности на мобильных устройствах.
• Вопросы безопасности: Обеспечивает преимущества безопасности на устройстве, сохраняя данные локально.
• Аппаратное ускорение: Оптимизирован для процессоров ARM и GPU для максимальной эффективности.

Link to this sectionNCNN#

NCNN — это высокопроизводительный фреймворк вывода нейронных сетей, оптимизированный для мобильной платформы. Он выделяется своей легковесностью и эффективностью, что делает его особенно подходящим для мобильных и встроенных устройств с ограниченными ресурсами.

• Тесты производительности: Высоко оптимизирован для мобильных платформ, обеспечивая эффективный вывод на устройствах на базе ARM.
• Совместимость и интеграция: Подходит для приложений на мобильных телефонах и встроенных системах с архитектурой ARM.
• Поддержка сообщества и экосистема: Поддерживается узким, но активным сообществом, сосредоточенным на мобильных и встроенных ML-приложениях.
• Примеры использования: Популярен для мобильных приложений, где эффективность и скорость критически важны для Android и других систем на базе ARM.
• Обслуживание и обновления: Постоянно улучшается для поддержания высокой производительности на ряде устройств ARM.
• Вопросы безопасности: Сосредоточен на локальном запуске на устройстве, используя встроенную безопасность обработки на устройстве.
• Аппаратное ускорение: Адаптирован для процессоров ARM и GPU, со специфическими оптимизациями для этих архитектур.

Link to this sectionСравнительный анализ вариантов развертывания YOLO26#

Следующая таблица содержит обзор различных вариантов развертывания, доступных для моделей YOLO26, помогая тебе оценить, какой из них лучше всего соответствует потребностям твоего проекта, исходя из ряда критических критериев. Подробный обзор формата каждого варианта развертывания см. на странице документации Ultralytics о форматах экспорта.

Этот сравнительный анализ дает тебе высокоуровневый обзор. При развертывании важно учитывать специфические требования и ограничения твоего проекта, а также изучить подробную документацию и ресурсы, доступные для каждого варианта.

Link to this sectionСообщество и поддержка#

Когда ты начинаешь работу с YOLO26, наличие отзывчивого сообщества и поддержки может сыграть важную роль. Вот как связаться с другими людьми, разделяющими твои интересы, и получить необходимую помощь.

Link to this sectionВзаимодействуй с широким сообществом#

• GitHub Discussions: В репозитории YOLO26 на GitHub есть раздел "Discussions", где ты можешь задавать вопросы, сообщать о проблемах и предлагать улучшения.
• Сервер Ultralytics в Discord: У Ultralytics есть Discord-сервер, где ты можешь общаться с другими пользователями и разработчиками.

Link to this sectionОфициальная документация и ресурсы#

• Документация Ultralytics YOLO26: Официальная документация содержит всесторонний обзор YOLO26, а также руководства по установке, использованию и устранению неполадок.

Эти ресурсы помогут тебе справляться с задачами и оставаться в курсе последних тенденций и лучших практик в сообществе YOLO26.

Link to this sectionЗаключение#

В этом руководстве мы изучили различные варианты развертывания для YOLO26. Мы также обсудили важные факторы, которые стоит учитывать при выборе. Эти варианты позволяют адаптировать твою модель для различных сред и требований к производительности, делая ее пригодной для реальных приложений.

Не забывай, что YOLO26 и сообщество Ultralytics — ценный источник помощи. Общайся с другими разработчиками и экспертами, чтобы узнавать уникальные советы и решения, которые ты можешь не найти в обычной документации. Продолжай искать знания, изучать новые идеи и делиться своим опытом.

Link to this sectionFAQ#

Link to this sectionКакие варианты развертывания доступны для YOLO26 на различных аппаратных платформах?#

Ultralytics YOLO26 поддерживает различные форматы развертывания, каждый из которых предназначен для определенных сред и аппаратных платформ. Ключевые форматы включают:

• PyTorch для исследований и прототипирования с отличной интеграцией с Python.
• TorchScript для производственных сред, где Python недоступен.
• ONNX для кроссплатформенной совместимости и аппаратного ускорения.
• OpenVINO для оптимизированной производительности на оборудовании Intel.
• TensorRT для высокоскоростного инференса на NVIDIA GPUs.

У каждого формата есть свои уникальные преимущества. Подробное пошаговое руководство можно найти в нашей документации по процессу экспорта.

Link to this sectionКак мне повысить скорость инференса моей модели YOLO26 на процессоре Intel?#

Чтобы повысить скорость инференса на процессорах Intel, ты можешь развернуть свою модель YOLO26 с использованием инструментария Intel OpenVINO. OpenVINO обеспечивает значительный прирост производительности за счет оптимизации моделей для эффективного использования оборудования Intel.

1. Конвертируй свою модель YOLO26 в формат OpenVINO с помощью функции model.export().
2. Следуй подробному руководству по настройке в документации по экспорту Intel OpenVINO.

Дополнительную информацию можно найти в нашем блоге.

Link to this sectionМогу ли я развернуть модели YOLO26 на мобильных устройствах?#

Да, модели YOLO26 можно развертывать на мобильных устройствах с помощью TensorFlow Lite (TF Lite) как для платформ Android, так и для iOS. TF Lite разработан для мобильных и встроенных устройств, обеспечивая эффективный инференс непосредственно на устройстве.

# Export command for TFLite format
model.export(format="tflite")

Более подробную информацию о развертывании моделей на мобильных устройствах смотри в нашем руководстве по интеграции TF Lite.

Link to this sectionКакие факторы мне следует учитывать при выборе формата развертывания для моей модели YOLO26?#

При выборе формата развертывания для YOLO26 учитывай следующие факторы:

• Производительность: Некоторые форматы, такие как TensorRT, обеспечивают исключительную скорость на NVIDIA GPUs, в то время как OpenVINO оптимизирован для оборудования Intel.
• Совместимость: ONNX предлагает широкую совместимость на разных платформах.
• Простота интеграции: Форматы вроде CoreML или TF Lite адаптированы для конкретных экосистем, таких как iOS и Android соответственно.
• Поддержка сообщества: Форматы вроде PyTorch и TensorFlow обладают обширными ресурсами сообщества и поддержкой.

Для сравнительного анализа обратись к нашей документации по форматам экспорта.

Link to this sectionКак я могу развернуть модели YOLO26 в веб-приложении?#

Чтобы развернуть модели YOLO26 в веб-приложении, ты можешь использовать TensorFlow.js (TF.js), который позволяет запускать модели машинного обучения непосредственно в браузере. Такой подход устраняет необходимость в бэкенд-инфраструктуре и обеспечивает производительность в реальном времени.

1. Экспортируй модель YOLO26 в формат TF.js.
2. Интегрируй экспортированную модель в свое веб-приложение.

Пошаговые инструкции смотри в нашем руководстве по интеграции TensorFlow.js.