Сравнительный анализ вариантов развертывания YOLO26

Введение

Ты прошел долгий путь в работе с YOLO26. Ты усердно собирал данные, кропотливо размечал их и потратил немало часов на обучение и тщательную оценку своей пользовательской модели YOLO26. Теперь пришло время заставить твою модель работать для конкретного приложения, варианта использования или проекта. Но перед тобой стоит критически важное решение: как эффективно экспортировать и развернуть свою модель.

Это руководство познакомит тебя с вариантами развертывания YOLO26 и ключевыми факторами, которые стоит учесть, чтобы выбрать подходящий вариант для твоего проекта.

Как выбрать подходящий вариант развертывания для твоей модели YOLO26

Когда приходит время развертывать твою модель YOLO26, выбор подходящего формата экспорта очень важен. Как описано в документации по режимам Ultralytics YOLO26, функция model.export() позволяет конвертировать твою обученную модель в множество форматов, адаптированных под различные среды и требования к производительности.

Идеальный формат зависит от предполагаемого операционного контекста твоей модели, баланса скорости, аппаратных ограничений и простоты интеграции. Для управляемого развертывания без ручного экспорта Ultralytics Platform предоставляет готовые к использованию инференс-эндпоинты с автоматическим масштабированием по 43 глобальным регионам. В следующем разделе мы более подробно рассмотрим каждый вариант экспорта, чтобы ты понял, когда какой выбирать.

Варианты развертывания YOLO26

Давай разберем различные варианты развертывания YOLO26. Чтобы получить подробное пошаговое руководство по процессу экспорта, посети страницу документации Ultralytics об экспорте.

PyTorch

PyTorch — это библиотека машинного обучения с открытым исходным кодом, широко используемая для приложений в области глубинного обучения и искусственного интеллекта. Она обеспечивает высокий уровень гибкости и скорости, что сделало ее любимицей среди исследователей и разработчиков.

• Показатели производительности: PyTorch известна своей простотой использования и гибкостью, что может привести к небольшому снижению чистой производительности по сравнению с другими, более специализированными и оптимизированными фреймворками.
• Совместимость и интеграция: Предлагает отличную совместимость с различными библиотеками науки о данных и машинного обучения в Python.
• Поддержка сообщества и экосистема: Одно из самых активных сообществ с обширными ресурсами для обучения и устранения неполадок.
• Примеры использования: Часто используется в исследовательских прототипах, многие научные статьи ссылаются на модели, развернутые в PyTorch.
• Обслуживание и обновления: Регулярные обновления с активной разработкой и поддержкой новых функций.
• Вопросы безопасности: Регулярные патчи для устранения проблем безопасности, но безопасность во многом зависит от общей среды, в которой она развернута.
• Аппаратное ускорение: Поддерживает CUDA для ускорения на GPU, что важно для ускорения обучения модели и инференса.

TorchScript

TorchScript расширяет возможности PyTorch, позволяя экспортировать модели для запуска в среде исполнения C++. Это делает его подходящим для производственных сред, где Python недоступен.

• Показатели производительности: Может обеспечить улучшенную производительность по сравнению с нативным PyTorch, особенно в производственных средах.
• Совместимость и интеграция: Разработан для бесшовного перехода из PyTorch в производственные среды C++, хотя некоторые продвинутые функции могут переноситься не идеально.
• Поддержка сообщества и экосистема: Пользуется преимуществами огромного сообщества PyTorch, но имеет более узкий круг специализированных разработчиков.
• Примеры использования: Широко используется в индустрии, где накладные расходы производительности Python являются узким местом.
• Обслуживание и обновления: Обслуживается вместе с PyTorch с последовательными обновлениями.
• Вопросы безопасности: Обеспечивает улучшенную безопасность за счет возможности запуска моделей в средах без полной установки Python.
• Аппаратное ускорение: Наследует поддержку CUDA от PyTorch, обеспечивая эффективное использование GPU.

ONNX

Open Neural Network Exchange (ONNX) — это формат, который обеспечивает взаимодействие моделей между различными фреймворками, что может быть критически важно при развертывании на различные платформы.

• Показатели производительности: Модели ONNX могут демонстрировать разную производительность в зависимости от конкретной среды выполнения, на которой они развернуты.
• Совместимость и интеграция: Высокая интероперабельность между множеством платформ и оборудования благодаря своей независимости от фреймворков.
• Поддержка сообщества и экосистема: Поддерживается многими организациями, что ведет к широкой экосистеме и разнообразию инструментов для оптимизации.
• Примеры использования: Часто используется для перемещения моделей между различными фреймворками машинного обучения, демонстрируя свою гибкость.
• Обслуживание и обновления: Будучи открытым стандартом, ONNX регулярно обновляется для поддержки новых операций и моделей.
• Вопросы безопасности: Как и в случае с любым кроссплатформенным инструментом, важно обеспечить безопасные практики в конвейере конвертации и развертывания.
• Аппаратное ускорение: С помощью ONNX Runtime модели могут задействовать различные аппаратные оптимизации.

OpenVINO

OpenVINO — это инструментарий Intel, разработанный для облегчения развертывания моделей глубокого обучения на оборудовании Intel, повышая производительность и скорость.

• Показатели производительности: Специально оптимизирован для CPU, GPU и VPU Intel, предлагая значительный прирост производительности на совместимом оборудовании.
• Совместимость и интеграция: Лучше всего работает в экосистеме Intel, но также поддерживает ряд других платформ.
• Поддержка сообщества и экосистема: Поддерживается Intel, имеет солидную базу пользователей, особенно в области компьютерного зрения.
• Примеры использования: Часто используется в сценариях IoT и периферийных вычислений, где широко распространено оборудование Intel.
• Обслуживание и обновления: Intel регулярно обновляет OpenVINO для поддержки новейших моделей глубокого обучения и оборудования Intel.
• Вопросы безопасности: Предоставляет надежные функции безопасности, подходящие для развертывания в чувствительных приложениях.
• Аппаратное ускорение: Адаптирован для ускорения на оборудовании Intel, используя выделенные наборы инструкций и аппаратные функции.

Для получения дополнительной информации о развертывании с использованием OpenVINO обратись к документации по интеграции Ultralytics: Intel OpenVINO Export.

TensorRT

TensorRT — это высокопроизводительный оптимизатор и среда выполнения глубокого обучения от NVIDIA, идеально подходящий для приложений, требующих скорости и эффективности.

• Показатели производительности: Обеспечивает первоклассную производительность на GPU NVIDIA с поддержкой высокоскоростного инференса.
• Совместимость и интеграция: Лучше всего подходит для оборудования NVIDIA, с ограниченной поддержкой вне этой среды.
• Поддержка сообщества и экосистема: Сильная сеть поддержки через форумы разработчиков и документацию NVIDIA.
• Примеры использования: Широко принят в отраслях, требующих инференса в реальном времени на видео и изображениях.
• Обслуживание и обновления: NVIDIA поддерживает TensorRT частыми обновлениями для повышения производительности и поддержки новых архитектур GPU.
• Вопросы безопасности: Как и многие продукты NVIDIA, он делает сильный акцент на безопасности, но специфика зависит от среды развертывания.
• Аппаратное ускорение: Разработан исключительно для GPU NVIDIA, обеспечивая глубокую оптимизацию и ускорение.

Для получения дополнительной информации о развертывании TensorRT ознакомься с руководством по интеграции TensorRT.

CoreML

CoreML — это фреймворк машинного обучения от Apple, оптимизированный для производительности на устройствах в экосистеме Apple, включая iOS, macOS, watchOS и tvOS.

• Показатели производительности: Оптимизирован для производительности на устройствах Apple с минимальным потреблением заряда аккумулятора.
• Совместимость и интеграция: Исключительно для экосистемы Apple, предоставляя оптимизированный рабочий процесс для приложений iOS и macOS.
• Поддержка сообщества и экосистема: Сильная поддержка от Apple и преданное сообщество разработчиков с обширной документацией и инструментами.
• Примеры использования: Часто используется в приложениях, требующих возможностей машинного обучения на устройствах Apple.
• Обслуживание и обновления: Регулярно обновляется Apple для поддержки новейших достижений машинного обучения и оборудования Apple.
• Вопросы безопасности: Выигрывает от внимания Apple к конфиденциальности пользователей и безопасности данных.
• Аппаратное ускорение: В полной мере использует нейронный движок Apple и GPU для ускоренных задач машинного обучения.

TF SavedModel

TF SavedModel — это формат TensorFlow для сохранения и обслуживания моделей машинного обучения, особенно подходящий для масштабируемых серверных сред.

• Показатели производительности: Предлагает масштабируемую производительность в серверных средах, особенно при использовании с TensorFlow Serving.
• Совместимость и интеграция: Широкая совместимость в экосистеме TensorFlow, включая развертывания в облачных и корпоративных серверах.
• Поддержка сообщества и экосистема: Большая поддержка сообщества благодаря популярности TensorFlow с огромным количеством инструментов для развертывания и оптимизации.
• Примеры использования: Широко используется в производственных средах для обслуживания моделей глубокого обучения в масштабе.
• Обслуживание и обновления: Поддерживается Google и сообществом TensorFlow, что обеспечивает регулярные обновления и новые функции.
• Вопросы безопасности: Развертывание с использованием TensorFlow Serving включает надежные функции безопасности для корпоративных приложений.
• Аппаратное ускорение: Поддерживает различные аппаратные ускорения через бэкенды TensorFlow.

TF GraphDef

TF GraphDef — это формат TensorFlow, который представляет модель в виде графа, что полезно для сред, где требуется статический вычислительный граф.

• Показатели производительности: Обеспечивает стабильную производительность для статических вычислительных графов с фокусом на согласованность и надежность.
• Совместимость и интеграция: Легко интегрируется в инфраструктуру TensorFlow, но менее гибкий по сравнению с SavedModel.
• Поддержка сообщества и экосистема: Хорошая поддержка со стороны экосистемы TensorFlow, доступно много ресурсов для оптимизации статических графов.
• Примеры использования: Полезен в сценариях, где необходим статический граф, например, в некоторых встраиваемых системах.
• Обслуживание и обновления: Регулярные обновления вместе с основными обновлениями TensorFlow.
• Вопросы безопасности: Обеспечивает безопасное развертывание с использованием установленных практик безопасности TensorFlow.
• Аппаратное ускорение: Может использовать варианты аппаратного ускорения TensorFlow, хотя и не так гибко, как SavedModel.

Узнай больше о TF GraphDef в нашем руководстве по интеграции TF GraphDef.

TF Lite

TF Lite — это решение TensorFlow для машинного обучения на мобильных и встраиваемых устройствах, предоставляющее легковесную библиотеку для инференса на устройстве.

• Показатели производительности: Разработан для скорости и эффективности на мобильных и встраиваемых устройствах.
• Совместимость и интеграция: Может использоваться на широком спектре устройств благодаря своей легковесности.
• Поддержка сообщества и экосистема: Поддерживается Google, имеет надежное сообщество и растущее число ресурсов для разработчиков.
• Примеры использования: Популярен в мобильных приложениях, требующих инференса на устройстве с минимальным объемом занимаемой памяти.
• Обслуживание и обновления: Регулярно обновляется для включения новейших функций и оптимизаций для мобильных устройств.
• Вопросы безопасности: Обеспечивает безопасную среду для запуска моделей на устройствах конечных пользователей.
• Аппаратное ускорение: Поддерживает множество вариантов аппаратного ускорения, включая GPU и DSP.

TF Edge TPU

TF Edge TPU разработан для высокоскоростных и эффективных вычислений на аппаратном обеспечении Google Edge TPU, идеально подходящем для IoT-устройств, требующих обработки в реальном времени.

• Показатели производительности: Специально оптимизирован для высокоскоростных и эффективных вычислений на оборудовании Google Edge TPU.
• Совместимость и интеграция: Работает исключительно с моделями TensorFlow Lite на устройствах Edge TPU.
• Поддержка сообщества и экосистема: Растущая поддержка с ресурсами, предоставляемыми Google и сторонними разработчиками.
• Примеры использования: Используется в IoT-устройствах и приложениях, требующих обработки в реальном времени с низкой задержкой.
• Обслуживание и обновления: Постоянно улучшается для использования возможностей новых релизов оборудования Edge TPU.
• Вопросы безопасности: Интегрируется с надежной безопасностью Google для IoT и периферийных устройств.
• Аппаратное ускорение: Специально спроектирован для полного использования возможностей устройств Google Coral.

TF.js

TensorFlow.js (TF.js) — это библиотека, которая приносит возможности машинного обучения прямо в браузер, предлагая новую сферу возможностей для веб-разработчиков и пользователей. Она позволяет интегрировать модели машинного обучения в веб-приложения без необходимости использования бэкенд-инфраструктуры.

• Показатели производительности: Позволяет выполнять машинное обучение прямо в браузере с приемлемой производительностью, в зависимости от клиентского устройства.
• Совместимость и интеграция: Высокая совместимость с веб-технологиями, что позволяет легко интегрировать его в веб-приложения.
• Поддержка сообщества и экосистема: Поддержка со стороны сообщества веб-разработчиков и Node.js, а также множество инструментов для развертывания моделей машинного обучения в браузерах.
• Примеры использования: Идеально подходит для интерактивных веб-приложений, где выгодно использовать машинное обучение на стороне клиента без необходимости серверной обработки.
• Обслуживание и обновления: Поддерживается командой TensorFlow при участии сообщества с открытым исходным кодом.
• Вопросы безопасности: Работает в защищенном контексте браузера, используя модель безопасности веб-платформы.
• Аппаратное ускорение: Производительность можно повысить с помощью веб-API, которые получают доступ к аппаратному ускорению, такому как WebGL.

PaddlePaddle

PaddlePaddle — это фреймворк глубокого обучения с открытым исходным кодом, разработанный Baidu. Он спроектирован так, чтобы быть эффективным для исследователей и простым в использовании для разработчиков. Он особенно популярен в Китае и предлагает специализированную поддержку обработки китайского языка.

• Показатели производительности: Предлагает конкурентоспособную производительность с акцентом на простоту использования и масштабируемость.
• Совместимость и интеграция: Хорошо интегрирован в экосистему Baidu и поддерживает широкий спектр приложений.
• Поддержка сообщества и экосистема: Хотя сообщество в глобальном масштабе меньше, оно быстро растет, особенно в Китае.
• Примеры использования: Широко используется на китайских рынках и разработчиками, которые ищут альтернативы другим крупным фреймворкам.
• Обслуживание и обновления: Регулярно обновляется с фокусом на поддержку AI-приложений и сервисов на китайском языке.
• Вопросы безопасности: Делает упор на конфиденциальность данных и безопасность, отвечая китайским стандартам управления данными.
• Аппаратное ускорение: Поддерживает различное аппаратное ускорение, включая собственные чипы Kunlun от Baidu.

MNN

MNN — это высокоэффективный и легковесный фреймворк глубокого обучения. Он поддерживает вывод и обучение моделей глубокого обучения и обладает передовой в отрасли производительностью для вывода и обучения на устройстве. Кроме того, MNN также используется на встроенных устройствах, таких как IoT.

• Показатели производительности: Высокая производительность для мобильных устройств с отличной оптимизацией для систем ARM.
• Совместимость и интеграция: Хорошо работает с мобильными и встроенными системами ARM и архитектурами CPU X86-64.
• Поддержка сообщества и экосистема: Поддерживается сообществом разработчиков мобильного машинного обучения и встраиваемых систем.
• Примеры использования: Идеально подходит для приложений, требующих эффективной производительности на мобильных системах.
• Обслуживание и обновления: Регулярно поддерживается для обеспечения высокой производительности на мобильных устройствах.
• Вопросы безопасности: Обеспечивает преимущества безопасности на устройстве за счет хранения данных локально.
• Аппаратное ускорение: Оптимизировано для ARM CPU и GPU для достижения максимальной эффективности.

NCNN

NCNN — это высокопроизводительный фреймворк вывода нейронных сетей, оптимизированный для мобильной платформы. Он выделяется своей легковесностью и эффективностью, что делает его особенно подходящим для мобильных и встраиваемых устройств с ограниченными ресурсами.

• Показатели производительности: Высоко оптимизирован для мобильных платформ, обеспечивая эффективный вывод на устройствах на базе ARM.
• Совместимость и интеграция: Подходит для приложений на мобильных телефонах и встроенных системах с архитектурой ARM.
• Поддержка сообщества и экосистема: Поддерживается нишевым, но активным сообществом, сфокусированным на мобильных ML-приложениях и встраиваемых системах.
• Примеры использования: Предпочтителен для мобильных приложений, где эффективность и скорость критически важны на Android и других системах на базе ARM.
• Обслуживание и обновления: Постоянно улучшается для поддержания высокой производительности на ряде устройств ARM.
• Вопросы безопасности: Фокусируется на локальном запуске на устройстве, используя встроенную безопасность обработки на устройстве.
• Аппаратное ускорение: Разработан для ARM CPU и GPU со специфическими оптимизациями для этих архитектур.

Сравнительный анализ вариантов развертывания YOLO26

Следующая таблица содержит краткий обзор различных вариантов развертывания, доступных для моделей YOLO26, помогая тебе оценить, какой из них лучше всего соответствует потребностям твоего проекта, основываясь на нескольких критических критериях. Для подробного ознакомления с форматом каждого варианта развертывания, пожалуйста, ознакомься со страницей документации Ultralytics о форматах экспорта.

Этот сравнительный анализ дает тебе общий обзор. Для развертывания важно учитывать конкретные требования и ограничения твоего проекта, а также изучить подробную документацию и ресурсы, доступные для каждого варианта.

Сообщество и поддержка

Когда ты начинаешь работу с YOLO26, помощь сообщества может иметь большое значение. Вот как связаться с единомышленниками и получить необходимую помощь.

Взаимодействуй с широким сообществом

• GitHub Discussions: В репозитории YOLO26 на GitHub есть раздел "Discussions", где ты можешь задать вопросы, сообщить об ошибках и предложить улучшения.
• Сервер Ultralytics в Discord: У Ultralytics есть сервер в Discord, где ты можешь общаться с другими пользователями и разработчиками.

Официальная документация и ресурсы

• Документация Ultralytics YOLO26: Официальная документация предоставляет полный обзор YOLO26, а также руководства по установке, использованию и устранению неполадок.

Эти ресурсы помогут тебе справляться с трудностями и оставаться в курсе последних тенденций и лучших практик сообщества YOLO26.

Заключение

В этом руководстве мы изучили различные варианты развертывания для YOLO26. Мы также обсудили важные факторы, которые стоит учитывать при выборе. Эти варианты позволяют адаптировать модель под различные среды и требования к производительности, делая ее пригодной для реальных приложений.

Не забывай, что YOLO26 и сообщество Ultralytics — ценный источник помощи. Связывайся с другими разработчиками и экспертами, чтобы узнавать уникальные советы и решения, которых нет в обычной документации. Продолжай искать знания, исследовать новые идеи и делиться своим опытом.

Часто задаваемые вопросы (FAQ)

Какие варианты развертывания доступны для YOLO26 на различных аппаратных платформах?

Ultralytics YOLO26 поддерживает различные форматы развертывания, каждый из которых разработан для конкретных сред и платформ. Ключевые форматы:

• PyTorch для исследований и прототипирования, с отличной интеграцией с Python.
• TorchScript для производственных сред, где Python недоступен.
• ONNX для кроссплатформенной совместимости и аппаратного ускорения.
• OpenVINO для оптимизированной производительности на оборудовании Intel.
• TensorRT для высокоскоростного вывода на GPU NVIDIA.

У каждого формата есть уникальные преимущества. Подробное пошаговое руководство см. в нашей документации по процессу экспорта.

Как улучшить скорость вывода моей модели YOLO26 на процессоре Intel?

Чтобы повысить скорость вывода на процессорах Intel, ты можешь развернуть модель YOLO26, используя инструментарий OpenVINO от Intel. OpenVINO обеспечивает значительный прирост производительности, оптимизируя модели для эффективного использования оборудования Intel.

1. Конвертируй модель YOLO26 в формат OpenVINO с помощью функции model.export().
2. Следуй подробному руководству по настройке в документации по экспорту Intel OpenVINO.

Дополнительную информацию можно найти в нашем блоге.

Могу ли я развернуть модели YOLO26 на мобильных устройствах?

Да, модели YOLO26 можно развертывать на мобильных устройствах с помощью TensorFlow Lite (TF Lite) как для Android, так и для iOS. TF Lite предназначен для мобильных и встроенных устройств, обеспечивая эффективный вывод прямо на устройстве.

# Export command for TFLite format
model.export(format="tflite")

Подробнее о развертывании моделей на мобильные устройства см. в нашем руководстве по интеграции TF Lite.

Какие факторы мне следует учитывать при выборе формата развертывания для модели YOLO26?

При выборе формата развертывания для YOLO26 учитывай следующие факторы:

• Производительность: некоторые форматы, такие как TensorRT, обеспечивают исключительную скорость на GPU NVIDIA, в то время как OpenVINO оптимизирован для оборудования Intel.
• Совместимость: ONNX предлагает широкую совместимость между различными платформами.
• Легкость интеграции: форматы вроде CoreML или TF Lite адаптированы для конкретных экосистем, таких как iOS и Android соответственно.
• Поддержка сообщества: форматы, такие как PyTorch и TensorFlow, имеют обширные ресурсы сообщества и поддержку.

Для сравнительного анализа обратись к нашей документации по форматам экспорта.

Как я могу развернуть модели YOLO26 в веб-приложении?

Для развертывания моделей YOLO26 в веб-приложении ты можешь использовать TensorFlow.js (TF.js), который позволяет запускать модели машинного обучения непосредственно в браузере. Этот подход устраняет необходимость в бэкенд-инфраструктуре и обеспечивает производительность в реальном времени.

1. Экспортируй модель YOLO26 в формат TF.js.
2. Интегрируй экспортированную модель в свое веб-приложение.

Пошаговые инструкции см. в нашем руководстве по интеграции TensorFlow.js.