Понимание возможностей развертывания YOLO11

Введение

Вы прошли долгий путь с YOLO11. Вы старательно собирали данные, тщательно их аннотировали, потратили часы на обучение и тщательную оценку вашей пользовательской модели YOLO11 . Теперь настало время применить модель для конкретного приложения, случая использования или проекта. Но перед вами стоит важнейшее решение: как эффективно экспортировать и развернуть модель.

В этом руководстве вы узнаете о вариантах развертывания YOLO11 и основных факторах, которые необходимо учитывать, чтобы выбрать подходящий вариант для вашего проекта.

Как выбрать правильный вариант развертывания для вашей модели YOLO11

Когда приходит время развертывать вашу YOLO11 модель, выбор подходящего формата экспорта очень важен. Как указано в документацииUltralytics YOLO11 Modes, функция model.export() позволяет преобразовать обученную модель в различные форматы, подходящие для разных сред и требований к производительности.

Идеальный формат зависит от предполагаемого рабочего контекста вашей модели, баланса между скоростью, аппаратными ограничениями и простотой интеграции. В следующем разделе мы подробно рассмотрим каждый вариант экспорта и поймем, когда следует выбирать каждый из них.

YOLO11Варианты развертывания

Давайте рассмотрим различные варианты развертывания YOLO11 . Для подробного описания процесса экспорта посетите страницу документацииUltralytics , посвященную экспорту.

PyTorch

PyTorch это библиотека машинного обучения с открытым исходным кодом, широко используемая для приложений в области глубокого обучения и искусственного интеллекта. Она обеспечивает высокий уровень гибкости и скорости, что сделало ее любимой среди исследователей и разработчиков.

• Бенчмарки производительности: PyTorch известен своей простотой в использовании и гибкостью, что может привести к небольшому снижению производительности по сравнению с другими более специализированными и оптимизированными фреймворками.

• Совместимость и интеграция: Обеспечивает отличную совместимость с различными библиотеками науки о данных и машинного обучения на сайте Python.

• Поддержка сообщества и экосистема: Одно из самых динамичных сообществ с обширными ресурсами для обучения и устранения неполадок.

• Тематические исследования: Многие научные работы, в которых обычно используются прототипы для исследований, ссылаются на модели, развернутые на сайте PyTorch.

• Обслуживание и обновления: Регулярные обновления с активной разработкой и поддержкой новых функций.

• Соображения безопасности: Регулярные исправления проблем безопасности, но безопасность в значительной степени зависит от общей среды, в которой он развернут.

• Аппаратное ускорение: Поддержка CUDA для ускорения GPU , необходимого для ускорения обучения и вывода моделей.

TorchScript

TorchScript расширяет возможности PyTorch, позволяя экспортировать модели для запуска в среде выполнения C++. Это делает его пригодным для использования в производственных средах, где Python недоступен.

• Бенчмарки производительности: Может предложить более высокую производительность по сравнению с родным PyTorch, особенно в производственных средах.

• Совместимость и интеграция: Разработан для беспрепятственного перехода от PyTorch к производственным средам C++, хотя некоторые расширенные функции могут быть не совсем совместимы.

• Поддержка сообщества и экосистема: Пользуется преимуществами большого сообщества PyTorch, но имеет более узкий круг специализированных разработчиков.

• Примеры из практики: Широко используется в промышленности, где накладные расходы на производительность Python являются узким местом.

• Сопровождение и обновления: Поддерживается на сайте PyTorch с постоянными обновлениями.

• Соображения безопасности: Обеспечивает повышенную безопасность, позволяя запускать модели в средах без полной установки Python .

• Аппаратное ускорение: Наследует поддержку PyTorch' CUDA , обеспечивая эффективное использование GPU .

ONNX

Open Neural Network Exchange (ONNX) - это формат, обеспечивающий совместимость моделей в различных фреймворках, что может быть очень важно при развертывании на различных платформах.

• Бенчмарки производительности: производительность моделей ONNX может варьироваться в зависимости от конкретного времени выполнения, на котором они развернуты.

• Совместимость и интеграция: Высокая совместимость с различными платформами и аппаратным обеспечением благодаря своей фреймворк-агностической природе.

• Поддержка сообщества и экосистема: Поддерживается многими организациями, что приводит к созданию широкой экосистемы и разнообразных инструментов для оптимизации.

• Примеры из практики: Часто используется для переноса моделей между различными фреймворками машинного обучения, демонстрируя свою гибкость.

• Сопровождение и обновления: Будучи открытым стандартом, ONNX регулярно обновляется для поддержки новых операций и моделей.

• Соображения безопасности: Как и в случае с любым кросс-платформенным инструментом, важно обеспечить безопасность при конвертации и развертывании.

• Аппаратное ускорение: С помощью ONNX Runtime модели могут использовать различные аппаратные оптимизации.

OpenVINO

OpenVINO это набор инструментов Intel , предназначенный для облегчения развертывания моделей глубокого обучения на оборудовании Intel , повышения производительности и скорости.

• Бенчмарки производительности: Специально оптимизирован для Intel CPU, GPU и VPU, обеспечивая значительный прирост производительности на совместимом оборудовании.

• Совместимость и интеграция: Лучше всего работает в экосистеме Intel , но также поддерживает ряд других платформ.

• Поддержка сообщества и экосистема: Поддерживается Intel, имеет солидную базу пользователей, особенно в области компьютерного зрения.

• Примеры из практики: Часто используется в сценариях IoT и пограничных вычислений, где преобладает оборудование Intel .

• Поддержка и обновления: Intel регулярно обновляет OpenVINO для поддержки новейших моделей глубокого обучения и Intel оборудования.

• Соображения безопасности: Обеспечивает надежные функции безопасности, подходящие для развертывания в чувствительных приложениях.

• Аппаратное ускорение: Предназначен для ускорения на оборудовании Intel , используя специальные наборы инструкций и аппаратные возможности.

Более подробную информацию о развертывании с помощью OpenVINO см. в документации по интеграции Ultralytics : Intel OpenVINO Экспорт.

TensorRT

TensorRT это высокопроизводительный оптимизатор выводов глубокого обучения и среда выполнения от NVIDIA, идеально подходящая для приложений, требующих скорости и эффективности.

• Бенчмарки производительности: Обеспечивает высочайшую производительность на графических процессорах NVIDIA с поддержкой высокоскоростных выводов.

• Совместимость и интеграция: Лучше всего подходит для оборудования NVIDIA , за пределами этой среды поддержка ограничена.

• Поддержка сообщества и экосистема: Сильная сеть поддержки через форумы разработчиков и документацию NVIDIA.

• Примеры из практики: Широко используется в отраслях, где требуется делать выводы в реальном времени на основе данных видео и изображений.

• Техническое обслуживание и обновления: NVIDIA поддерживает TensorRT с помощью частых обновлений для повышения производительности и поддержки новых архитектур GPU .

• Соображения безопасности: Как и во многих других продуктах NVIDIA , в этой системе большое внимание уделяется безопасности, но ее особенности зависят от среды развертывания.

• Аппаратное ускорение: Эксклюзивная разработка для графических процессоров NVIDIA , обеспечивающая глубокую оптимизацию и ускорение.

CoreML

CoreML это фреймворк машинного обучения Apple, оптимизированный для работы на устройствах в экосистеме Apple, включая iOS, macOS, watchOS и tvOS.

• Бенчмарки производительности: Оптимизировано для работы на устройствах Apple с минимальным расходом заряда батареи.

• Совместимость и интеграция: Эксклюзивно для экосистемы Apple, обеспечивая оптимизированный рабочий процесс для приложений iOS и macOS.

• Поддержка сообщества и экосистема: Сильная поддержка со стороны Apple и специализированное сообщество разработчиков, обширная документация и инструменты.

• Примеры из практики: Обычно используется в приложениях, требующих возможностей машинного обучения на устройстве, на продуктах Apple.

• Обслуживание и обновления: Регулярно обновляется компанией Apple для поддержки последних достижений в области машинного обучения и оборудования Apple.

• Соображения безопасности: Преимущество Apple в том, что она уделяет особое внимание конфиденциальности пользователей и безопасности данных.

• Аппаратное ускорение: Используйте все преимущества нейронного движка Apple и сайта GPU для ускорения задач машинного обучения.

TF SavedModel

TF SavedModel это формат TensorFlow для сохранения и обслуживания моделей машинного обучения, особенно подходящий для масштабируемых серверных сред.

• Бенчмарки производительности: Обеспечивает масштабируемую производительность в серверных средах, особенно при использовании с TensorFlow Serving.

• Совместимость и интеграция: Широкая совместимость с экосистемой TensorFlow, включая развертывание облачных и корпоративных серверов.

• Поддержка сообщества и экосистема: Широкая поддержка сообщества благодаря популярности TensorFlow с огромным набором инструментов для развертывания и оптимизации.

• Примеры из практики: Широко используется в производственных средах для обслуживания моделей глубокого обучения в масштабе.

• Сопровождение и обновления: Поддерживается Google и сообществом TensorFlow , обеспечивая регулярные обновления и новые функции.

• Соображения безопасности: Развертывание с помощью TensorFlow Serving включает надежные функции безопасности для приложений корпоративного уровня.

• Аппаратное ускорение: Поддержка различных аппаратных ускорений через бэкенды TensorFlow.

TF GraphDef

TF GraphDef это формат TensorFlow , который представляет модель в виде графа, что удобно для сред, где требуется статический граф вычислений.

• Контрольные показатели производительности: Обеспечивает стабильную производительность для статических вычислительных графов, уделяя особое внимание согласованности и надежности.

• Совместимость и интеграция: Легко интегрируется в инфраструктуру TensorFlow, но менее гибок по сравнению с SavedModel.

• Поддержка сообщества и экосистема: Хорошая поддержка со стороны экосистемы TensorFlow с множеством ресурсов для оптимизации статических графов.

• Примеры из практики: Полезны в сценариях, где необходим статический граф, например, в некоторых встроенных системах.

• Обслуживание и обновления: Регулярные обновления наряду с основными обновлениями TensorFlow.

• Соображения безопасности: Обеспечивает безопасное развертывание в соответствии с установленной практикой безопасности TensorFlow.

• Аппаратное ускорение: Может использовать возможности аппаратного ускорения TensorFlow, хотя и не так гибко, как SavedModel.

TF Lite

TF Lite - это решение TensorFlow для машинного обучения мобильных и встраиваемых устройств, предоставляющее легковесную библиотеку для вычислений на устройстве.

• Бенчмарки производительности: Разработан для обеспечения скорости и эффективности работы на мобильных и встраиваемых устройствах.

• Совместимость и интеграция: Благодаря своей легкости может использоваться на широком спектре устройств.

• Поддержка сообщества и экосистема: Поддерживается Google, имеет сильное сообщество и растущее количество ресурсов для разработчиков.

• Примеры из практики: Популярны в мобильных приложениях, где требуется делать выводы на устройстве с минимальными затратами.

• Обслуживание и обновления: Регулярное обновление, включающее новейшие функции и оптимизацию для мобильных устройств.

• Соображения безопасности: Обеспечивает безопасную среду для запуска моделей на устройствах конечных пользователей.

• Аппаратное ускорение: Поддерживает различные варианты аппаратного ускорения, включая GPU и DSP.

TF Край TPU

TF Edge TPU предназначен для высокоскоростных и эффективных вычислений на оборудовании Google's Edge TPU , идеально подходящем для IoT-устройств, требующих обработки данных в режиме реального времени.

• Бенчмарки производительности: Специально оптимизирован для высокоскоростных и эффективных вычислений на оборудовании Google's Edge TPU .

• Совместимость и интеграция: Работает исключительно с моделями TensorFlow Lite на устройствах Edge TPU .

• Поддержка сообщества и экосистема: Растущая поддержка с помощью ресурсов, предоставляемых Google и сторонними разработчиками.

• Примеры из практики: Используется в IoT-устройствах и приложениях, требующих обработки данных в реальном времени с низкой задержкой.

• Обслуживание и обновления: Постоянное совершенствование для использования возможностей новых версий оборудования Edge TPU .

• Соображения безопасности: Интегрируется с Google'надежной системой безопасности для IoT и пограничных устройств.

• Аппаратное ускорение: Разработано специально для использования всех преимуществ устройств Google Coral.

TF.js

TensorFlow.js (TF.js) - это библиотека, которая предоставляет возможности машинного обучения непосредственно в браузере, открывая новое поле возможностей как для веб-разработчиков, так и для пользователей. Она позволяет интегрировать модели машинного обучения в веб-приложения без необходимости использования внутренней инфраструктуры.

• Бенчмарки производительности: Обеспечивает машинное обучение непосредственно в браузере с приемлемой производительностью, зависящей от клиентского устройства.

• Совместимость и интеграция: Высокая совместимость с веб-технологиями, позволяющая легко интегрироваться в веб-приложения.

• Поддержка сообщества и экосистема: Поддержка со стороны сообщества веб-разработчиков и разработчиков Node.js, а также разнообразные инструменты для развертывания ML-моделей в браузерах.

• Примеры из практики: Идеально подходит для интерактивных веб-приложений, которые выигрывают от машинного обучения на стороне клиента без необходимости обработки на стороне сервера.

• Поддержка и обновления: Поддерживается командой TensorFlow при участии сообщества разработчиков с открытым исходным кодом.

• Соображения безопасности: Выполняется в безопасном контексте браузера, используя модель безопасности веб-платформы.

• Аппаратное ускорение: Производительность можно повысить с помощью веб-интерфейсов API, обеспечивающих доступ к аппаратному ускорению, например WebGL.

PaddlePaddle

PaddlePaddle это фреймворк глубокого обучения с открытым исходным кодом, разработанный компанией Baidu. Он создан для того, чтобы быть одновременно эффективным для исследователей и простым в использовании для разработчиков. Он особенно популярен в Китае и предлагает специализированную поддержку обработки китайского языка.

• Бенчмарки производительности: Предлагает конкурентоспособную производительность с акцентом на простоту использования и масштабируемость.

• Совместимость и интеграция: Хорошо интегрирована в экосистему Baidu и поддерживает широкий спектр приложений.

• Поддержка сообщества и экосистема: Несмотря на то, что в мире сообщество меньше, оно быстро растет, особенно в Китае.

• Примеры из практики: Широко используется на китайских рынках и разработчиками, которые ищут альтернативу другим основным фреймворкам.

• Обслуживание и обновления: Регулярно обновляется с акцентом на обслуживание приложений и сервисов ИИ на китайском языке.

• Соображения безопасности: Особое внимание уделяется конфиденциальности и безопасности данных, в соответствии с китайскими стандартами управления данными.

• Аппаратное ускорение: Поддерживает различные аппаратные ускорения, включая собственные чипы Kunlun от Baidu.

NCNN

NCNN это высокопроизводительный фреймворк для нейросетевых выводов, оптимизированный для мобильной платформы. Его отличает легкий вес и эффективность, что делает его особенно подходящим для мобильных и встраиваемых устройств, где ресурсы ограничены.

• Бенчмарки производительности: высоко оптимизирован для мобильных платформ, обеспечивая эффективные выводы на устройствах на базе ARM.

• Совместимость и интеграция: Подходит для применения в мобильных телефонах и встраиваемых системах с архитектурой ARM.

• Поддержка сообщества и экосистема: Поддерживается нишевым, но активным сообществом, ориентированным на мобильные и встраиваемые ML-приложения.

• Примеры из практики: Предпочтение отдается мобильным приложениям, для которых важны эффективность и скорость работы на Android и других системах на базе ARM.

• Обслуживание и обновления: Постоянно совершенствуется для поддержания высокой производительности на ряде ARM-устройств.

• Соображения безопасности: Фокусируется на выполнении локально на устройстве, используя безопасность, присущую обработке на устройстве.

• Аппаратное ускорение: Специально разработано для процессоров ARM и графических процессоров, с особыми оптимизациями для этих архитектур.

MNN

MNN - это высокоэффективный и легкий фреймворк для глубокого обучения. Он поддерживает вывод и обучение моделей глубокого обучения и имеет лучшую в отрасли производительность при выводе и обучении на устройстве. Кроме того, MNN также используется во встраиваемых устройствах, таких как IoT.

Сравнительный анализ вариантов развертывания YOLO11

В следующей таблице представлен обзор различных вариантов развертывания, доступных для моделей YOLO11 , что поможет вам оценить, какой из них может наилучшим образом соответствовать потребностям вашего проекта, основываясь на нескольких важных критериях. Более подробную информацию о формате каждого варианта развертывания можно найти на странице документацииUltralytics , посвященной форматам экспорта.

Этот сравнительный анализ дает общую картину. Для развертывания необходимо учитывать конкретные требования и ограничения вашего проекта, а также ознакомиться с подробной документацией и ресурсами, доступными для каждого варианта.

Сообщество и поддержка

Когда вы только начинаете работать с сайтом YOLO11, наличие полезного сообщества и поддержки может оказать существенную помощь. Вот как связаться с теми, кто разделяет ваши интересы, и получить необходимую помощь.

Взаимодействие с широким сообществом

• Обсуждения на GitHub: В репозитории YOLO11 на GitHub есть раздел "Обсуждения", где вы можете задавать вопросы, сообщать о проблемах и предлагать улучшения.

• Ultralytics Сервер Discord: Ultralytics имеет сервер Discord, где вы можете общаться с другими пользователями и разработчиками.

Официальная документация и ресурсы

• Ultralytics YOLO11 Документация: Официальная документация содержит полный обзор YOLO11, а также руководства по установке, использованию и устранению неполадок.

Эти ресурсы помогут вам справиться с проблемами и быть в курсе последних тенденций и лучших практик в сообществе YOLO11 .

Заключение

В этом руководстве мы рассмотрели различные варианты развертывания YOLO11. Мы также обсудили важные факторы, которые следует учитывать при выборе. Эти варианты позволяют настроить модель для различных сред и требований к производительности, что делает ее пригодной для использования в реальных приложениях.

Не забывайте, что сообщество YOLO11 и Ultralytics - это ценный источник помощи. Общайтесь с другими разработчиками и экспертами, чтобы узнать уникальные советы и решения, которые вы можете не найти в обычной документации. Продолжайте искать знания, изучать новые идеи и делиться своим опытом.

Счастливого развертывания!

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ

Какие варианты развертывания доступны для YOLO11 на различных аппаратных платформах?

Ultralytics YOLO11 поддерживает различные форматы развертывания, каждый из которых предназначен для конкретных сред и аппаратных платформ. Основные форматы включают:

• PyTorch для исследований и создания прототипов, с отличной интеграцией Python .
• TorchScript для производственных сред, где Python недоступен.
• ONNX для кроссплатформенной совместимости и аппаратного ускорения.
• OpenVINO для оптимизации производительности на оборудовании Intel .
• TensorRT для высокоскоростных выводов на графических процессорах NVIDIA .

Каждый формат имеет свои уникальные преимущества. Для получения подробной информации см. нашу документацию по процессу экспорта.

Как повысить скорость вывода модели YOLO11 на Intel CPU ?

Чтобы повысить скорость вывода на процессорах Intel , вы можете развернуть модель YOLO11 с помощью инструментария Intel' OpenVINO . OpenVINO обеспечивает значительный прирост производительности за счет оптимизации моделей для эффективного использования аппаратного обеспечения Intel .

1. Преобразуйте модель YOLO11 в формат OpenVINO , используя model.export() функция.
2. Следуйте подробному руководству по настройке в документацииIntel OpenVINO Export.

Более подробную информацию вы найдете в нашем блоге.

Можно ли развернуть модели YOLO11 на мобильных устройствах?

Да, модели YOLO11 могут быть развернуты на мобильных устройствах с помощью TensorFlow Lite (TF Lite) для платформ Android и iOS . TF Lite разработан для мобильных и встраиваемых устройств, обеспечивая эффективный вывод на устройстве.

# Export command for TFLite format
model.export(format="tflite")

# CLI command for TFLite export
yolo export --format tflite

Более подробную информацию о развертывании моделей на мобильных устройствах см. в нашем руководстве по интеграцииTF Lite.

Какие факторы следует учитывать при выборе формата развертывания для модели YOLO11 ?

При выборе формата развертывания для YOLO11 учитывайте следующие факторы:

• Производительность: Некоторые форматы, такие как TensorRT , обеспечивают исключительную скорость работы на NVIDIA GPU, в то время как OpenVINO оптимизирован для Intel оборудования.
• Совместимость: ONNX обеспечивает широкую совместимость с различными платформами.
• Простота интеграции: Такие форматы, как CoreML или TF Lite, предназначены для конкретных экосистем, таких как iOS и Android, соответственно.
• Поддержка сообщества: Такие форматы, как PyTorch и TensorFlow имеют обширные ресурсы и поддержку сообщества.

Для сравнительного анализа обратитесь к нашей документации по экспортным форматам.

Как развернуть модели YOLO11 в веб-приложении?

Для развертывания моделей YOLO11 в веб-приложении можно использовать TensorFlow.js (TF.js), который позволяет запускать модели машинного обучения непосредственно в браузере. Такой подход устраняет необходимость в инфраструктуре бэкэнда и обеспечивает производительность в реальном времени.

1. Экспортируйте модель YOLO11 в формат TF.js.
2. Интегрируйте экспортированную модель в ваше веб-приложение.

Пошаговые инструкции приведены в нашем руководстве по интеграцииTensorFlow.js.

📅 Создано 1 год назад ✏️ Обновлено 16 дней назад

Комментарии