Сравнительный анализ вариантов развертывания YOLO11

Введение

Вы проделали долгий путь в работе с YOLO11. Вы усердно собирали данные, тщательно их аннотировали и потратили много времени на обучение и тщательную оценку своей пользовательской модели YOLO11. Теперь пришло время применить вашу модель для конкретного приложения, варианта использования или проекта. Но перед вами стоит важное решение: как эффективно экспортировать и развернуть вашу модель.

Смотреть: Как выбрать лучший формат развертывания Ultralytics YOLO11 для вашего проекта | TensorRT | OpenVINO 🚀

В этом руководстве рассматриваются варианты развертывания YOLO11 и основные факторы, которые необходимо учитывать при выборе подходящего варианта для вашего проекта.

Как выбрать правильный вариант развертывания для вашей модели YOLO11

Когда придет время развернуть вашу модель YOLO11, выбор подходящего формата экспорта очень важен. Как указано в документации по режимам Ultralytics YOLO11, функция model.export() позволяет преобразовать обученную модель в различные форматы, адаптированные к различным средам и требованиям к производительности.

Идеальный формат зависит от предполагаемого операционного контекста вашей модели, балансируя скорость, аппаратные ограничения и простоту интеграции. В следующем разделе мы подробнее рассмотрим каждый вариант экспорта, чтобы понять, когда какой из них следует выбирать.

Варианты развертывания YOLO11

Давайте рассмотрим различные варианты развертывания YOLO11. Для получения подробного обзора процесса экспорта посетите страницу документации Ultralytics по экспорту.

PyTorch

PyTorch — это библиотека машинного обучения с открытым исходным кодом, широко используемая для приложений в области глубокого обучения и искусственного интеллекта. Она обеспечивает высокий уровень гибкости и скорости, что сделало ее фаворитом среди исследователей и разработчиков.

• Оценка производительности: PyTorch известен своей простотой использования и гибкостью, что может привести к небольшому компромиссу в чистой производительности по сравнению с другими фреймворками, которые являются более специализированными и оптимизированными.
• Совместимость и интеграция: Обеспечивает отличную совместимость с различными библиотеками науки о данных и машинного обучения в python.
• Поддержка сообщества и экосистема: Одно из самых активных сообществ, с обширными ресурсами для обучения и устранения неполадок.
• Примеры использования: Обычно используется в исследовательских прототипах, многие научные работы ссылаются на модели, развернутые в PyTorch.
• Обслуживание и обновления: Регулярные обновления с активной разработкой и поддержкой новых функций.
• Вопросы безопасности: Регулярные исправления проблем безопасности, но безопасность во многом зависит от общей среды, в которой он развернут.
• Аппаратное ускорение: Поддерживает CUDA для ускорения GPU, что необходимо для ускорения обучения и логического вывода модели.

TorchScript

TorchScript расширяет возможности PyTorch, позволяя экспортировать модели для запуска в среде выполнения C++. Это делает его подходящим для производственных сред, где Python недоступен.

• Бенчмарки производительности: Может предложить улучшенную производительность по сравнению с нативным PyTorch, особенно в производственных средах.
• Совместимость и интеграция: Разработан для плавного перехода из PyTorch в производственные среды C++, хотя некоторые расширенные функции могут быть перенесены не идеально.
• Поддержка сообщества и экосистема: Выигрывает от большого сообщества PyTorch, но имеет более узкую сферу специализированных разработчиков.
• Примеры использования: Широко используется в промышленных условиях, где накладные расходы на производительность python являются узким местом.
• Обслуживание и обновления: Поддерживается параллельно с PyTorch с регулярными обновлениями.
• Вопросы безопасности: Предлагает повышенную безопасность, позволяя запускать модели в средах без полной установки python.
• Аппаратное ускорение: Наследует поддержку CUDA PyTorch, обеспечивая эффективное использование GPU.

ONNX

Open Neural Network Exchange (ONNX) — это формат, который обеспечивает совместимость моделей между различными фреймворками, что может иметь решающее значение при развертывании на различных платформах.

• Оценка производительности: Производительность моделей ONNX может варьироваться в зависимости от конкретной среды выполнения, в которой они развернуты.
• Совместимость и интеграция: Высокая интероперабельность на различных платформах и оборудовании благодаря своей независимости от фреймворка.
• Поддержка сообщества и экосистема: Поддерживается многими организациями, что приводит к широкой экосистеме и разнообразию инструментов для оптимизации.
• Примеры использования: Часто используется для переноса моделей между различными фреймворками машинного обучения, демонстрируя свою гибкость.
• Обслуживание и обновления: Как открытый стандарт, ONNX регулярно обновляется для поддержки новых операций и моделей.
• Вопросы безопасности: Как и в случае с любым кроссплатформенным инструментом, важно обеспечить безопасные методы в конвейере преобразования и развертывания.
• Аппаратное ускорение: С ONNX Runtime модели могут использовать различные аппаратные оптимизации.

OpenVINO

OpenVINO — это набор инструментов Intel, предназначенный для облегчения развертывания моделей глубокого обучения на оборудовании Intel, повышения производительности и скорости.

• Оценка производительности: Специально оптимизирован для Intel CPU, GPU и VPU, предлагая значительное повышение производительности на совместимом оборудовании.
• Совместимость и интеграция: Лучше всего работает в экосистеме Intel, но также поддерживает ряд других платформ.
• Поддержка сообщества и экосистема: Поддерживается Intel, с прочной базой пользователей, особенно в области компьютерного зрения.
• Примеры использования: Часто используется в IoT и edge computing сценариях, где преобладает оборудование Intel.
• Обслуживание и обновления: Intel регулярно обновляет OpenVINO для поддержки новейших моделей глубокого обучения и оборудования Intel.
• Вопросы безопасности: Предоставляет надежные функции безопасности, подходящие для развертывания в конфиденциальных приложениях.
• Аппаратное ускорение: Адаптировано для ускорения на оборудовании Intel, с использованием специализированных наборов инструкций и аппаратных функций.

Для получения более подробной информации о развертывании с использованием OpenVINO обратитесь к документации по интеграции Ultralytics: Экспорт Intel OpenVINO.

TensorRT

TensorRT — это высокопроизводительный оптимизатор и среда выполнения для инференса глубокого обучения от NVIDIA, идеально подходящая для приложений, требующих скорости и эффективности.

• Бенчмарки производительности: Обеспечивает первоклассную производительность на NVIDIA GPU с поддержкой высокоскоростного вывода.
• Совместимость и интеграция: Лучше всего подходит для оборудования NVIDIA, с ограниченной поддержкой вне этой среды.
• Поддержка сообщества и экосистема: Мощная сеть поддержки через форумы разработчиков NVIDIA и документацию.
• Примеры использования: Широко используется в отраслях, требующих логического вывода в реальном времени на видео и изображениях.
• Обслуживание и обновления: NVIDIA поддерживает TensorRT, часто выпуская обновления для повышения производительности и поддержки новых архитектур GPU.
• Вопросы безопасности: Как и многие продукты NVIDIA, он уделяет большое внимание безопасности, но конкретные детали зависят от среды развертывания.
• Аппаратное ускорение: Разработано исключительно для NVIDIA GPU, обеспечивая глубокую оптимизацию и ускорение.

Для получения дополнительной информации о развертывании TensorRT ознакомьтесь с руководством по интеграции TensorRT.

CoreML

CoreML — это фреймворк машинного обучения от Apple, оптимизированный для работы на устройствах в экосистеме Apple, включая iOS, macOS, watchOS и tvOS.

• Оценка производительности: Оптимизирован для работы на устройствах Apple с минимальным использованием заряда батареи.
• Совместимость и интеграция: Исключительно для экосистемы Apple, обеспечивая оптимизированный рабочий процесс для приложений iOS и macOS.
• Поддержка сообщества и экосистема: Сильная поддержка от Apple и преданного сообщества разработчиков, с обширной документацией и инструментами.
• Примеры использования: Обычно используется в приложениях, требующих возможностей машинного обучения на устройстве на продуктах Apple.
• Обслуживание и обновления: Регулярно обновляется компанией Apple для поддержки новейших достижений в области машинного обучения и оборудования Apple.
• Вопросы безопасности: Преимущества от внимания Apple к конфиденциальности пользователей и безопасности данных.
• Аппаратное ускорение: В полной мере использует нейронный движок и GPU Apple для ускорения задач машинного обучения.

TF SavedModel

TF SavedModel — это формат TensorFlow для сохранения и обслуживания моделей машинного обучения, особенно подходящий для масштабируемых серверных сред.

• Оценка производительности: Обеспечивает масштабируемую производительность в серверных средах, особенно при использовании с TensorFlow Serving.
• Совместимость и интеграция: Широкая совместимость в экосистеме TensorFlow, включая облачные и корпоративные серверные развертывания.
• Поддержка сообщества и экосистема: Большая поддержка сообщества благодаря популярности TensorFlow, с огромным количеством инструментов для развертывания и оптимизации.
• Примеры использования: Широко используется в производственных средах для обслуживания моделей глубокого обучения в масштабе.
• Обслуживание и обновления: Поддерживается Google и сообществом TensorFlow, что обеспечивает регулярные обновления и новые функции.
• Вопросы безопасности: Развертывание с использованием TensorFlow Serving включает надежные функции безопасности для приложений корпоративного уровня.
• Аппаратное ускорение: Поддерживает различные аппаратные ускорения через бэкенды TensorFlow.

TF GraphDef

TF GraphDef — это формат TensorFlow, который представляет модель в виде графа, что полезно для сред, где требуется статический вычислительный граф.

• Оценка производительности: Обеспечивает стабильную производительность для статических вычислительных графов с акцентом на согласованность и надежность.
• Совместимость и интеграция: Легко интегрируется в инфраструктуру TensorFlow, но менее гибок по сравнению с SavedModel.
• Поддержка сообщества и экосистема: Хорошая поддержка от экосистемы TensorFlow, с множеством ресурсов, доступных для оптимизации статических графов.
• Примеры использования: Полезен в сценариях, где необходим статический граф, например, в некоторых встроенных системах.
• Обслуживание и обновления: Регулярные обновления параллельно с основными обновлениями TensorFlow.
• Вопросы безопасности: Обеспечивает безопасное развертывание благодаря устоявшимся практикам безопасности TensorFlow.
• Аппаратное ускорение: Может использовать параметры аппаратного ускорения TensorFlow, хотя и не так гибко, как SavedModel.

Узнайте больше о TF GraphDef в нашем руководстве по интеграции TF GraphDef.

TF Lite

TF Lite — это решение TensorFlow для машинного обучения на мобильных и встроенных устройствах, предоставляющее облегченную библиотеку для логического вывода на устройстве.

• Оценка производительности: Разработан для скорости и эффективности на мобильных и встраиваемых устройствах.
• Совместимость и интеграция: Может использоваться на широком спектре устройств благодаря своей легковесности.
• Поддержка сообщества и экосистема: Поддерживается Google, имеет активное сообщество и растущее количество ресурсов для разработчиков.
• Примеры использования: Популярен в мобильных приложениях, требующих логического вывода на устройстве с минимальным объемом памяти.
• Обслуживание и обновления: Регулярно обновляется для включения новейших функций и оптимизаций для мобильных устройств.
• Вопросы безопасности: Обеспечивает безопасную среду для запуска моделей на устройствах конечных пользователей.
• Аппаратное ускорение: Поддерживает различные варианты аппаратного ускорения, включая GPU и DSP.

TF Edge TPU

TF Edge TPU разработан для высокоскоростных и эффективных вычислений на оборудовании Google Edge TPU и идеально подходит для IoT-устройств, требующих обработки в реальном времени.

• Оценка производительности: Специально оптимизирован для высокоскоростных и эффективных вычислений на оборудовании Google Edge TPU.
• Совместимость и интеграция: Работает исключительно с моделями TensorFlow Lite на устройствах Edge TPU.
• Поддержка сообщества и экосистема: Растущая поддержка с ресурсами, предоставляемыми Google и сторонними разработчиками.
• Примеры использования: Используется в IoT-устройствах и приложениях, требующих обработки в реальном времени с низкой задержкой.
• Обслуживание и обновления: Постоянно совершенствуется для использования возможностей новых выпусков оборудования Edge TPU.
• Вопросы безопасности: Интегрируется с надежной системой безопасности Google для IoT и периферийных устройств.
• Аппаратное ускорение: Специально разработан для полного использования устройств Google Coral.

TF.js

TensorFlow.js (TF.js) — это библиотека, которая предоставляет возможности машинного обучения непосредственно в браузере, открывая новые горизонты для веб-разработчиков и пользователей. Она позволяет интегрировать модели машинного обучения в веб-приложения без необходимости использования серверной инфраструктуры.

• Оценка производительности: Обеспечивает машинное обучение непосредственно в браузере с приемлемой производительностью, в зависимости от клиентского устройства.
• Совместимость и интеграция: Высокая совместимость с веб-технологиями, что позволяет легко интегрировать их в веб-приложения.
• Поддержка сообщества и экосистема: Поддержка от сообщества веб-разработчиков и Node.js, с множеством инструментов для развертывания ML-моделей в браузерах.
• Примеры использования: Идеально подходит для интерактивных веб-приложений, которые выигрывают от машинного обучения на стороне клиента без необходимости обработки на стороне сервера.
• Обслуживание и обновления: Поддерживается командой TensorFlow с участием сообщества разработчиков открытого исходного кода.
• Вопросы безопасности: Работает в безопасном контексте браузера, используя модель безопасности веб-платформы.
• Аппаратное ускорение: Производительность можно повысить с помощью веб-API, которые получают доступ к аппаратному ускорению, например WebGL.

PaddlePaddle

PaddlePaddle — это платформа глубокого обучения с открытым исходным кодом, разработанная Baidu. Она разработана, чтобы быть одновременно эффективной для исследователей и простой в использовании для разработчиков. Она особенно популярна в Китае и предлагает специализированную поддержку обработки китайского языка.

• Оценка производительности: Предлагает конкурентоспособную производительность с акцентом на простоту использования и масштабируемость.
• Совместимость и интеграция: Хорошо интегрирован в экосистему Baidu и поддерживает широкий спектр приложений.
• Поддержка сообщества и экосистема: Хотя сообщество меньше в глобальном масштабе, оно быстро растет, особенно в Китае.
• Примеры использования: Широко используется на китайских рынках и разработчиками, ищущими альтернативы другим крупным фреймворкам.
• Обслуживание и обновления: Регулярно обновляется с акцентом на обслуживание AI-приложений и сервисов на китайском языке.
• Вопросы безопасности: Подчеркивает конфиденциальность данных и безопасность, отвечая китайским стандартам управления данными.
• Аппаратное ускорение: Поддерживает различные аппаратные ускорения, включая собственные чипы Kunlun от Baidu.

MNN

MNN — это высокоэффективный и легковесный фреймворк глубокого обучения. Он поддерживает вывод и обучение моделей глубокого обучения и обладает лучшей в отрасли производительностью для вывода и обучения на устройстве. Кроме того, MNN также используется на встроенных устройствах, таких как IoT.

• Оценка производительности: Высокая производительность для мобильных устройств с отличной оптимизацией для ARM-систем.
• Совместимость и интеграция: Хорошо работает с мобильными и встроенными ARM-системами и X86-64 CPU архитектурами.
• Поддержка сообщества и экосистема: Поддерживается сообществом машинного обучения для мобильных и встраиваемых систем.
• Примеры использования: Идеально подходит для приложений, требующих эффективной работы на мобильных системах.
• Обслуживание и обновления: Регулярно обслуживается для обеспечения высокой производительности на мобильных устройствах.
• Вопросы безопасности: Обеспечивает преимущества безопасности на устройстве, сохраняя данные локально.
• Аппаратное ускорение: Оптимизировано для ARM CPU и GPU для максимальной эффективности.

NCNN

NCNN — это высокопроизводительный фреймворк для инференса нейронных сетей, оптимизированный для мобильных платформ. Он выделяется своей легкостью и эффективностью, что делает его особенно подходящим для мобильных и встроенных устройств, где ресурсы ограничены.

• Оценка производительности: Высоко оптимизирован для мобильных платформ, обеспечивая эффективный вывод на устройствах на базе ARM.
• Совместимость и интеграция: Подходит для приложений на мобильных телефонах и встроенных системах с архитектурой ARM.
• Поддержка сообщества и экосистема: Поддерживается нишевым, но активным сообществом, ориентированным на мобильные и встроенные ML-приложения.
• Примеры использования: Предпочтителен для мобильных приложений, где эффективность и скорость имеют решающее значение на Android и других системах на базе ARM.
• Обслуживание и обновления: Непрерывно совершенствуется для поддержания высокой производительности на различных ARM-устройствах.
• Вопросы безопасности: Ориентирован на локальный запуск на устройстве, используя присущую обработке на устройстве безопасность.
• Аппаратное ускорение: Адаптировано для CPU и GPU ARM, со специальными оптимизациями для этих архитектур.

Сравнительный анализ вариантов развертывания YOLO11

В следующей таблице представлен обзор различных вариантов развертывания, доступных для моделей YOLO11, который поможет вам оценить, какой из них лучше всего подходит для нужд вашего проекта, на основе нескольких важных критериев. Для получения подробной информации о формате каждого варианта развертывания, пожалуйста, обратитесь к странице документации Ultralytics о форматах экспорта.

Этот сравнительный анализ дает общее представление. Для развертывания важно учитывать конкретные требования и ограничения вашего проекта, а также обращаться к подробной документации и ресурсам, доступным для каждого варианта.

Сообщество и поддержка

Когда вы начинаете работать с YOLO11, наличие полезного сообщества и поддержки может оказать значительное влияние. Вот как связаться с другими людьми, которые разделяют ваши интересы, и получить необходимую помощь.

Взаимодействуйте с широким сообществом

• Обсуждения на GitHub: В репозитории YOLO11 на GitHub есть раздел "Discussions", где вы можете задавать вопросы, сообщать о проблемах и предлагать улучшения.
• Сервер Ultralytics Discord: У Ultralytics есть сервер Discord, где вы можете взаимодействовать с другими пользователями и разработчиками.

Официальная документация и ресурсы

• Документация Ultralytics YOLO11: Официальная документация предоставляет всесторонний обзор YOLO11, а также руководства по установке, использованию и устранению неполадок.

Эти ресурсы помогут вам решить проблемы и оставаться в курсе последних тенденций и передовых методов в сообществе YOLO11.

Заключение

В этом руководстве мы рассмотрели различные варианты развертывания для YOLO11. Мы также обсудили важные факторы, которые следует учитывать при выборе. Эти параметры позволяют настроить модель для различных сред и требований к производительности, что делает ее подходящей для реальных приложений.

Не забывайте, что YOLO11 и сообщество Ultralytics — ценный источник помощи. Общайтесь с другими разработчиками и экспертами, чтобы узнать уникальные советы и решения, которые вы не найдете в обычной документации. Продолжайте искать знания, изучать новые идеи и делиться своим опытом.

Успешного развертывания!

Часто задаваемые вопросы

Какие варианты развертывания доступны для YOLO11 на различных аппаратных платформах?

Ultralytics YOLO11 поддерживает различные форматы развертывания, каждый из которых предназначен для определенных сред и аппаратных платформ. Ключевые форматы включают:

• PyTorch для исследований и прототипирования, с отличной интеграцией с python.
• TorchScript для производственных сред, где python недоступен.
• ONNX для кроссплатформенной совместимости и аппаратного ускорения.
• OpenVINO для оптимизированной производительности на оборудовании Intel.
• TensorRT для высокоскоростного вывода на NVIDIA GPU.

Каждый формат имеет уникальные преимущества. Для подробного ознакомления смотрите нашу документацию по процессу экспорта.

Как повысить скорость логического вывода моей модели YOLO11 на Intel CPU?

Чтобы повысить скорость инференса на Intel CPU, вы можете развернуть свою модель YOLO11 с помощью инструментария Intel OpenVINO. OpenVINO предлагает значительное повышение производительности за счет оптимизации моделей для эффективного использования оборудования Intel.

1. Преобразуйте свою модель YOLO11 в формат OpenVINO, используя model.export() функцию.
2. Следуйте подробному руководству по настройке в документации по экспорту Intel OpenVINO.

Для получения дополнительной информации ознакомьтесь с нашей статьей в блоге.

Могу ли я развернуть модели YOLO11 на мобильных устройствах?

Да, модели YOLO11 можно развертывать на мобильных устройствах, используя TensorFlow Lite (TF Lite) для платформ Android и iOS. TF Lite разработан для мобильных и встроенных устройств, обеспечивая эффективный инференс на устройстве.

# Export command for TFLite format
model.export(format="tflite")

# CLI command for TFLite export
yolo export --format tflite

Для получения более подробной информации о развертывании моделей на мобильных устройствах обратитесь к нашему руководству по интеграции TF Lite.

Какие факторы следует учитывать при выборе формата развертывания для моей модели YOLO11?

При выборе формата развертывания для YOLO11, учитывайте следующие факторы:

• Производительность: Некоторые форматы, такие как TensorRT, обеспечивают исключительную скорость на GPU NVIDIA, в то время как OpenVINO оптимизирован для оборудования Intel.
• Совместимость: ONNX обеспечивает широкую совместимость с различными платформами.
• Простота интеграции: Форматы, такие как CoreML или TF Lite, адаптированы для конкретных экосистем, таких как iOS и Android, соответственно.
• Поддержка сообщества: Форматы, такие как PyTorch и TensorFlow, имеют обширные ресурсы сообщества и поддержку.

Для сравнительного анализа обратитесь к нашей документации по форматам экспорта.

Как я могу развернуть модели YOLO11 в веб-приложении?

Для развертывания моделей YOLO11 в веб-приложении можно использовать TensorFlow.js (TF.js), который позволяет запускать модели машинного обучения непосредственно в браузере. Такой подход устраняет необходимость в серверной инфраструктуре и обеспечивает производительность в реальном времени.

1. Экспорт модели YOLO11 в формат TF.js.
2. Интегрируйте экспортированную модель в свое веб-приложение.

Пошаговые инструкции можно найти в нашем руководстве по интеграции TensorFlow.js.

📅 Создано 1 год назад ✏️ Обновлено 3 месяца назад

Комментарии