Экспорт моделей YOLO в LiteRT для развёртывания на периферийных устройствах и в вебе#

LiteRT (сокращение от Lite Runtime) — высокопроизводительная среда выполнения Google для ИИ непосредственно на устройстве. Это новое поколение TensorFlow Lite (TFLite), использующее новый вариант названия, и оно работает с тем же форматом модели .tflite. С LiteRT одну экспортированную модель Ultralytics YOLO можно развернуть на мобильных и встраиваемых устройствах, периферийных устройствах и в браузере — возможности, для которых раньше требовались отдельные форматы экспорта tflite и tfjs, теперь объединены в одном решении.

Смотри: Как экспортировать Ultralytics YOLO26 в Google LiteRT | Развертывание ИИ для компьютерного зрения на Android и iOS | Мобильный ИИ 📱🚀

Формат экспорта LiteRT оптимизирует модели для таких задач, как обнаружение объектов, сегментация, оценка позы и классификация, обеспечивая быструю автономную работу на широком спектре устройств.

npm i @ultralytics/yolo @litertjs/core

Зачем экспортировать в LiteRT?#

LiteRT — это среда с открытым исходным кодом, предназначенная для инференса непосредственно на устройстве, также известного как периферийные вычисления. Она предоставляет разработчикам инструменты для запуска обученных моделей на мобильных и встраиваемых устройствах, устройствах IoT и обычных компьютерах, а с помощью LiteRT.js — непосредственно в веб-браузерах и Node.js.

Один формат модели — для всех целевых платформ:

• Мобильные и встраиваемые устройства: Android, iOS, встроенный Linux и микроконтроллеры (MCU).
• Периферийные ускорители: Совместимо с Coral Edge TPU для дополнительного ускорения.
• Браузер и Node.js: LiteRT.js запускает ту же модель .tflite в вебе с ускорением WebGPU/WASM, поэтому отдельный экспорт TensorFlow.js не нужен.

Основные возможности моделей LiteRT#

• Оптимизация на устройстве: снижает задержку за счёт локальной обработки данных, повышает конфиденциальность, не передавая персональные данные, и уменьшает размер модели, экономя место.
• Поддержка нескольких платформ: работает на Android, iOS, встроенном Linux, микроконтроллерах и современных веб-браузерах.
• Аппаратное ускорение: использует XNNPACK на CPU и ускорение на GPU через OpenCL, Metal и WebGPU. По умолчанию делегат GPU работает в FP16 для дополнительного ускорения.
• Квантование: поддерживаются FP32, статический INT8 (quantize=8, веса int8 + активации int8), статический INT16-activation (quantize="w8a16", веса int8 + активации int16 для большей точности) и динамический INT8 (quantize="w8a32", веса int8 + активации FP32, калибровочные данные не нужны), чтобы сжимать модели и ускорять инференс с минимальной потерей точности.
• Поддержка разных языков: совместим с Java/Kotlin, Swift, Objective-C, C++, Python и JavaScript.

Измеренная производительность#

Оборудование: Xiaomi 17 с 12 ГБ памяти LPDDR5X и Android 17 / API 37. В его 3-нм Snapdragon 8 Elite Gen 5 (SM8850) установлены 8-ядерный CPU Qualcomm Oryon (2 Prime-ядра с частотой до 4.6 ГГц и 6 производительных ядер с частотой до 3.62 ГГц), GPU Adreno и NPU Hexagon.

• Значения скорости — это задержки при пакетном инференсе одного изображения: среднее значение по 15 запускам после 3 прогревочных запусков на bus.jpg, измеренное с помощью плагина Ultralytics для Flutter 0.7.1 и официальных ресурсов v0.7.0 (экспортировано в Ultralytics 8.4.188). Порядок CPU/GPU чередовался для разных задач в одном последовательном прогоне. В нативных логах подтверждено, что для каждой строки CPU использовались LiteRT CPU/XNNPACK, а для каждой строки GPU весь граф выполнялся через LiteRT OpenCL (LITERT_CL).
• Экспорт в LiteRT напрямую трассирует модель PyTorch, создавая NCHW .tflite с входом типа float — делегат GPU компилирует весь граф (здесь все семь задач выполняются на GPU Adreno), а w8a32 не требует калибровочных данных. Сверяй формы тензоров и имена сигнатур, а не полагайся на устаревшую раскладку NHWC из onnx2tf или на имена выходов Identity; упаковывай данные RGB непосредственно в планарный формат CHW или транспонируй их перед инференсом. Экспорт для семантической сегментации возвращает логиты NCHW и требует вычисления argmax по классам на стороне хоста. Официальные Android-ресурсы размещены в релизе yolo-flutter-app v0.7.0, а подробная запись результатов бенчмарка приведена в документе о производительности Flutter.
• Столбец NPU показывает результаты собственного пути NPU в LiteRT: экспорт FP32 (yolo export format=litert, без quantize), скомпилированный на устройстве средами выполнения litert-npu-runtime-qualcomm и -mediatek версии 2.3.0; измерения проведены с прототипной сборкой плагина Flutter для NPU (пока не выпущена). При первой загрузке выполняется компиляция (около 0.3 с для n, до 6 с для x). Ресурсы w8a32 не компилируются полностью на этих NPU. LiteRT сообщает о компиляции для NPU, даже если незаметно выполняет граф на GPU, поэтому каждую строку NPU сверяли со временем GPU; строки с переходом на другой процессор обозначены символом —.
• Соответствующие результаты для NPU Hexagon Snapdragon с официальными ресурсами QNN приведены в разделе интеграция Qualcomm QNN.
• Сравни результаты для CPU и ускорителя Apple в разделе интеграции CoreML.

В следующих сериях тестов на устройствах используются те же официальные ресурсы v0.7.0.

Google Pixel 10#

Оборудование: Google Pixel 10 с 12 ГБ памяти и Android 17 / API 37. В его 3-нм Google Tensor G5 установлены 8-ядерный CPU (1 Prime-ядро с частотой до 3.78 ГГц, 5 производительных ядер с частотой до 3.05 ГГц и 2 энергоэффективных ядра с частотой до 2.25 ГГц), GPU PowerVR D-Series и TPU Google. Тактовые частоты ядер и название драйвера GPU считаны с устройства для тестирования, поскольку Google не публикует их в спецификациях по ссылкам.

Тестирование: среднее значение по 15 вызовам predict() после 3 прогревочных запусков на bus.jpg с использованием ultralytics_yolo 0.7.1 и официальных ресурсов v0.7.0. Порядок CPU/GPU чередуется для разных задач в одном последовательном прогоне. В нативных логах подтверждено, что для каждой строки CPU использовались LiteRT CPU/XNNPACK, а для каждой строки GPU весь граф выполнялся через LiteRT OpenCL (LITERT_CL). Для Tensor NPU нет строки LiteRT: сервис EdgeTPU от Google отклоняет приложения, которых нет в списке разрешённых, после чего LiteRT запускает модель на GPU.

Samsung Galaxy S26#

Оборудование: Samsung Galaxy S26 (SM-S942B) с 12 ГБ памяти и Android 17 / API 37. В его 2-нм Exynos 2600 установлены 10-ядерный CPU Armv9.3 (1 ядро C1-Ultra с частотой до 3.8 ГГц, 3 производительных ядра C1-Pro с частотой до 3.26 ГГц и 6 энергоэффективных ядер C1-Pro с частотой до 2.76 ГГц), GPU Xclipse 960 и NPU Samsung.

Тестирование: среднее значение по 15 вызовам predict() после 3 прогревочных запусков на bus.jpg с использованием ultralytics_yolo 0.7.1 и официальных ресурсов v0.7.0. Порядок CPU/GPU чередуется для разных задач в одном последовательном прогоне. В нативных логах подтверждено, что для каждой строки CPU использовались LiteRT CPU/XNNPACK, а для каждой строки GPU весь граф выполнялся через LiteRT OpenCL (LITERT_CL). В столбце NPU указаны результаты для ресурсов w8a32, заранее скомпилированных для Exynos 2600 (E9965) с помощью плагина компилятора Samsung для LiteRT. В LiteRT 2.3 нет встроенного компилятора Samsung для устройств, а Google пока не выпускает среду выполнения для NPU Samsung, поэтому в этих строках использовалась библиотека диспетчеризации, собранная из исходного кода LiteRT 2.3.

Xiaomi 17T Pro#

Оборудование: Xiaomi 17T Pro (2602EPTC0G) с 12 ГБ памяти LPDDR5X и Android 16 / API 36. В его 3-нм MediaTek Dimensity 9500 (MT6993) установлены 8-ядерный CPU Armv9.3 (1 ядро C1-Ultra с частотой до 4,21 ГГц, 3 ядра C1-Premium с частотой до 3,5 ГГц и 4 ядра C1-Pro с частотой до 2,7 ГГц), GPU Mali-G1 Ultra MC12 и NPU MediaTek 990.

Бенчмарк: среднее значение по 15 вызовам predict() после 3 прогревочных запусков на bus.jpg с использованием ultralytics_yolo 0.7.1 и официальных ресурсов v0.7.0. Порядок CPU/GPU чередуется между задачами в одном последовательном цикле. В нативных логах подтверждено, что для всех строк CPU использовались LiteRT CPU/XNNPACK, а для всех строк GPU полный вычислительный граф обрабатывался LiteRT OpenCL (LITERT_CL). Для Depth и OBB результаты NPU отсутствуют: компилятор MediaTek NPU не поддерживает экспоненциальные и тригонометрические операции в этих моделях, поэтому LiteRT запускает эти графы на GPU.

Поддерживаемые задачи#

Экспорт LiteRT поддерживает все семь задач Ultralytics. Семантическая сегментация и оценка глубины доступны только для YOLO26 — единственного семейства, в котором предусмотрены такие выходные слои.

Экспорт в LiteRT: преобразование модели YOLO#

Преобразуй модели в формат LiteRT, чтобы повысить эффективность выполнения на устройстве и расширить возможности развёртывания.

Установка#

Чтобы установить необходимый пакет, выполни команду:

# Install the required package for YOLO
pip install ultralytics

Подробные инструкции и рекомендации смотри в нашем руководстве по установке Ultralytics. Если возникнут трудности, обратись к нашему руководству по распространённым проблемам.

Использование#

Все модели Ultralytics YOLO поддерживают экспорт без дополнительной настройки. Формат LiteRT поддерживает режимы Экспорт, Предсказание и Валидация, поэтому ты можешь экспортировать модель, а затем загрузить её для запуска инференса или локальной проверки точности.

from ultralytics import YOLO

# Загрузи модель YOLO26
model = YOLO("yolo26n.pt")

# Экспортировать модель в формат LiteRT
model.export(format="litert", imgsz=640)  # создаёт 'yolo26n.tflite'; для классификации используй imgsz=224

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Динамический INT8: веса int8, активации FP32 — калибровочные данные не нужны
model.export(format="litert", quantize="w8a32", imgsz=640)  # создаёт 'yolo26n_w8a32.tflite'

# Статический INT8: веса int8 + активации int8 — нужны калибровочные данные
model.export(format="litert", quantize=8, data="coco8.yaml", imgsz=640)  # создаёт 'yolo26n_int8.tflite'

# Статический w8a16: веса int8 + активации int16 (более высокая точность) — нужны калибровочные данные
model.export(format="litert", quantize="w8a16", data="coco8.yaml", imgsz=640)  # создаёт 'yolo26n_w8a16.tflite'

from ultralytics import YOLO

# Загрузить экспортированную модель LiteRT
model = YOLO("yolo26n.tflite")

# Выполнить инференс
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Загрузить экспортированную модель LiteRT
model = YOLO("yolo26n.tflite")

# Проверить точность на наборе данных COCO8
metrics = model.val(data="coco8.yaml")

Аргументы экспорта#

Подробнее о процессе экспорта смотри на странице документации Ultralytics об экспорте.

Инференс на CPU и NPU Intel#

Экспортированные модели .tflite работают на оборудовании Intel через плагин LiteRT Intel OpenVINO. Укажи device=intel:cpu или device=intel:npu, и при первом использовании Ultralytics установит ai-edge-litert>=2.3.0 и ai-edge-litert-sdk-intel. Для работы NPU требуется процессор Intel Core Ultra с установленным драйвером Intel NPU.

from ultralytics import YOLO

model = YOLO("yolo26n.tflite")
results = model("https://ultralytics.com/images/bus.jpg", device="intel:npu")  # или "intel:cpu"

Оборудование: Intel Core Ultra X7 358H (Panther Lake) и Intel AI Boost NPU 5010, Fedora Linux, драйвер NPU 1.38.0, ai-edge-litert 2.3.0.

Бенчмарк: среднее значение для 15 вызовов predict() после 3 прогревочных вызовов на bus.jpg с использованием ultralytics 8.4.174 и ai-edge-litert 2.3.0 для экспорта w8a32. В каждой ячейке указано общее время, а ниже — разбивка на предобработку / инференс / постобработку.

Развёртывание экспортированных моделей YOLO LiteRT#

После экспорта модели Ultralytics YOLO в LiteRT ты можешь развёртывать её на разных платформах. Быстрее всего проверить её локально с помощью метода YOLO("yolo26n.tflite"), описанного выше. Чтобы развернуть модель в других средах, смотри следующие материалы:

Мобильные и встраиваемые устройства#

• Android: краткое руководство по интеграции LiteRT в приложения Android.
• iOS: руководство по интеграции и развёртыванию моделей LiteRT в приложениях iOS.
• Встраиваемый Linux и Raspberry Pi: запускай модели LiteRT на одноплатных компьютерах, при желании ускоряя их с помощью Coral Edge TPU.
• Микроконтроллеры: развёртывай модели на MCU с объёмом памяти всего в несколько килобайт — основная среда выполнения занимает около 16 КБ на Arm Cortex-M3.

Браузер и Node.js (LiteRT.js)#

• Обзор LiteRT.js: запускай ту же модель .tflite прямо в браузере с ускорением WebGPU/WASM, избавляясь от вычислений на сервере и оставляя данные на устройстве пользователя.
• Примеры полного цикла: практические примеры и руководства по внедрению LiteRT на мобильных устройствах, периферийных устройствах и в веб-приложениях.

Итоги#

В этом руководстве мы рассмотрели экспорт моделей Ultralytics YOLO в формат LiteRT. Объединив развёртывание на мобильных и периферийных устройствах (ранее TFLite) и в браузере (ранее TF.js) в одну модель .tflite, LiteRT делает модели YOLO быстрее, компактнее и совместимыми практически со всеми целевыми устройствами.

Подробнее смотри в официальной документации LiteRT.

Если тебе интересны и другие интеграции Ultralytics YOLO, загляни на нашу страницу руководств по интеграции — там много полезных материалов.

Часто задаваемые вопросы#