Экспорт моделей YOLO в LiteRT для развёртывания на периферийных устройствах и в вебе#

LiteRT (сокращение от Lite Runtime) — высокопроизводительная среда выполнения Google для ИИ на устройстве. Это следующее поколение и новое название TensorFlow Lite (TFLite), использующее тот же формат моделей .tflite. С LiteRT одна экспортированная модель Ultralytics YOLO развёртывается на мобильных, встраиваемых и периферийных устройствах, а также в браузере — охватывая всё, что раньше по отдельности поддерживали форматы экспорта tflite и tfjs, теперь в рамках одной экосистемы.

Формат экспорта LiteRT оптимизирует модели для таких задач, как обнаружение объектов, сегментация, оценка позы и классификация, чтобы они быстро работали в автономном режиме на широком спектре устройств.

npm i @ultralytics/yolo @litertjs/core

Зачем экспортировать модели в LiteRT?#

LiteRT — это фреймворк с открытым исходным кодом, предназначенный для вывода на устройстве, также известного как периферийные вычисления. Он предоставляет разработчикам инструменты для выполнения обученных моделей на мобильных, встраиваемых и IoT-устройствах, обычных компьютерах, а через LiteRT.js — непосредственно в веб-браузерах и Node.js.

Один формат модели — для любых целевых платформ:

• Мобильные и встраиваемые устройства: Android, iOS, встраиваемый Linux и микроконтроллеры (MCU).
• Периферийные ускорители: совместимость с Coral Edge TPU для дополнительного ускорения.
• Браузер и Node.js: LiteRT.js запускает ту же модель .tflite в вебе с ускорением WebGPU/WASM, устраняя необходимость в отдельном экспорте TensorFlow.js.

Ключевые особенности моделей LiteRT#

• Оптимизация на устройстве: снижает задержку за счёт локальной обработки данных, повышает конфиденциальность благодаря отсутствию передачи персональных данных и уменьшает размер модели для экономии места.
• Поддержка нескольких платформ: работает на Android, iOS, встраиваемом Linux, микроконтроллерах и современных веб-браузерах.
• Аппаратное ускорение: использует XNNPACK на CPU и ускорение GPU через OpenCL, Metal и WebGPU. Делегат GPU по умолчанию работает в FP16 для дополнительного ускорения.
• Квантизация: поддерживает FP32, статический INT8 (quantize=8, веса int8 + активации int8), статический INT16-activation (quantize="w8a16", веса int8 + активации int16 для более высокой точности) и динамический INT8 (quantize="w8a32", веса int8 + активации FP32, данные калибровки не требуются), чтобы сжимать модели и ускорять вывод с минимальной потерей точности.
• Поддержка различных языков: совместимость с Java/Kotlin, Swift, Objective-C, C++, Python и JavaScript.

Измеренная производительность#

Аппаратное обеспечение: Xiaomi 17 с 12 ГБ памяти LPDDR5X и Android 16 / API 36. Его 3-нм Snapdragon 8 Elite Gen 5 (SM8850) оснащён 8-ядерным CPU Qualcomm Oryon (2 производительных ядра Prime с частотой до 4,6 ГГц и 6 ядер Performance с частотой до 3,62 ГГц), GPU Adreno и NPU Hexagon.

• Значения скорости — это задержки пакетной обработки одного изображения: среднее значение для 15 запусков после 3 прогревочных запусков на bus.jpg, измеренное с помощью 0.6.10 плагина Ultralytics для Flutter и стандартизированных ресурсов v0.6.6. Порядок CPU/GPU чередовался между задачами в одном последовательном прогоне. Нативные журналы подтвердили, что каждая строка для CPU использовала LiteRT CPU/XNNPACK, а каждая строка для GPU передавала полный граф LiteRT OpenCL (LITERT_CL).
• Экспорт LiteRT напрямую трассирует модель PyTorch, создавая NCHW .tflite с входными данными float. Делегат GPU компилирует весь граф (здесь все семь задач выполняются на GPU Adreno), а w8a32 не требует данных калибровки. Вместо предположений о прежнем формате NHWC onnx2tf или именах выходов Identity следует считывать формы тензоров и имена сигнатур; передавай данные RGB непосредственно в виде планарного CHW или транспонируй их перед выводом. Экспорт семантической сегментации возвращает логиты NCHW и требует вычисления argmax по классам на стороне хоста. Официальные ресурсы для Android размещены в релизе v0.6.6 приложения yolo-flutter-app, а подробные результаты бенчмарка — в документе о производительности Flutter.
• Результаты для соответствующего NPU Hexagon Snapdragon и показатели LiteRT CPU/GPU приведены в интеграции Qualcomm QNN.
• Сравни результаты CPU/ускорителя Apple в интеграции CoreML.

В следующих прогонах на устройствах используются те же стандартизированные ресурсы v0.6.6.

Google Pixel 10#

Аппаратное обеспечение: Google Pixel 10 с 12 ГБ памяти и Android 16 / API 36. Его 3-нм Google Tensor G5 оснащён 8-ядерным CPU (1 ядро Prime с частотой до 3,78 ГГц, 5 ядер Performance с частотой до 3,05 ГГц и 2 энергоэффективных ядра с частотой до 2,25 ГГц), GPU PowerVR D-Series и Google TPU. Тактовые частоты ядер и название драйвера GPU были считаны с устройства, на котором выполнялся бенчмарк, поскольку Google не публикует их в связанных спецификациях.

Бенчмарк: среднее значение для 15 вызовов predict() после 3 прогревочных запусков на bus.jpg с использованием ultralytics_yolo, 0.6.10 и официальных ресурсов v0.6.6. Порядок CPU/GPU чередуется между задачами в одном последовательном прогоне. Нативные журналы подтвердили, что каждая строка для CPU использовала LiteRT CPU/XNNPACK, а каждая строка для GPU передавала полный граф LiteRT OpenCL (LITERT_CL).

Samsung Galaxy S26#

Аппаратное обеспечение: Samsung Galaxy S26 (SM-S942B) с 12 ГБ памяти и Android 16 / API 36. Его 2-нм Exynos 2600 оснащён 10-ядерным CPU Armv9.3 (1 ядро C1-Ultra с частотой до 3,8 ГГц, 3 производительных ядра C1-Pro с частотой до 3,26 ГГц и 6 энергоэффективных ядер C1-Pro с частотой до 2,76 ГГц), GPU Xclipse 960 и NPU Samsung.

Бенчмарк: среднее значение для 15 вызовов predict() после 3 прогревочных запусков на bus.jpg с использованием ultralytics_yolo, 0.6.10 и официальных ресурсов v0.6.6. Порядок CPU/GPU чередуется между задачами в одном последовательном прогоне. Нативные журналы подтвердили, что каждая строка для CPU использовала LiteRT CPU/XNNPACK, а каждая строка для GPU передавала полный граф LiteRT OpenCL (LITERT_CL).

Xiaomi 17T Pro#

Аппаратное обеспечение: Xiaomi 17T Pro (2602EPTC0G) с 12 ГБ памяти LPDDR5X и Android 16 / API 36. Его 3-нм MediaTek Dimensity 9500 (MT6993) оснащён 8-ядерным CPU Armv9.3 (1 ядро C1-Ultra с частотой до 4,21 ГГц, 3 ядра C1-Premium с частотой до 3,5 ГГц и 4 ядра C1-Pro с частотой до 2,7 ГГц), GPU Mali-G1 Ultra MC12 и NPU MediaTek NPU 990.

Бенчмарк: среднее значение для 15 вызовов predict() после 3 прогревочных запусков на bus.jpg с использованием ultralytics_yolo, 0.6.10 и официальных ресурсов v0.6.6. Порядок CPU/GPU чередуется между задачами в одном последовательном прогоне. Нативные журналы подтвердили, что каждая строка для CPU использовала LiteRT CPU/XNNPACK, а каждая строка для GPU передавала полный граф LiteRT OpenCL (LITERT_CL).

Поддерживаемые задачи#

Экспорт LiteRT поддерживает все семь задач Ultralytics. Семантическая сегментация и оценка глубины доступны только в YOLO26 — единственном семействе, поставляемом с такими головами.

Экспорт в LiteRT: преобразование твоей модели YOLO#

Ты можешь повысить эффективность выполнения на устройстве и расширить варианты развёртывания, преобразовав модели в формат LiteRT.

Установка#

Чтобы установить необходимый пакет, выполни:

# Install the required package for YOLO
pip install ultralytics

Подробные инструкции и рекомендации смотри в нашем руководстве по установке Ultralytics. Если возникнут трудности, обратись к нашему руководству по распространённым проблемам.

Использование#

Все модели Ultralytics YOLO поддерживают экспорт из коробки. Формат LiteRT поддерживает режимы Export, Predict и Validate, поэтому ты можешь экспортировать модель, а затем загрузить её для выполнения вывода или локальной проверки точности.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to LiteRT format
model.export(format="litert", imgsz=640)  # use imgsz=224 for classification

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Dynamic INT8: int8 weights, FP32 activations - no calibration data needed
model.export(format="litert", quantize="w8a32", imgsz=640)  # use imgsz=224 for classification

# Static INT8: int8 weights + int8 activations - needs calibration data
model.export(format="litert", quantize=8, data="coco8.yaml", imgsz=640)  # use 224 for classification

# Static w8a16: int8 weights + int16 activations (higher accuracy) - needs calibration data
model.export(format="litert", quantize="w8a16", data="coco8.yaml", imgsz=640)  # use 224 for classification

from ultralytics import YOLO

# Load the exported LiteRT model
model = YOLO("yolo26n.tflite")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported LiteRT model
model = YOLO("yolo26n.tflite")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Аргументы экспорта#

Подробнее о процессе экспорта см. на странице документации Ultralytics об экспорте.

Развёртывание экспортированных моделей YOLO LiteRT#

После экспорта модели Ultralytics YOLO в LiteRT ты можешь развернуть её на разных платформах. Самый быстрый способ проверить её локально — метод YOLO("yolo26n.tflite"), показанный выше. Для развёртывания в других средах смотри следующие ресурсы:

Мобильные и встраиваемые устройства#

• Android: краткое руководство по интеграции LiteRT в приложения Android.
• iOS: руководство по интеграции и развёртыванию моделей LiteRT в приложениях iOS.
• Встраиваемый Linux и Raspberry Pi: запускай модели LiteRT на одноплатных компьютерах, при необходимости используя ускорение Coral Edge TPU.
• Микроконтроллеры: развёртывание на MCU всего с несколькими килобайтами памяти — среда выполнения занимает примерно 16 КБ на Arm Cortex-M3.

Браузер и Node.js (LiteRT.js)#

• Обзор LiteRT.js: запускай ту же модель .tflite непосредственно в браузере с ускорением WebGPU/WASM, исключая вычисления на стороне сервера и сохраняя данные на устройстве пользователя.
• Примеры от начала до конца: практические примеры и руководства по реализации LiteRT на мобильных, периферийных и веб-платформах.

Итоги#

В этом руководстве мы рассмотрели экспорт моделей Ultralytics YOLO в формат LiteRT. Объединяя развёртывание на мобильных и периферийных устройствах (ранее TFLite) и в браузере (ранее TF.js) в одну модель .tflite, LiteRT делает твои модели YOLO более быстрыми, компактными и переносимыми практически на любые устройства.

Подробнее смотри в официальной документации LiteRT.

Если тебе интересны другие интеграции Ultralytics YOLO, загляни на нашу страницу руководства по интеграциям, где ты найдёшь множество полезных ресурсов.

Часто задаваемые вопросы#