Экспорт моделей YOLO в LiteRT для развёртывания на периферийных устройствах и в вебе#

LiteRT (сокращение от Lite Runtime) — высокопроизводительная среда выполнения Google для ИИ непосредственно на устройстве. Это новое поколение TensorFlow Lite (TFLite), использующее новый вариант названия, и оно работает с тем же форматом модели .tflite. С LiteRT одну экспортированную модель Ultralytics YOLO можно развернуть на мобильных и встраиваемых устройствах, периферийных устройствах и в браузере — возможности, для которых раньше требовались отдельные форматы экспорта tflite и tfjs, теперь объединены в одном решении.

Формат экспорта LiteRT оптимизирует модели для таких задач, как обнаружение объектов, сегментация, оценка позы и классификация, обеспечивая быструю автономную работу на широком спектре устройств.

npm i @ultralytics/yolo @litertjs/core

Зачем экспортировать в LiteRT?#

LiteRT — это среда с открытым исходным кодом, предназначенная для инференса непосредственно на устройстве, также известного как периферийные вычисления. Она предоставляет разработчикам инструменты для запуска обученных моделей на мобильных и встраиваемых устройствах, устройствах IoT и обычных компьютерах, а с помощью LiteRT.js — непосредственно в веб-браузерах и Node.js.

Один формат модели — для всех целевых платформ:

• Мобильные и встраиваемые устройства: Android, iOS, встроенный Linux и микроконтроллеры (MCU).
• Периферийные ускорители: Совместимо с Coral Edge TPU для дополнительного ускорения.
• Браузер и Node.js: LiteRT.js запускает ту же модель .tflite в вебе с ускорением WebGPU/WASM, поэтому отдельный экспорт TensorFlow.js не нужен.

Основные возможности моделей LiteRT#

• Оптимизация на устройстве: снижает задержку за счёт локальной обработки данных, повышает конфиденциальность, не передавая персональные данные, и уменьшает размер модели, экономя место.
• Поддержка нескольких платформ: работает на Android, iOS, встроенном Linux, микроконтроллерах и современных веб-браузерах.
• Аппаратное ускорение: использует XNNPACK на CPU и ускорение на GPU через OpenCL, Metal и WebGPU. По умолчанию делегат GPU работает в FP16 для дополнительного ускорения.
• Квантование: поддерживаются FP32, статический INT8 (quantize=8, веса int8 + активации int8), статический INT16-activation (quantize="w8a16", веса int8 + активации int16 для большей точности) и динамический INT8 (quantize="w8a32", веса int8 + активации FP32, калибровочные данные не нужны), чтобы сжимать модели и ускорять инференс с минимальной потерей точности.
• Поддержка разных языков: совместим с Java/Kotlin, Swift, Objective-C, C++, Python и JavaScript.

Измеренная производительность#

Оборудование: Xiaomi 17 с 12 ГБ памяти LPDDR5X и Android 16 / API 36. Его 3-нм Snapdragon 8 Elite Gen 5 (SM8850) оснащён 8-ядерным CPU Qualcomm Oryon (2 производительных ядра Prime с частотой до 4,6 ГГц и 6 ядер Performance с частотой до 3,62 ГГц), GPU Adreno и NPU Hexagon.

• Значения скорости — это задержки при пакетной обработке одного изображения: среднее значение 15 запусков после 3 прогревочных запусков на bus.jpg, измеренное с помощью плагина Ultralytics для Flutter 0.6.10 и стандартизированных ресурсов v0.6.6. Порядок CPU/GPU чередовался между задачами в рамках одного последовательного прогона. Нативные журналы подтвердили, что во всех строках CPU использовались LiteRT CPU/XNNPACK, а во всех строках GPU весь граф вычислений передавался LiteRT OpenCL (LITERT_CL).
• Экспорт в LiteRT напрямую трассирует модель PyTorch, создавая NCHW .tflite с входом типа float — делегат GPU компилирует весь граф (здесь все семь задач выполняются на GPU Adreno), а w8a32 не требует калибровочных данных. Сверяй формы тензоров и имена сигнатур, а не полагайся на устаревшую раскладку NHWC из onnx2tf или на имена выходов Identity; упаковывай данные RGB непосредственно в планарный формат CHW или транспонируй их перед инференсом. Экспорт для семантической сегментации возвращает логиты NCHW и требует вычисления argmax по классам на стороне хоста. Официальные Android-ресурсы размещены в релизе yolo-flutter-app v0.6.6, а подробная запись результатов бенчмарка приведена в документе о производительности Flutter.
• Результаты для соответствующих Snapdragon Hexagon NPU и CPU/GPU LiteRT приведены в разделе интеграции Qualcomm QNN.
• Сравни результаты для CPU и ускорителя Apple в разделе интеграции CoreML.

В следующих сериях тестов на устройствах используются одни и те же стандартизированные ресурсы v0.6.6.

Google Pixel 10#

Оборудование: Google Pixel 10 с 12 ГБ памяти и Android 16 / API 36. В его 3-нм Google Tensor G5 установлены 8-ядерный CPU (1 ядро Prime с частотой до 3,78 ГГц, 5 ядер Performance с частотой до 3,05 ГГц и 2 ядра Efficiency с частотой до 2,25 ГГц), GPU PowerVR D-Series и TPU Google. Тактовые частоты ядер и название драйвера GPU считывались с устройства, на котором проводился бенчмарк, поскольку Google не публикует эти данные в спецификациях по ссылкам.

Бенчмарк: среднее значение 15 вызовов predict() после 3 прогревочных запусков на bus.jpg с использованием ultralytics_yolo, 0.6.10 и официальных ресурсов v0.6.6. Порядок CPU/GPU чередуется между задачами в рамках одного последовательного прогона. Нативные журналы подтвердили, что во всех строках CPU использовались LiteRT CPU/XNNPACK, а во всех строках GPU весь граф вычислений передавался LiteRT OpenCL (LITERT_CL).

Samsung Galaxy S26#

Оборудование: Samsung Galaxy S26 (SM-S942B) с 12 ГБ памяти и Android 16 / API 36. В его 2-нм Exynos 2600 установлены 10-ядерный CPU Armv9.3 (1 ядро C1-Ultra с частотой до 3,8 ГГц, 3 производительных ядра C1-Pro с частотой до 3,26 ГГц и 6 энергоэффективных ядер C1-Pro с частотой до 2,76 ГГц), GPU Xclipse 960 и NPU Samsung.

Бенчмарк: среднее значение 15 вызовов predict() после 3 прогревочных запусков на bus.jpg с использованием ultralytics_yolo, 0.6.10 и официальных ресурсов v0.6.6. Порядок CPU/GPU чередуется между задачами в рамках одного последовательного прогона. Нативные журналы подтвердили, что во всех строках CPU использовались LiteRT CPU/XNNPACK, а во всех строках GPU весь граф вычислений передавался LiteRT OpenCL (LITERT_CL).

Xiaomi 17T Pro#

Оборудование: Xiaomi 17T Pro (2602EPTC0G) с 12 ГБ памяти LPDDR5X и Android 16 / API 36. В его 3-нм MediaTek Dimensity 9500 (MT6993) установлены 8-ядерный CPU Armv9.3 (1 ядро C1-Ultra с частотой до 4,21 ГГц, 3 ядра C1-Premium с частотой до 3,5 ГГц и 4 ядра C1-Pro с частотой до 2,7 ГГц), GPU Mali-G1 Ultra MC12 и NPU MediaTek 990.

Бенчмарк: среднее значение 15 вызовов predict() после 3 прогревочных запусков на bus.jpg с использованием ultralytics_yolo, 0.6.10 и официальных ресурсов v0.6.6. Порядок CPU/GPU чередуется между задачами в рамках одного последовательного прогона. Нативные журналы подтвердили, что во всех строках CPU использовались LiteRT CPU/XNNPACK, а во всех строках GPU весь граф вычислений передавался LiteRT OpenCL (LITERT_CL).

Поддерживаемые задачи#

Экспорт LiteRT поддерживает все семь задач Ultralytics. Семантическая сегментация и оценка глубины доступны только для YOLO26 — единственного семейства, в котором предусмотрены такие выходные слои.

Экспорт в LiteRT: преобразование модели YOLO#

Преобразуй модели в формат LiteRT, чтобы повысить эффективность выполнения на устройстве и расширить возможности развёртывания.

Установка#

Чтобы установить необходимый пакет, выполни команду:

# Install the required package for YOLO
pip install ultralytics

Подробные инструкции и рекомендации смотри в нашем руководстве по установке Ultralytics. Если возникнут трудности, обратись к нашему руководству по распространённым проблемам.

Использование#

Все модели Ultralytics YOLO поддерживают экспорт без дополнительной настройки. Формат LiteRT поддерживает режимы Экспорт, Предсказание и Валидация, поэтому ты можешь экспортировать модель, а затем загрузить её для запуска инференса или локальной проверки точности.

from ultralytics import YOLO

# Загрузи модель YOLO26
model = YOLO("yolo26n.pt")

# Экспортировать модель в формат LiteRT
model.export(format="litert", imgsz=640)  # создаёт 'yolo26n.tflite'; для классификации используй imgsz=224

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Динамический INT8: веса int8, активации FP32 — калибровочные данные не нужны
model.export(format="litert", quantize="w8a32", imgsz=640)  # создаёт 'yolo26n_w8a32.tflite'

# Статический INT8: веса int8 + активации int8 — нужны калибровочные данные
model.export(format="litert", quantize=8, data="coco8.yaml", imgsz=640)  # создаёт 'yolo26n_int8.tflite'

# Статический w8a16: веса int8 + активации int16 (более высокая точность) — нужны калибровочные данные
model.export(format="litert", quantize="w8a16", data="coco8.yaml", imgsz=640)  # создаёт 'yolo26n_w8a16.tflite'

from ultralytics import YOLO

# Загрузить экспортированную модель LiteRT
model = YOLO("yolo26n.tflite")

# Выполнить инференс
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Загрузить экспортированную модель LiteRT
model = YOLO("yolo26n.tflite")

# Проверить точность на наборе данных COCO8
metrics = model.val(data="coco8.yaml")

Аргументы экспорта#

Подробнее о процессе экспорта смотри на странице документации Ultralytics об экспорте.

Развёртывание экспортированных моделей YOLO LiteRT#

После экспорта модели Ultralytics YOLO в LiteRT ты можешь развёртывать её на разных платформах. Быстрее всего проверить её локально с помощью метода YOLO("yolo26n.tflite"), описанного выше. Чтобы развернуть модель в других средах, смотри следующие материалы:

Мобильные и встраиваемые устройства#

• Android: краткое руководство по интеграции LiteRT в приложения Android.
• iOS: руководство по интеграции и развёртыванию моделей LiteRT в приложениях iOS.
• Встраиваемый Linux и Raspberry Pi: запускай модели LiteRT на одноплатных компьютерах, при желании ускоряя их с помощью Coral Edge TPU.
• Микроконтроллеры: развёртывай модели на MCU с объёмом памяти всего в несколько килобайт — основная среда выполнения занимает около 16 КБ на Arm Cortex-M3.

Браузер и Node.js (LiteRT.js)#

• Обзор LiteRT.js: запускай ту же модель .tflite прямо в браузере с ускорением WebGPU/WASM, избавляясь от вычислений на сервере и оставляя данные на устройстве пользователя.
• Примеры полного цикла: практические примеры и руководства по внедрению LiteRT на мобильных устройствах, периферийных устройствах и в веб-приложениях.

Итоги#

В этом руководстве мы рассмотрели экспорт моделей Ultralytics YOLO в формат LiteRT. Объединив развёртывание на мобильных и периферийных устройствах (ранее TFLite) и в браузере (ранее TF.js) в одну модель .tflite, LiteRT делает модели YOLO быстрее, компактнее и совместимыми практически со всеми целевыми устройствами.

Подробнее смотри в официальной документации LiteRT.

Если тебе интересны и другие интеграции Ultralytics YOLO, загляни на нашу страницу руководств по интеграции — там много полезных материалов.

Часто задаваемые вопросы#