Başla

Google LiteRT Dışa Aktarma

LiteRT, Google'ın cihaz üzerinde yapay zekâ için sunduğu çalışma zamanıdır ve TensorFlow Lite'ın (TFLite) yeni adıdır. Bir Ultralytics YOLO26 modelini format="litert" ile dışa aktarmak, Android ve iOS telefonlar, gömülü Linux kartları ve web tarayıcıları için FP32 veya üç INT8 niceleme şemasından biriyle tek bir .tflite dosyası oluşturur.

Genel Bakış#

ÖzellikAyrıntılar
format bağımsız değişkenilitert. Eski tflite ve tfjs değerleri çalışmaya devam eder: kullanımdan kaldırılma uyarısı verir ve aynı LiteRT dosyasını dışa aktarırlar.
Çıktıyolo26n.tflite; sınıf adları, görev ve görüntü boyutu meta veri olarak dosyanın içine kaydedilmiş tek bir dosya; nicelemeli dışa aktarımların adları yolo26n_w8a32.tflite, yolo26n_int8.tflite ve yolo26n_w8a16.tflite olur.
Çalıştığı ortamlarAndroid ve iOS cihazları, gömülü Linux kartları, masaüstü CPU'ları, LiteRT.js aracılığıyla web tarayıcıları ve Intel GPU'ları ile NPU'ları.
Çalışma zamanıLiteRT: ai-edge-litert Python paketi (2.1.4 veya üzeri), Android ve iOS için LiteRT kitaplıkları ya da LiteRT.js.
KesinlikFP32, w8a32, INT8, w8a16. YOLO26n, FP32'de 10.0 MB, w8a32 ile 2.9 MB, INT8'de 3.1 MB ve w8a16 ile 3.0 MB boyutundadır.
Dışa aktarma ana makinesiPython 3.10 veya üzeriyle Linux x86-64 ya da Apple silicon kullanan macOS. Dışa aktarma CPU'da çalışır ve GPU gerektirmez.
Bulutta dışa aktar

Ultralytics Platform, eğitilmiş bir modeli senin için LiteRT'ye aktarabilir; böylece yerel bir dışa aktarma ortamına ihtiyacın olmaz.

Hızlı Başlangıç#

LiteRT dışa aktarma bağımlılıklarıyla Ultralytics paketini yükle:

pip install "ultralytics[export-litert]"

Bu işlem litert-torch, ai-edge-litert ve ai-edge-quantizer paketlerini yükler. Sade bir pip install ultralytics kurulumunda ilk dışa aktarma eksik paketleri yükler ve bu PyTorch'un yerini alırsa hata vererek durabilir. Dışa aktarma için gereken sürümler:

PaketGerekli sürüm
Python3.10 veya üzeri
litert-torch0.10.0 veya üzeri
torchYüklü litert-torch paketinin kabul ettiği aralık: 0.10.0 için 2.4.0 veya üzeri ve 2.15.0'dan düşük.
ai-edge-litertDışa aktarmak için 2.3.0 veya üzeri; dışa aktarılan modeli çalıştırmak için Python 3.10 veya üzeriyle 2.1.4 veya üzeri.
ai-edge-quantizerquantize="w8a32", quantize=8 ve "w8a16" için 0.10.0 veya üzeri.

Diğer yükleme yöntemleri için yükleme kılavuzuna bak. Ardından modelini dışa aktar ve çıkarım yapmak ya da doğruluğunu değerlendirmek için dışa aktarılan dosyayı yükle.

Dışa aktar
from ultralytics import YOLO

# YOLO26 modelini yükle
model = YOLO("yolo26n.pt")

# Modeli LiteRT biçimine aktar
model.export(format="litert")  # 'yolo26n.tflite' dosyasını oluşturur

# Kalibrasyon verisi gerektirmeyen INT8 ağırlıklar ve FP32 aktivasyonlarla dışa aktar
model.export(format="litert", quantize="w8a32")  # 'yolo26n_w8a32.tflite' oluşturur
Tahmin
from ultralytics import YOLO

# Dışa aktarılan LiteRT modelini yükle
model = YOLO("yolo26n.tflite")

# Çıkarımı çalıştır
results = model("https://ultralytics.com/images/bus.jpg")
Doğrula
from ultralytics import YOLO

# Dışa aktarılan LiteRT modelini yükle
model = YOLO("yolo26n.tflite")

# COCO8 veri kümesinde doğruluğu doğrula
metrics = model.val(data="coco8.yaml")

Desteklenen Görevler#

LiteRT dışa aktarma, YOLOv8, YOLO11 ve YOLO26 modelleriyle yedi Ultralytics görevinin tümünü destekler: nesne tespiti, segmentasyon, anlamsal segmentasyon, derinlik tahmini, sınıflandırma, poz tahmini ve OBB. Anlamsal segmentasyon ve derinlik tahmini yalnızca bu başlıkları içeren tek aile olan YOLO26 ile kullanılabilir.

Dışa Aktarma Bağımsız Değişkenleri#

Bağımsız değişkenTürVarsayılanAçıklama
formatstr'litert'Dışa aktarılan modelin hedef biçimi; çeşitli dağıtım ortamlarıyla uyumluluğu tanımlar.
imgszint veya tuple640Model girişinin görüntü boyutu: kare görüntüler için bir tam sayı veya (height, width) biçiminde bir demet. Belirtilmediğinde dışa aktarma, kontrol noktasının eğitildiği boyutu kullanır. Resmî YOLO26 kontrol noktaları detect, segment ve pose modelleri ile ADE20K üzerinde önceden eğitilmiş anlamsal modeller için 640; OBB modelleri ve Cityscapes üzerinde önceden eğitilmiş anlamsal modeller için 1024; depth için 768 ve classify için 224 kullanır.
quantizeint veya strNoneNiceleme şeması: 'w8a32' (INT8 ağırlıklar, FP32 aktivasyonlar, kalibrasyon yok), 8 (INT8 ağırlıklar ve aktivasyonlar, data üzerinde kalibre edilir) veya 'w8a16' (INT8 ağırlıklar, INT16 aktivasyonlar, data üzerinde kalibre edilir); 32/ayarlanmamış değer FP32'dir. 16 hata verir ve quantize=8 ile eğitilmiş bir kontrol noktası LiteRT'ye aktarılamaz; Sınırlamalar ve Sorun Giderme bölümüne bak. Kullanımdan kaldırılan half/int8 işaretlerinin yerini alır.
datastrNonequantize=8 ve 'w8a16' ile kalibrasyon için kullanılan veri kümesi YAML dosyası; sınıflandırmada bunun yerine bir veri kümesi dizini veya yerleşik veri kümesi adı verilir. split ayarlanmadıkça kalibrasyonda val bölümü kullanılır. Belirtilmezse Ultralytics, görev için coco8.yaml gibi küçük varsayılan veri kümesini kullanır.
fractionfloat, int veya list1.0Kalibrasyon alt kümesi: bir oran, bir görüntü sayısı (1 üzerindeki tam sayılar) veya bir [train, val, test] listesi; bu listeden kalibrasyon bölmesinin girdisi kullanılır.
nmsbool, isteğe bağlıNoneHam çıktıyı (None, varsayılan) veya NMS içermeyen başlığı (False, yalnızca FP32 ve 'w8a32' dışa aktarımları) seç. LiteRT için gömülü NMS (True) kullanılamaz. Çıktı biçimine bak.
batchint1Dışa aktarılan modelin giriş şeklinde sabitlenen yığın boyutu. Kalibrasyon için kullanılan yığın boyutu da budur.
devicestrNoneHangi değer verilirse verilsin dışa aktarma daima CPU'da çalışır.

Tüm biçimlerde ortak olan bağımsız değişkenler için Dışa aktarma modu belgelerine bak.

Resmî mobil ve web modellerinin görüntü boyutu

Resmî LiteRT, Core ML ve QNN mobil modelleri imgsz=640 boyutunda, sınıflandırma içinse imgsz=224 boyutunda dışa aktarılır. Cityscapes anlamsal segmentasyon, derinlik ve OBB kontrol noktaları varsayılan olarak daha büyük bir boyutta dışa aktarılır; bunlarla eşleşmesi için imgsz=640 değerini belirt.

Kuantizasyon#

quantize üç INT8 şemasından birini seçer. Hepsi ağırlıkları 8 bit tamsayı olarak saklar ve katmanlar arasında aktarılan değerler olan aktivasyonların saklanma biçimine göre farklılaşır:

quantizeAğırlıklarAktivasyonlarKalibrasyon verileriYOLO26n dosyasıBoyut
belirtilmemiş veya 32FP32FP32Hayıryolo26n.tflite10.0 MB
'w8a32'INT8FP32Hayıryolo26n_w8a32.tflite2.9 MB
8INT8INT8Evetyolo26n_int8.tflite3.1 MB
'w8a16'INT8INT16Evetyolo26n_w8a16.tflite3.0 MB
  • Girişler ve çıkışlar: Dört duyarlılık düzeyinin tümünde giriş ve çıkışlar float32 olarak kalır; bu nedenle FP32 modeli için yazılmış çıkarım kodu, aynı nms düzeniyle dışa aktarılan nicelemeli modelde değişiklik yapılmadan çalışır.
  • 'w8a32': dinamik aralık nicelemesi. Kalibrasyon verisi gerektirmez; nms=False ile NMS içermeyen başlığı destekler ve Ölçülen Performans bölümündeki CPU ve GPU sütunlarının arkasındaki resmî mobil modellerin duyarlılık düzeyidir.
  • 8 ve 'w8a16': statik niceleme. Dışa aktarma, data veri kümesinin val bölümündeki veya split ile belirttiğin bölümdeki her tam yığını kalibre eder ve 300 görüntünün altında uyarı verir. Görüntü sayısını sınırlamak için fraction kullan.
  • quantize=8 ile head çıktıları: tespit, segmentasyon, sınıflandırma, poz ve OBB modellerinde head'in çıktı katmanları ve bu çıktıları çözen işlemler kayan noktada kalır; çünkü INT8, sınıf puanlarını kırpar ve kutu koordinatlarının hassasiyetini düşürür. 'w8a16' bu katmanları da 16 bitlik aktivasyonlarla niceleyerek çalışır.
  • NMS içermeyen başlık: YOLO26 veya YOLOv10 modelinin quantize=8 ve 'w8a16' dışa aktarımları, bire-çok başlığını kullanır ve nms=False ile de NMS gerektiren ham tahminler döndürür.
  • FP16: FP16 dışa aktarımı yoktur. LiteRT GPU temsilcileri, FP32 modeli varsayılan olarak yarı duyarlıkta çalıştırır; bu nedenle quantize=16 gerekmez ve hata verir.
Örnek
from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# COCO doğrulama görüntülerinin %10'u (500 görüntü) üzerinde kalibrasyon yap; coco.yaml dosyasını kendi veri kümenle değiştir
model.export(format="litert", quantize=8, data="coco.yaml", fraction=0.1)  # 'yolo26n_int8.tflite' oluşturur

# Dışa aktarılan INT8 modelini yükle ve çıkarımı çalıştır
model = YOLO("yolo26n_int8.tflite")
results = model("https://ultralytics.com/images/bus.jpg")

Niceleme doğruluğu değiştirir ve etkisi modele, göreve ve kalibrasyon görüntülerine bağlıdır. Nicelemeli bir modeli dağıtmadan önce kendi verilerinle doğrula.

Çıktı Biçimi#

Dışa aktarma tek bir .tflite dosyası yazar. Model, (batch, 3, height, width) şeklinde tek bir girdi alır: RGB, kanallar başta (NCHW), float32, 0-1 aralığına ölçeklenmiş. Bu, kanalların sonda (NHWC) olduğu görüntüleri alan eski format="tflite" dışa aktarımının TFLite dosyalarından farklıdır. Çıktıları nms bağımsız değişkeni ve görev belirler. Aşağıdaki şekiller, anlamsal segmentasyon için yolo26n-sem.pt Cityscapes kontrol noktası da dâhil olmak üzere varsayılan dışa aktarma boyutlarındaki resmî YOLO26n kontrol noktalarına aittir:

GörevVarsayılan imgsznms=None ile çıktınms=False ile çıktı
Detect640(1, 84, 8400)(1, 300, 6)
Segment640(1, 116, 8400) ve (1, 32, 160, 160)(1, 300, 38) ve (1, 32, 160, 160)
Anlamsal1024(1, 19, 1024, 1024); her sınıf ve piksel için bir skornms=None ile aynı
Derinlik768(1, 1, 768, 768), derinlik haritasınms=None ile aynı
Sınıflandırma224(1, 1000), sınıf olasılıklarınms=None ile aynı
Poz640(1, 56, 8400)(1, 300, 57): 6 kutu değeri, ardından 17 anahtar nokta x 3
OBB1024(1, 20, 21504)(1, 300, 7): 4 kutu değeri, skor, sınıf, açı
  • Ham çıktı (nms=None): şekil (batch, values, anchors). Her bağlantı noktası için kutunun merkez x ve merkez y koordinatları, genişliği ve yüksekliği; ardından sınıf skorları ve görev değerleri (32 maske katsayısı, 17 x 3 anahtar nokta değeri veya radyan cinsinden OBB açısı) gelir. Kutu değerleriyle anahtar noktaların x ve y değerleri 0-1 aralığında normalleştirilmiştir; bu nedenle bunları giriş genişliği ve yüksekliğiyle çarp. NMS'yi kendin uygula.
  • NMS içermeyen çıktı (nms=False): giriş piksellerinde x1, y1, x2, y2, score, class değerinden oluşan max_det (varsayılan 300) satır; NMS adımı yoktur. OBB satırları, açının radyan cinsinden olduğu center x, center y, width, height, score, class, angle biçimindedir. Satırları skora göre filtrele. NMS içermeyen başlıklı modellerin FP32 ve 'w8a32' dışa aktarımlarında kullanılabilir.
  • Segmentasyon: 32 maske katsayısı, her bağlantı noktası veya satırın son 32 değeridir; ikinci çıktı maske prototiplerini içerir.
  • Anlamsal segmentasyon: Çıktı, ONNX dışa aktarımındaki sınıf haritasını değil, sınıf skorlarını içerir; bu nedenle kendi kodunda sınıf ekseni boyunca argmax değerini al.

YOLO("yolo26n.tflite"), dosya meta verilerinden düzeni okur ve koordinatları ölçeklendirir; bu nedenle modeli kendi kodunda çalıştırırken bu ayrıntılara ihtiyacın olur. Meta veriler, dışa aktarma işleminin dosyaya ZIP arşivi olarak eklediği ve her ZIP kitaplığıyla okunabilen bir metadata.json girdisidir. Anahtarları arasında names, task, imgsz, stride, batch, end2end, args ve poz modelleri için kpt_shape bulunur.

LiteRT Interpreter ile çalıştırma#

Modeli Ultralytics paketinin dışında çalıştırmak için ai-edge-litert paketinin yorumlayıcısıyla yükle. Tensör adlarına güvenmek yerine giriş ve çıkış şekillerini modelden oku. Segmentasyon modelinin iki çıkışı vardır: 3 boyutlu olan tespitleri, 4 boyutlu olan ise maske prototiplerini içerir.

# Önce dışa aktar: yolo export model=yolo26n.pt format=litert nms=False
import json
import zipfile

import numpy as np
from ai_edge_litert.interpreter import Interpreter

interpreter = Interpreter(model_path="yolo26n.tflite")
interpreter.allocate_tensors()

image = np.zeros((1, 3, 640, 640), dtype=np.float32)  # ön işlenmiş görüntün: RGB, NCHW, 0-1
interpreter.set_tensor(interpreter.get_input_details()[0]["index"], image)
interpreter.invoke()
detections = interpreter.get_tensor(interpreter.get_output_details()[0]["index"])[0]  # shape (300, 6)
assert detections.shape == (300, 6), "export the model with nms=False"
detections = detections[detections[:, 4] > 0.25]  # güven eşiğinin üzerindeki satırları tut

with zipfile.ZipFile("yolo26n.tflite") as z:
    names = json.loads(z.read("metadata.json"))["names"]  # {'0': 'person', '1': 'bicycle', ...}

Dağıt#

YOLO("yolo26n.tflite"), modeli CPU'da, en fazla 8 iş parçacığıyla ai-edge-litert yorumlayıcısını kullanarak çalıştırır. 0 veya mps gibi diğer device değerleri de CPU'da çalışır; xpu ve npu ise Intel donanımını seçer. Çıkarım cihazları tablosu, bu adları biçimler arasında karşılaştırır.

Model daima Ultralytics'in dosya meta verilerinden okuduğu dışa aktarma imgsz ve batch değerlerinde çalışır. predict veya val için verilen imgsz yok sayılır. Daha büyük yığınlar dışa aktarma yığın boyutunda parçalara bölünür, daha küçük olanlar ise doldurulur; böylece her sayıda görüntü çalışır.

Intel GPU ve NPU'da Çıkarım#

Dışa aktarılan .tflite modelleri, LiteRT Intel OpenVINO eklentisi aracılığıyla Intel donanımında çalışır. GPU için device=xpu, NPU için device=npu değerini ver; Ultralytics ilk kullanımda ai-edge-litert>=2.3.0 ve ai-edge-litert-sdk-intel paketlerini yükler. Eklenti kendi openvino sürümünü sabit kullandığından, farklı bir sürümle OpenVINO modelleri de çalıştırıyorsan eklentiyi ayrı bir ortamda tut. NPU için Intel NPU sürücüsü yüklü bir Intel Core Ultra işlemci gerekir; Core Ultra X7 358H üzerinde ölçülen gecikmeye bak. İstenen Intel cihazının bulunmadığı bir makinede OpenVINO eklentisi modeli derleyemez ve LiteRT modeli OpenVINO üzerinden değil, kendi CPU arka ucunda (XNNPACK) çalıştırır: AMD sunucu CPU'sunda YOLO26n, device=xpu ve device=npu ile görüntü başına 29-30 ms sürdü; device=cpu ile bu süre 18 ms oldu. Ultralytics bu durumda uyarı vermez; bu nedenle cihazın kullanıldığını doğrulamak için gecikmeyi device=cpu ile karşılaştır.

Tahmin
from ultralytics import YOLO

model = YOLO("yolo26n.tflite")
results = model("https://ultralytics.com/images/bus.jpg", device="npu")  # or "xpu"

Dağıtım Kılavuzları#

Sınırlamalar ve Sorun Giderme#

  • Dışa aktarma ana makinesi: Windows'ta ve Raspberry Pi gibi Linux ARM64 sistemlerinde dışa aktarma LiteRT export only supported on Linux x86 and macOS ile başarısız olur. Desteklenen bir ana makinede dışa aktar ve .tflite dosyasını cihaza kopyala.
  • Sade kurulumdan sonraki ilk dışa aktarma: İlk dışa aktarma, yüklü PyTorch sürümünü kabul etmeyen bir litert-torch yüklerse (0.10.0, 2.4.0 ile 2.15.0'dan düşük sürümleri kabul eder), pip PyTorch'un yerini alır, Ultralytics Restart runtime or rerun command for updates to take effect kaydını verir ve dışa aktarma, PyTorch 2.15.0'da RuntimeError: duplicate registrations for aten.miopen_batch_norm.default ile başarısız olabilir. Dışa aktarmayı yeniden çalıştır.
  • FP16: quantize=16, quantize=16 (FP16) is not supported; format='litert' supports quantize=8 (INT8), 'w8a16' (INT8 weights + INT16 activations), 'w8a32' (dynamic INT8), 32 or None (FP32). ile başarısız olur. FP32'yi dışa aktar ve GPU temsilcisinin modeli yarı duyarlıkta çalıştırmasını sağla.
  • quantize=8 ile eğitilmiş kontrol noktaları: niceleme farkındalıklı eğitim ile ince ayar yapılmış bir kontrol noktası, format='litert' cannot export a QAT model: its Q/DQ ranges are only read by the 'onnx' and 'engine' backends ile başarısız olur. Bunun yerine ince ayara başladığın kontrol noktasını quantize=8 ile dışa aktar veya ince ayarlı kontrol noktasını ONNX ya da TensorRT biçiminde dışa aktar.
  • quantize=8 veya 'w8a16' ile NMS içermeyen başlık: nms=False ile dışa aktarma LiteRT INT8 export does not support end2end models, disabling end2end branch. kaydını verir ve NMS gerektiren ham tahminler yazar. NMS içermeyen başlığı korumak için FP32 veya 'w8a32' kullan.
  • Gömülü NMS: nms=True, format=litert does not support embedded NMS; exporting native outputs for external NMS. günlüğünü yazar ve ham çıktıyı kaydeder.
  • Diğer modellerde NMS içermeyen başlık: nms=False, YOLO26 veya YOLOv10 gibi NMS içermeyen başlığa sahip bir model gerektirir. Örneğin YOLO11 gibi diğer modellerde dışa aktarma This model has no one-to-one head; using one-to-many outputs. uyarısı verir ve ham (1, 84, 8400) çıktısını yazar.
  • Sabit girdi şekli: dynamic=True, argument 'dynamic' is not supported for format='litert' hatası verir. Görüntü boyutunu veya toplu iş boyutunu değiştirmek için yeniden dışa aktar.
  • data olmadan kalibrasyon: quantize=8 veya 'w8a16' dışa aktarımı INT8 export requires a missing 'data' arg for calibration. Using default 'data=coco8.yaml'. kaydını verir ve görev için küçük varsayılan veri kümesini kullanarak kalibrasyon yapar. Dağıtım verilerini temsil eden görüntülerle birlikte data değerini belirt.
  • Kalibrasyon boyutu: Kalibrasyon bölmesinde 300'den az görüntü olduğunda dışa aktarma >300 images recommended for INT8 calibration, found 4 images. günlüğünü yazar. coco8.yaml yalnızca 4 doğrulama görüntüsü içerir; bu sayı dışa aktarmayı test etmek için yeterlidir, ancak bir modeli dağıtım için kalibre etmeye yetmez.
  • x86 CPU'larda 'w8a16': LiteRT CPU yorumlayıcısı, 8 iş parçacığıyla AMD EPYC 9655 sunucu CPU'sunda YOLO26n 'w8a16' modelini görüntü başına yaklaşık 1 saniyede çalıştırdı; FP32 modelinde bu süre yaklaşık 17 ms idi. Dağıtacağın cihaz ve temsilci üzerinde 'w8a16' değerini ölç.
  • Dosya adı: aynı kontrol noktasının aynı quantize değeriyle yapılan her dışa aktarımı aynı dosyayı yazar; örneğin FP32 için yolo26n.tflite. imgsz, batch veya nms değerleri ne olursa olsun sonraki dışa aktarma öncekinin yerini alır.

Diğer hatalar için Yaygın Sorunlar kılavuzuna bak.

Ölçülen Performans#

Aşağıdaki tablolar, her görevdeki YOLO26n modelinin dört Android telefonda ve bir Intel Core Ultra işlemcide tek görüntü için gecikmesini gösterir. Her hücre, milisaniye cinsinden toplam süreyi ve altında ön işleme / çıkarım / son işleme dağılımını gösterir; her model için en hızlı sütun kalın yazılmıştır. YOLO26 model sayfasında PyTorch kontrol noktalarının doğruluğu listelenir.

Xiaomi 17#

Donanım: 12 GB LPDDR5X belleğe ve Android 17 / API 37'ye sahip Xiaomi 17. 3 nm Snapdragon 8 Elite Gen 5 (SM8850), 8 çekirdekli Qualcomm Oryon CPU'ya (2 adede kadar 4.6 GHz hızında çalışan Prime çekirdek ve 3.62 GHz'e kadar çalışan 6 Performance çekirdeği), Adreno GPU'ya ve Hexagon NPU'ya sahiptir.

ModelGörevboyut
(piksel)
CPU
w8a32 LiteRT
(ms)
GPU
w8a32 LiteRT
(ms)
NPU
LiteRT FP32
(ms)
YOLO26nDetect64036.9
1.9 / 32.6 / 2.3
10.6
1.8 / 6.2 / 2.6
10.1
3.5 / 4.0 / 2.5
YOLO26n-segSegment64050.5
1.9 / 42.9 / 5.8
18.0
1.9 / 9.5 / 6.6
19.2
3.6 / 5.9 / 9.7
YOLO26n-semAnlamsal64045.7
1.9 / 35.7 / 8.2
30.6
1.9 / 20.5 / 8.3
25.8
3.6 / 11.0 / 11.3
YOLO26n-depthDerinlik64066.8
2.2 / 55.0 / 9.7
21.9
2.1 / 10.1 / 9.8
24.8
4.3 / 6.0 / 14.5
YOLO26n-clsSınıflandırma2243.6
0.3 / 3.3 / 0.0
2.0
0.4 / 1.4 / 0.2
1.5
0.6 / 0.7 / 0.3
YOLO26n-posePoz64039.9
2.0 / 36.5 / 1.4
10.0
1.8 / 6.7 / 1.4
11.5
3.5 / 4.2 / 3.8
YOLO26n-obbOBB64036.3
2.0 / 33.2 / 1.2
10.1
2.6 / 5.9 / 1.6
8.2
3.5 / 3.7 / 0.9
  • Hız değerleri, bus.jpg üzerinde 3 ısınma çalıştırmasının ardından yapılan 15 çalıştırmanın ortalaması olan tek görüntülük seri çıkarım gecikmeleridir. Ölçümler, Ultralytics Flutter eklentisi 0.7.1 ve resmi v0.7.0 varlıklarıyla (Ultralytics 8.4.188 dışa aktarımları) yapıldı. CPU/GPU sırası, tek bir sıralı taramada görevler arasında değiştirildi. Yerel günlükler, tüm CPU satırlarının LiteRT CPU/XNNPACK kullandığını ve tüm GPU satırlarının grafiğin tamamını LiteRT OpenCL'e (LITERT_CL) devrettiğini doğruladı.
  • LiteRT dışa aktarımı, PyTorch modelini doğrudan izleyerek kayan noktalı girişli NCHW .tflite üretir; GPU temsilcisi tüm grafiği derler (burada yedi görevin tamamı Adreno GPU'da çalışır) ve w8a32 için kalibrasyon verisi gerekmez. Kullanıcılar, eski onnx2tf NHWC düzenini veya Identity çıktı adlarını varsaymak yerine tensör şekillerini ve imza adlarını okumalı; RGB verilerini doğrudan düzlemsel CHW biçiminde paketlemeli veya çıkarım öncesinde transpoze etmelidir. Anlamsal dışa aktarımlar NCHW logitleri döndürür ve ana makine tarafında sınıf argmax'ı gerektirir. Resmî Android varlıkları yolo-flutter-app v0.7.0 sürümünde barındırılır; ayrıntılı kıyaslama kaydı Flutter performans belgesinde yer alır.
  • NPU sütunu LiteRT'nin kendi NPU yolunu gösterir: FP32 dışa aktarımı (yolo export format=litert, quantize olmadan), litert-npu-runtime-qualcomm ve -mediatek 2.3.0 çalışma zamanları tarafından aygıtta derlendi ve Flutter eklentisinin prototip NPU derlemesiyle ölçüldü (henüz yayımlanmadı). İlk yükleme bu derlemeyi içerir (n için yaklaşık 0.3 s, x için 6 s'ye kadar). w8a32 varlıkları bu NPU'larda tam olarak derlenmiyor. LiteRT, grafiği sessizce GPU'da çalıştırsa bile NPU derlemesi olduğunu bildirir; bu nedenle her NPU satırı GPU süresiyle karşılaştırılarak kontrol edildi; geri dönüş yapan satırlar — olarak gösterildi.
  • Resmi QNN varlıkları için eşleşen Snapdragon Hexagon NPU değerleri Qualcomm QNN entegrasyonu sayfasında yer alıyor.
  • Apple CPU/hızlandırıcı sonuçlarını CoreML entegrasyonu sayfasında karşılaştır.

Aşağıdaki aygıt taramalarında aynı resmi v0.7.0 varlıkları kullanılıyor.

Google Pixel 10#

Donanım: 12 GB belleğe ve Android 17 / API 37'ye sahip Google Pixel 10. 3 nm Google Tensor G5, 8 çekirdekli bir CPU'ya (3.78 GHz'e kadar çalışan 1 Prime çekirdek, 3.05 GHz'e kadar çalışan 5 Performance çekirdeği ve 2.25 GHz'e kadar çalışan 2 Efficiency çekirdeği), PowerVR D-Series GPU'ya ve Google TPU'ya sahiptir. Google bunları bağlantılı teknik özelliklerde yayımlamadığı için çekirdek saat hızları ve GPU sürücüsünün adı kıyaslama aygıtından okundu.

ModelGörevboyut
(piksel)
CPU
w8a32 LiteRT
(ms)
GPU
w8a32 LiteRT
(ms)
YOLO26nDetect64036.6
1.5 / 33.5 / 1.6
36.5
3.5 / 28.4 / 4.6
YOLO26n-segSegment64053.1
1.5 / 45.8 / 5.7
51.5
1.6 / 40.1 / 9.9
YOLO26n-semAnlamsal64057.2
1.5 / 47.7 / 8.0
75.9
1.8 / 63.4 / 10.8
YOLO26n-depthDerinlik64075.0
1.6 / 65.1 / 8.3
50.1
1.7 / 33.5 / 14.9
YOLO26n-clsSınıflandırma2246.1
0.3 / 5.5 / 0.3
12.1
0.9 / 11.0 / 0.1
YOLO26n-posePoz64035.2
1.5 / 31.9 / 1.8
38.2
3.5 / 29.3 / 5.4
YOLO26n-obbOBB64032.7
1.5 / 29.3 / 1.9
38.8
3.8 / 29.6 / 5.4

Kıyaslama: bus.jpg üzerinde, ultralytics_yolo 0.7.1 ve resmi v0.7.0 varlıkları kullanılarak 3 ısınma çalıştırmasının ardından yapılan 15 predict() çağrısının ortalaması. CPU/GPU sırası, tek bir sıralı taramada görevler arasında değişir. Yerel günlükler, tüm CPU satırlarının LiteRT CPU/XNNPACK kullandığını ve tüm GPU satırlarının grafiğin tamamını LiteRT OpenCL'e (LITERT_CL) devrettiğini doğruladı. Tensor NPU için LiteRT satırı yok: Google'ın EdgeTPU hizmeti, izin listesinde olmayan uygulamaları reddediyor ve LiteRT modeli GPU'da çalıştırıyor.

Samsung Galaxy S26#

Donanım: 12 GB belleğe ve Android 17 / API 37'ye sahip Samsung Galaxy S26 (SM-S942B). 2 nm Exynos 2600, 10 çekirdekli Armv9.3 CPU'ya (3.8 GHz'e kadar çalışan 1 C1-Ultra çekirdek, 3.26 GHz'e kadar çalışan 3 C1-Pro performans çekirdeği ve 2.76 GHz'e kadar çalışan 6 C1-Pro verimlilik çekirdeği), Xclipse 960 GPU'ya ve Samsung NPU'ya sahiptir.

ModelGörevboyut
(piksel)
CPU
w8a32 LiteRT
(ms)
GPU
w8a32 LiteRT
(ms)
NPU
LiteRT w8a32 AOT
(ms)
YOLO26nDetect64030.2
1.3 / 27.3 / 1.6
15.9
1.4 / 11.5 / 2.9
12.2
1.3 / 8.6 / 2.2
YOLO26n-segSegment64045.6
1.3 / 39.1 / 5.2
30.5
1.3 / 23.6 / 5.6
17.0
1.4 / 9.7 / 5.8
YOLO26n-semAnlamsal64038.1
1.3 / 28.6 / 8.2
26.1
1.3 / 16.8 / 7.9
28.3
1.7 / 15.1 / 11.5
YOLO26n-depthDerinlik64063.5
1.4 / 53.6 / 8.4
37.3
1.4 / 24.6 / 11.3
28.4
2.1 / 12.9 / 13.4
YOLO26n-clsSınıflandırma2243.8
0.2 / 3.4 / 0.2
2.8
0.2 / 2.6 / 0.0
6.1
0.5 / 5.2 / 0.4
YOLO26n-posePoz64031.1
1.3 / 28.4 / 1.4
18.4
1.6 / 13.0 / 3.8
13.5
1.8 / 9.5 / 2.2
YOLO26n-obbOBB64027.9
1.3 / 25.7 / 0.9
15.3
1.9 / 11.4 / 2.1
11.4
1.7 / 8.3 / 1.4

Kıyaslama: bus.jpg üzerinde, ultralytics_yolo 0.7.1 ve resmi v0.7.0 varlıkları kullanılarak 3 ısınma çalıştırmasının ardından yapılan 15 predict() çağrısının ortalaması. CPU/GPU sırası, tek bir sıralı taramada görevler arasında değişir. Yerel günlükler, tüm CPU satırlarının LiteRT CPU/XNNPACK kullandığını ve tüm GPU satırlarının grafiğin tamamını LiteRT OpenCL'e (LITERT_CL) devrettiğini doğruladı. NPU sütununda Exynos 2600 (E9965) için önceden derlenmiş w8a32 varlıkları LiteRT'nin Samsung derleyici eklentisiyle kullanılıyor. Samsung'un LiteRT 2.3'te aygıtta çalışan bir derleyicisi yok ve Google henüz Samsung NPU çalışma zamanı yayımlamadı; bu nedenle bu satırlarda LiteRT 2.3 kaynaklarından oluşturulmuş bir dağıtım kitaplığı kullanıldı.

Xiaomi 17T Pro#

Donanım: 12 GB LPDDR5X belleğe ve Android 16 / API 36'ya sahip Xiaomi 17T Pro (2602EPTC0G). 3 nm'lik MediaTek Dimensity 9500 (MT6993), 8 çekirdekli Armv9.3 CPU'ya (1 adede kadar 4.21 GHz hızında çalışan C1-Ultra çekirdek, 3 adede kadar 3.5 GHz hızında çalışan C1-Premium çekirdeği ve 4 adede kadar 2.7 GHz hızında çalışan C1-Pro çekirdeği), Mali-G1 Ultra MC12 GPU'ya ve MediaTek NPU 990'a sahiptir.

ModelGörevboyut
(piksel)
CPU
w8a32 LiteRT
(ms)
GPU
w8a32 LiteRT
(ms)
NPU
LiteRT FP32
(ms)
YOLO26nDetect64031.4
1.5 / 28.0 / 1.9
25.6
1.4 / 22.2 / 2.0
11.0
1.3 / 7.8 / 1.8
YOLO26n-segSegment64077.8
2.6 / 65.3 / 9.9
47.4
2.6 / 33.6 / 11.3
36.5
2.6 / 23.4 / 10.4
YOLO26n-semAnlamsal64081.3
2.6 / 62.2 / 16.5
79.3
2.6 / 59.5 / 17.1
87.6
2.6 / 68.3 / 16.7
YOLO26n-depthDerinlik640111.3
3.4 / 91.1 / 16.8
55.3
2.8 / 36.3 / 16.1
—
YOLO26n-clsSınıflandırma2246.3
0.5 / 5.4 / 0.4
8.1
0.5 / 7.5 / 0.1
3.2
0.5 / 2.2 / 0.5
YOLO26n-posePoz64053.9
2.6 / 49.5 / 1.8
32.8
2.7 / 26.7 / 3.4
16.2
2.9 / 11.1 / 2.3
YOLO26n-obbOBB64049.5
2.7 / 44.4 / 2.4
29.4
2.8 / 22.7 / 3.9
—

Kıyaslama: 3 ısınma çalışmasının ardından bus.jpg üzerinde yapılan 15 predict() çağrısının ortalaması; ultralytics_yolo 0.7.1 ve resmi v0.7.0 varlıkları kullanılmıştır. CPU/GPU sırası, tek bir sıralı taramadaki görevler arasında dönüşümlüdür. Yerel günlükler, her CPU satırının LiteRT CPU/XNNPACK kullandığını ve her GPU satırının grafiğin tamamını LiteRT OpenCL'e (LITERT_CL) devrettiğini doğruladı. Derinlik ve OBB için NPU sonucu yoktur: MediaTek NPU derleyicisi üstel ve trigonometrik işlemleri desteklemez ve LiteRT bu grafikleri GPU'da çalıştırır.

Android dağıtım iş akışı ve NPU sınırlamaları için MediaTek Dimensity kılavuzuna göz at.

Intel Core Ultra X7 358H#

Donanım: Intel Core Ultra X7 358H (Panther Lake) ve Intel AI Boost NPU 5010, Fedora Linux, NPU sürücüsü 1.38.0, ai-edge-litert 2.3.0.

ModelGörevboyut
(piksel)
CPU
w8a32 LiteRT
(ms)
CPU
w8a32 Intel
(ms)
NPU
w8a32 Intel
(ms)
YOLO26nDetect64017.5
0.8 / 16.1 / 0.6
22.6
1.2 / 20.6 / 0.8
4.8
1.0 / 3.3 / 0.4
YOLO26n-segSegment64024.2
0.9 / 22.1 / 1.3
32.6
1.0 / 30.1 / 1.5
6.2
0.8 / 4.2 / 1.2
YOLO26n-semAnlamsal64025.2
1.0 / 14.2 / 10.0
33.1
1.1 / 21.9 / 10.2
16.5
1.0 / 5.5 / 10.0
YOLO26n-depthDerinlik64031.7
0.9 / 30.2 / 0.5
76.6
0.9 / 75.2 / 0.5
9.1
1.0 / 7.5 / 0.5
YOLO26n-clsSınıflandırma2244.6
2.8 / 1.7 / 0.0
7.3
3.3 / 3.9 / 0.0
4.1
3.2 / 0.9 / 0.0
YOLO26n-posePoz64020.3
0.8 / 19.0 / 0.5
28.6
1.1 / 26.8 / 0.8
6.3
0.8 / 4.9 / 0.5
YOLO26n-obbOBB64017.2
0.8 / 16.1 / 0.3
22.1
1.2 / 20.5 / 0.4
4.6
0.9 / 3.4 / 0.3

Karşılaştırma: bus.jpg üzerinde 3 ısınma çalıştırmasının ardından yapılan 15 predict() çağrısının ortalaması; w8a32 dışa aktarımlarıyla ultralytics 8.4.174 ve ai-edge-litert 2.3.0 kullanılmıştır. Her hücre toplam süreyi, altında ise ön işleme / çıkarım / son işleme sürelerinin dağılımını gösterir.

LiteRT hakkında#

LiteRT, Lite Runtime'ın kısaltmasıdır; TensorFlow Lite'ın yeni adla devamı niteliğindedir ve aynı .tflite model biçimini çalıştırır. Modelleri CPU'da XNNPACK ile, GPU ve NPU'larda ise donanım temsilcileri aracılığıyla çalıştırır; LiteRT.js aynı dosyayı tarayıcılara ve Node.js'e taşır. Tam başvuru için LiteRT belgelerine bak.

LiteRT edge deployment framework



İzle: Ultralytics YOLO26'yı Google LiteRT'ye aktarma | Görüntü yapay zekâsını Android ve iOS'te dağıt | Mobil yapay zekâ 📱🚀

Sık Sorulan Sorular#

  • LiteRT, TensorFlow Lite'ın yeni adıdır ve aynı .tflite model biçimini kullanır. Ultralytics'te format="litert", önceki iki dışa aktarma biçiminin yerini alır: mobil, gömülü ve uç cihazlar için tflite; tarayıcılar ve Node.js için tfjs. Bu ortamlarda LiteRT.js artık aynı .tflite dosyasını çalıştırır. Her iki eski değer de kullanımdan kaldırılma uyarısıyla LiteRT dosyası dışa aktarmaya devam eder. TFLite ve TF.js sayfalarında eski biçimler açıklanır.

  • quantize="w8a32" ile başla. Kalibrasyon verisi gerektirmez, dosyayı FP32 boyutunun üçte birinden küçüğüne indirir, YOLO26'nın NMS içermeyen başlığını nms=False ile destekler ve CPU ile GPU için resmî Ultralytics mobil modellerinin duyarlılık düzeyidir. Hedef cihaz tamsayı aktivasyonlar gerektirdiğinde quantize=8 kullan: örneğin NXP i.MX95 dışa aktarımı, kalibre edilmiş bir INT8 LiteRT modelini derler. 'w8a16', 8 değerine kıyasla aktivasyon duyarlılığını daha iyi korur. Her ikisi de temsilî kalibrasyon verileri gerektirir ve NMS gerektiren ham tahminler döndürür. Her şemanın CPU, GPU ve NPU temsilcilerindeki desteği farklı olduğundan, seçimini yapmadan önce hedef cihazda gecikmeyi ve doğruluğu ölç.

  • Hayır. Dışa aktarma yalnızca Linux x86-64'te ve Apple silicon kullanan macOS'te çalışır. Modeli bu ana makinelerden birinde veya Ultralytics Platform ile dışa aktar ve .tflite dosyasını cihaza kopyala. Kartta model çalıştırmak için Raspberry Pi kılavuzuna bak; Coral Edge TPU çıkarımı hızlandırabilir.

  • Evet. LiteRT.js, dışa aktarılan .tflite dosyasını WebGPU veya WASM kullanarak tarayıcıda ya da Node.js'te çalıştırır; bu nedenle ayrı bir tarayıcı dışa aktarımına gerek yoktur. @ultralytics/yolo npm paketi, detect, segment, semantic, classify, pose ve OBB görevleri için web kamerası ve tek görüntü çıkarımını destekler.

  • Android'de LiteRT .tflite dışa aktarımlarını yükleyen ve yedi YOLO26 görevinin tümünü destekleyen Ultralytics YOLO Flutter eklentisini kullan. Resmî modellerle eşleşmesi için imgsz=640 boyutunda; sınıflandırma içinse imgsz=224 boyutunda dışa aktar. Yerel bir uygulama için LiteRT Android kılavuzunu izle ve modeli Çıktı Biçimi bölümünde açıklandığı şekilde kullan. iPhone'da yerel biçim Core ML biçimidir.

Yorumlar

Bir soru sor, sonuçlarını paylaş veya başka birine yardım et.