Google LiteRT Dışa Aktarma
LiteRT, Google'ın cihaz üzerinde yapay zekâ için sunduğu çalışma zamanıdır ve TensorFlow Lite'ın (TFLite) yeni adıdır. Bir Ultralytics YOLO26 modelini format="litert" ile dışa aktarmak, Android ve iOS telefonlar, gömülü Linux kartları ve web tarayıcıları için FP32 veya üç INT8 niceleme şemasından biriyle tek bir .tflite dosyası oluşturur.
Genel Bakış#
| Özellik | Ayrıntılar |
|---|---|
format bağımsız değişkeni | litert. Eski tflite ve tfjs değerleri çalışmaya devam eder: kullanımdan kaldırılma uyarısı verir ve aynı LiteRT dosyasını dışa aktarırlar. |
| Çıktı | yolo26n.tflite; sınıf adları, görev ve görüntü boyutu meta veri olarak dosyanın içine kaydedilmiş tek bir dosya; nicelemeli dışa aktarımların adları yolo26n_w8a32.tflite, yolo26n_int8.tflite ve yolo26n_w8a16.tflite olur. |
| Çalıştığı ortamlar | Android ve iOS cihazları, gömülü Linux kartları, masaüstü CPU'ları, LiteRT.js aracılığıyla web tarayıcıları ve Intel GPU'ları ile NPU'ları. |
| Çalışma zamanı | LiteRT: ai-edge-litert Python paketi (2.1.4 veya üzeri), Android ve iOS için LiteRT kitaplıkları ya da LiteRT.js. |
| Kesinlik | FP32, w8a32, INT8, w8a16. YOLO26n, FP32'de 10.0 MB, w8a32 ile 2.9 MB, INT8'de 3.1 MB ve w8a16 ile 3.0 MB boyutundadır. |
| Dışa aktarma ana makinesi | Python 3.10 veya üzeriyle Linux x86-64 ya da Apple silicon kullanan macOS. Dışa aktarma CPU'da çalışır ve GPU gerektirmez. |
Ultralytics Platform, eğitilmiş bir modeli senin için LiteRT'ye aktarabilir; böylece yerel bir dışa aktarma ortamına ihtiyacın olmaz.
Hızlı Başlangıç#
LiteRT dışa aktarma bağımlılıklarıyla Ultralytics paketini yükle:
pip install "ultralytics[export-litert]"Bu işlem litert-torch, ai-edge-litert ve ai-edge-quantizer paketlerini yükler. Sade bir pip install ultralytics kurulumunda ilk dışa aktarma eksik paketleri yükler ve bu PyTorch'un yerini alırsa hata vererek durabilir. Dışa aktarma için gereken sürümler:
| Paket | Gerekli sürüm |
|---|---|
| Python | 3.10 veya üzeri |
litert-torch | 0.10.0 veya üzeri |
torch | Yüklü litert-torch paketinin kabul ettiği aralık: 0.10.0 için 2.4.0 veya üzeri ve 2.15.0'dan düşük. |
ai-edge-litert | Dışa aktarmak için 2.3.0 veya üzeri; dışa aktarılan modeli çalıştırmak için Python 3.10 veya üzeriyle 2.1.4 veya üzeri. |
ai-edge-quantizer | quantize="w8a32", quantize=8 ve "w8a16" için 0.10.0 veya üzeri. |
Diğer yükleme yöntemleri için yükleme kılavuzuna bak. Ardından modelini dışa aktar ve çıkarım yapmak ya da doğruluğunu değerlendirmek için dışa aktarılan dosyayı yükle.
from ultralytics import YOLO
# YOLO26 modelini yükle
model = YOLO("yolo26n.pt")
# Modeli LiteRT biçimine aktar
model.export(format="litert") # 'yolo26n.tflite' dosyasını oluşturur
# Kalibrasyon verisi gerektirmeyen INT8 ağırlıklar ve FP32 aktivasyonlarla dışa aktar
model.export(format="litert", quantize="w8a32") # 'yolo26n_w8a32.tflite' oluştururfrom ultralytics import YOLO
# Dışa aktarılan LiteRT modelini yükle
model = YOLO("yolo26n.tflite")
# Çıkarımı çalıştır
results = model("https://ultralytics.com/images/bus.jpg")from ultralytics import YOLO
# Dışa aktarılan LiteRT modelini yükle
model = YOLO("yolo26n.tflite")
# COCO8 veri kümesinde doğruluğu doğrula
metrics = model.val(data="coco8.yaml")Desteklenen Görevler#
LiteRT dışa aktarma, YOLOv8, YOLO11 ve YOLO26 modelleriyle yedi Ultralytics görevinin tümünü destekler: nesne tespiti, segmentasyon, anlamsal segmentasyon, derinlik tahmini, sınıflandırma, poz tahmini ve OBB. Anlamsal segmentasyon ve derinlik tahmini yalnızca bu başlıkları içeren tek aile olan YOLO26 ile kullanılabilir.
Dışa Aktarma Bağımsız Değişkenleri#
| Bağımsız değişken | Tür | Varsayılan | Açıklama |
|---|---|---|---|
format | str | 'litert' | Dışa aktarılan modelin hedef biçimi; çeşitli dağıtım ortamlarıyla uyumluluğu tanımlar. |
imgsz | int veya tuple | 640 | Model girişinin görüntü boyutu: kare görüntüler için bir tam sayı veya (height, width) biçiminde bir demet. Belirtilmediğinde dışa aktarma, kontrol noktasının eğitildiği boyutu kullanır. Resmî YOLO26 kontrol noktaları detect, segment ve pose modelleri ile ADE20K üzerinde önceden eğitilmiş anlamsal modeller için 640; OBB modelleri ve Cityscapes üzerinde önceden eğitilmiş anlamsal modeller için 1024; depth için 768 ve classify için 224 kullanır. |
quantize | int veya str | None | Niceleme şeması: 'w8a32' (INT8 ağırlıklar, FP32 aktivasyonlar, kalibrasyon yok), 8 (INT8 ağırlıklar ve aktivasyonlar, data üzerinde kalibre edilir) veya 'w8a16' (INT8 ağırlıklar, INT16 aktivasyonlar, data üzerinde kalibre edilir); 32/ayarlanmamış değer FP32'dir. 16 hata verir ve quantize=8 ile eğitilmiş bir kontrol noktası LiteRT'ye aktarılamaz; Sınırlamalar ve Sorun Giderme bölümüne bak. Kullanımdan kaldırılan half/int8 işaretlerinin yerini alır. |
data | str | None | quantize=8 ve 'w8a16' ile kalibrasyon için kullanılan veri kümesi YAML dosyası; sınıflandırmada bunun yerine bir veri kümesi dizini veya yerleşik veri kümesi adı verilir. split ayarlanmadıkça kalibrasyonda val bölümü kullanılır. Belirtilmezse Ultralytics, görev için coco8.yaml gibi küçük varsayılan veri kümesini kullanır. |
fraction | float, int veya list | 1.0 | Kalibrasyon alt kümesi: bir oran, bir görüntü sayısı (1 üzerindeki tam sayılar) veya bir [train, val, test] listesi; bu listeden kalibrasyon bölmesinin girdisi kullanılır. |
nms | bool, isteğe bağlı | None | Ham çıktıyı (None, varsayılan) veya NMS içermeyen başlığı (False, yalnızca FP32 ve 'w8a32' dışa aktarımları) seç. LiteRT için gömülü NMS (True) kullanılamaz. Çıktı biçimine bak. |
batch | int | 1 | Dışa aktarılan modelin giriş şeklinde sabitlenen yığın boyutu. Kalibrasyon için kullanılan yığın boyutu da budur. |
device | str | None | Hangi değer verilirse verilsin dışa aktarma daima CPU'da çalışır. |
Tüm biçimlerde ortak olan bağımsız değişkenler için Dışa aktarma modu belgelerine bak.
Kuantizasyon#
quantize üç INT8 şemasından birini seçer. Hepsi ağırlıkları 8 bit tamsayı olarak saklar ve katmanlar arasında aktarılan değerler olan aktivasyonların saklanma biçimine göre farklılaşır:
quantize | Ağırlıklar | Aktivasyonlar | Kalibrasyon verileri | YOLO26n dosyası | Boyut |
|---|---|---|---|---|---|
belirtilmemiş veya 32 | FP32 | FP32 | Hayır | yolo26n.tflite | 10.0 MB |
'w8a32' | INT8 | FP32 | Hayır | yolo26n_w8a32.tflite | 2.9 MB |
8 | INT8 | INT8 | Evet | yolo26n_int8.tflite | 3.1 MB |
'w8a16' | INT8 | INT16 | Evet | yolo26n_w8a16.tflite | 3.0 MB |
- Girişler ve çıkışlar: Dört duyarlılık düzeyinin tümünde giriş ve çıkışlar
float32olarak kalır; bu nedenle FP32 modeli için yazılmış çıkarım kodu, aynınmsdüzeniyle dışa aktarılan nicelemeli modelde değişiklik yapılmadan çalışır. 'w8a32': dinamik aralık nicelemesi. Kalibrasyon verisi gerektirmez;nms=Falseile NMS içermeyen başlığı destekler ve Ölçülen Performans bölümündeki CPU ve GPU sütunlarının arkasındaki resmî mobil modellerin duyarlılık düzeyidir.8ve'w8a16': statik niceleme. Dışa aktarma,dataveri kümesininvalbölümündeki veyasplitile belirttiğin bölümdeki her tam yığını kalibre eder ve 300 görüntünün altında uyarı verir. Görüntü sayısını sınırlamak içinfractionkullan.quantize=8ile head çıktıları: tespit, segmentasyon, sınıflandırma, poz ve OBB modellerinde head'in çıktı katmanları ve bu çıktıları çözen işlemler kayan noktada kalır; çünkü INT8, sınıf puanlarını kırpar ve kutu koordinatlarının hassasiyetini düşürür.'w8a16'bu katmanları da 16 bitlik aktivasyonlarla niceleyerek çalışır.- NMS içermeyen başlık: YOLO26 veya YOLOv10 modelinin
quantize=8ve'w8a16'dışa aktarımları, bire-çok başlığını kullanır venms=Falseile de NMS gerektiren ham tahminler döndürür. - FP16: FP16 dışa aktarımı yoktur. LiteRT GPU temsilcileri, FP32 modeli varsayılan olarak yarı duyarlıkta çalıştırır; bu nedenle
quantize=16gerekmez ve hata verir.
from ultralytics import YOLO
model = YOLO("yolo26n.pt")
# COCO doğrulama görüntülerinin %10'u (500 görüntü) üzerinde kalibrasyon yap; coco.yaml dosyasını kendi veri kümenle değiştir
model.export(format="litert", quantize=8, data="coco.yaml", fraction=0.1) # 'yolo26n_int8.tflite' oluşturur
# Dışa aktarılan INT8 modelini yükle ve çıkarımı çalıştır
model = YOLO("yolo26n_int8.tflite")
results = model("https://ultralytics.com/images/bus.jpg")Niceleme doğruluğu değiştirir ve etkisi modele, göreve ve kalibrasyon görüntülerine bağlıdır. Nicelemeli bir modeli dağıtmadan önce kendi verilerinle doğrula.
Çıktı Biçimi#
Dışa aktarma tek bir .tflite dosyası yazar. Model, (batch, 3, height, width) şeklinde tek bir girdi alır: RGB, kanallar başta (NCHW), float32, 0-1 aralığına ölçeklenmiş. Bu, kanalların sonda (NHWC) olduğu görüntüleri alan eski format="tflite" dışa aktarımının TFLite dosyalarından farklıdır. Çıktıları nms bağımsız değişkeni ve görev belirler. Aşağıdaki şekiller, anlamsal segmentasyon için yolo26n-sem.pt Cityscapes kontrol noktası da dâhil olmak üzere varsayılan dışa aktarma boyutlarındaki resmî YOLO26n kontrol noktalarına aittir:
| Görev | Varsayılan imgsz | nms=None ile çıktı | nms=False ile çıktı |
|---|---|---|---|
| Detect | 640 | (1, 84, 8400) | (1, 300, 6) |
| Segment | 640 | (1, 116, 8400) ve (1, 32, 160, 160) | (1, 300, 38) ve (1, 32, 160, 160) |
| Anlamsal | 1024 | (1, 19, 1024, 1024); her sınıf ve piksel için bir skor | nms=None ile aynı |
| Derinlik | 768 | (1, 1, 768, 768), derinlik haritası | nms=None ile aynı |
| Sınıflandırma | 224 | (1, 1000), sınıf olasılıkları | nms=None ile aynı |
| Poz | 640 | (1, 56, 8400) | (1, 300, 57): 6 kutu değeri, ardından 17 anahtar nokta x 3 |
| OBB | 1024 | (1, 20, 21504) | (1, 300, 7): 4 kutu değeri, skor, sınıf, açı |
- Ham çıktı (
nms=None): şekil(batch, values, anchors). Her bağlantı noktası için kutunun merkez x ve merkez y koordinatları, genişliği ve yüksekliği; ardından sınıf skorları ve görev değerleri (32 maske katsayısı, 17 x 3 anahtar nokta değeri veya radyan cinsinden OBB açısı) gelir. Kutu değerleriyle anahtar noktaların x ve y değerleri 0-1 aralığında normalleştirilmiştir; bu nedenle bunları giriş genişliği ve yüksekliğiyle çarp. NMS'yi kendin uygula. - NMS içermeyen çıktı (
nms=False): giriş piksellerindex1, y1, x2, y2, score, classdeğerinden oluşanmax_det(varsayılan 300) satır; NMS adımı yoktur. OBB satırları, açının radyan cinsinden olduğucenter x, center y, width, height, score, class, anglebiçimindedir. Satırları skora göre filtrele. NMS içermeyen başlıklı modellerin FP32 ve'w8a32'dışa aktarımlarında kullanılabilir. - Segmentasyon: 32 maske katsayısı, her bağlantı noktası veya satırın son 32 değeridir; ikinci çıktı maske prototiplerini içerir.
- Anlamsal segmentasyon: Çıktı, ONNX dışa aktarımındaki sınıf haritasını değil, sınıf skorlarını içerir; bu nedenle kendi kodunda sınıf ekseni boyunca argmax değerini al.
YOLO("yolo26n.tflite"), dosya meta verilerinden düzeni okur ve koordinatları ölçeklendirir; bu nedenle modeli kendi kodunda çalıştırırken bu ayrıntılara ihtiyacın olur. Meta veriler, dışa aktarma işleminin dosyaya ZIP arşivi olarak eklediği ve her ZIP kitaplığıyla okunabilen bir metadata.json girdisidir. Anahtarları arasında names, task, imgsz, stride, batch, end2end, args ve poz modelleri için kpt_shape bulunur.
LiteRT Interpreter ile çalıştırma#
Modeli Ultralytics paketinin dışında çalıştırmak için ai-edge-litert paketinin yorumlayıcısıyla yükle. Tensör adlarına güvenmek yerine giriş ve çıkış şekillerini modelden oku. Segmentasyon modelinin iki çıkışı vardır: 3 boyutlu olan tespitleri, 4 boyutlu olan ise maske prototiplerini içerir.
# Önce dışa aktar: yolo export model=yolo26n.pt format=litert nms=False
import json
import zipfile
import numpy as np
from ai_edge_litert.interpreter import Interpreter
interpreter = Interpreter(model_path="yolo26n.tflite")
interpreter.allocate_tensors()
image = np.zeros((1, 3, 640, 640), dtype=np.float32) # ön işlenmiş görüntün: RGB, NCHW, 0-1
interpreter.set_tensor(interpreter.get_input_details()[0]["index"], image)
interpreter.invoke()
detections = interpreter.get_tensor(interpreter.get_output_details()[0]["index"])[0] # shape (300, 6)
assert detections.shape == (300, 6), "export the model with nms=False"
detections = detections[detections[:, 4] > 0.25] # güven eşiğinin üzerindeki satırları tut
with zipfile.ZipFile("yolo26n.tflite") as z:
names = json.loads(z.read("metadata.json"))["names"] # {'0': 'person', '1': 'bicycle', ...}Dağıt#
YOLO("yolo26n.tflite"), modeli CPU'da, en fazla 8 iş parçacığıyla ai-edge-litert yorumlayıcısını kullanarak çalıştırır. 0 veya mps gibi diğer device değerleri de CPU'da çalışır; xpu ve npu ise Intel donanımını seçer. Çıkarım cihazları tablosu, bu adları biçimler arasında karşılaştırır.
Model daima Ultralytics'in dosya meta verilerinden okuduğu dışa aktarma imgsz ve batch değerlerinde çalışır. predict veya val için verilen imgsz yok sayılır. Daha büyük yığınlar dışa aktarma yığın boyutunda parçalara bölünür, daha küçük olanlar ise doldurulur; böylece her sayıda görüntü çalışır.
Intel GPU ve NPU'da Çıkarım#
Dışa aktarılan .tflite modelleri, LiteRT Intel OpenVINO eklentisi aracılığıyla Intel donanımında çalışır. GPU için device=xpu, NPU için device=npu değerini ver; Ultralytics ilk kullanımda ai-edge-litert>=2.3.0 ve ai-edge-litert-sdk-intel paketlerini yükler. Eklenti kendi openvino sürümünü sabit kullandığından, farklı bir sürümle OpenVINO modelleri de çalıştırıyorsan eklentiyi ayrı bir ortamda tut. NPU için Intel NPU sürücüsü yüklü bir Intel Core Ultra işlemci gerekir; Core Ultra X7 358H üzerinde ölçülen gecikmeye bak. İstenen Intel cihazının bulunmadığı bir makinede OpenVINO eklentisi modeli derleyemez ve LiteRT modeli OpenVINO üzerinden değil, kendi CPU arka ucunda (XNNPACK) çalıştırır: AMD sunucu CPU'sunda YOLO26n, device=xpu ve device=npu ile görüntü başına 29-30 ms sürdü; device=cpu ile bu süre 18 ms oldu. Ultralytics bu durumda uyarı vermez; bu nedenle cihazın kullanıldığını doğrulamak için gecikmeyi device=cpu ile karşılaştır.
from ultralytics import YOLO
model = YOLO("yolo26n.tflite")
results = model("https://ultralytics.com/images/bus.jpg", device="npu") # or "xpu"Dağıtım Kılavuzları#
- Ultralytics YOLO Flutter eklentisi: gerçek zamanlı kamera çıkarımı, tek görüntü tahmini ve GPU hızlandırmasıyla Android'de LiteRT
.tflitedışa aktarımlarını çalıştırır. - @ultralytics/yolo npm paketi: WebGPU hızlandırması ve CPU (WASM) geri dönüş seçeneğiyle LiteRT.js üzerinden LiteRT
.tflitedışa aktarımlarını tarayıcıda çalıştırır.npm i @ultralytics/yolo @litertjs/coreile yükle. - MediaTek Dimensity: NPU dâhil MediaTek telefonlarda Android dağıtımı.
- Qualcomm QNN ve Core ML: Snapdragon NPU'ları ve Apple cihazları için biçimler.
- NXP i.MX95 ve Coral Edge TPU: bu hızlandırıcılar için biçimler.
- Raspberry Pi: Ultralytics'i Raspberry Pi kartlarında kur.
- LiteRT belgeleri: çalışma zamanını Android ve iOS uygulamalarına ya da tarayıcıya entegre et.
Sınırlamalar ve Sorun Giderme#
- Dışa aktarma ana makinesi: Windows'ta ve Raspberry Pi gibi Linux ARM64 sistemlerinde dışa aktarma
LiteRT export only supported on Linux x86 and macOSile başarısız olur. Desteklenen bir ana makinede dışa aktar ve.tflitedosyasını cihaza kopyala. - Sade kurulumdan sonraki ilk dışa aktarma: İlk dışa aktarma, yüklü PyTorch sürümünü kabul etmeyen bir
litert-torchyüklerse (0.10.0, 2.4.0 ile 2.15.0'dan düşük sürümleri kabul eder), pip PyTorch'un yerini alır, UltralyticsRestart runtime or rerun command for updates to take effectkaydını verir ve dışa aktarma, PyTorch 2.15.0'daRuntimeError: duplicate registrations for aten.miopen_batch_norm.defaultile başarısız olabilir. Dışa aktarmayı yeniden çalıştır. - FP16:
quantize=16,quantize=16 (FP16) is not supported; format='litert' supports quantize=8 (INT8), 'w8a16' (INT8 weights + INT16 activations), 'w8a32' (dynamic INT8), 32 or None (FP32).ile başarısız olur. FP32'yi dışa aktar ve GPU temsilcisinin modeli yarı duyarlıkta çalıştırmasını sağla. quantize=8ile eğitilmiş kontrol noktaları: niceleme farkındalıklı eğitim ile ince ayar yapılmış bir kontrol noktası,format='litert' cannot export a QAT model: its Q/DQ ranges are only read by the 'onnx' and 'engine' backendsile başarısız olur. Bunun yerine ince ayara başladığın kontrol noktasınıquantize=8ile dışa aktar veya ince ayarlı kontrol noktasını ONNX ya da TensorRT biçiminde dışa aktar.quantize=8veya'w8a16'ile NMS içermeyen başlık:nms=Falseile dışa aktarmaLiteRT INT8 export does not support end2end models, disabling end2end branch.kaydını verir ve NMS gerektiren ham tahminler yazar. NMS içermeyen başlığı korumak için FP32 veya'w8a32'kullan.- Gömülü NMS:
nms=True,format=litert does not support embedded NMS; exporting native outputs for external NMS.günlüğünü yazar ve ham çıktıyı kaydeder. - Diğer modellerde NMS içermeyen başlık:
nms=False, YOLO26 veya YOLOv10 gibi NMS içermeyen başlığa sahip bir model gerektirir. Örneğin YOLO11 gibi diğer modellerde dışa aktarmaThis model has no one-to-one head; using one-to-many outputs.uyarısı verir ve ham(1, 84, 8400)çıktısını yazar. - Sabit girdi şekli:
dynamic=True,argument 'dynamic' is not supported for format='litert'hatası verir. Görüntü boyutunu veya toplu iş boyutunu değiştirmek için yeniden dışa aktar. dataolmadan kalibrasyon:quantize=8veya'w8a16'dışa aktarımıINT8 export requires a missing 'data' arg for calibration. Using default 'data=coco8.yaml'.kaydını verir ve görev için küçük varsayılan veri kümesini kullanarak kalibrasyon yapar. Dağıtım verilerini temsil eden görüntülerle birliktedatadeğerini belirt.- Kalibrasyon boyutu: Kalibrasyon bölmesinde 300'den az görüntü olduğunda dışa aktarma
>300 images recommended for INT8 calibration, found 4 images.günlüğünü yazar.coco8.yamlyalnızca 4 doğrulama görüntüsü içerir; bu sayı dışa aktarmayı test etmek için yeterlidir, ancak bir modeli dağıtım için kalibre etmeye yetmez. - x86 CPU'larda
'w8a16': LiteRT CPU yorumlayıcısı, 8 iş parçacığıyla AMD EPYC 9655 sunucu CPU'sunda YOLO26n'w8a16'modelini görüntü başına yaklaşık 1 saniyede çalıştırdı; FP32 modelinde bu süre yaklaşık 17 ms idi. Dağıtacağın cihaz ve temsilci üzerinde'w8a16'değerini ölç. - Dosya adı: aynı kontrol noktasının aynı
quantizedeğeriyle yapılan her dışa aktarımı aynı dosyayı yazar; örneğin FP32 içinyolo26n.tflite.imgsz,batchveyanmsdeğerleri ne olursa olsun sonraki dışa aktarma öncekinin yerini alır.
Diğer hatalar için Yaygın Sorunlar kılavuzuna bak.
Ölçülen Performans#
Aşağıdaki tablolar, her görevdeki YOLO26n modelinin dört Android telefonda ve bir Intel Core Ultra işlemcide tek görüntü için gecikmesini gösterir. Her hücre, milisaniye cinsinden toplam süreyi ve altında ön işleme / çıkarım / son işleme dağılımını gösterir; her model için en hızlı sütun kalın yazılmıştır. YOLO26 model sayfasında PyTorch kontrol noktalarının doğruluğu listelenir.
Xiaomi 17#
Donanım: 12 GB LPDDR5X belleğe ve Android 17 / API 37'ye sahip Xiaomi 17. 3 nm Snapdragon 8 Elite Gen 5 (SM8850), 8 çekirdekli Qualcomm Oryon CPU'ya (2 adede kadar 4.6 GHz hızında çalışan Prime çekirdek ve 3.62 GHz'e kadar çalışan 6 Performance çekirdeği), Adreno GPU'ya ve Hexagon NPU'ya sahiptir.
| Model | Görev | boyut (piksel) | CPU w8a32 LiteRT (ms) | GPU w8a32 LiteRT (ms) | NPU LiteRT FP32 (ms) |
|---|---|---|---|---|---|
| YOLO26n | Detect | 640 | 36.9 1.9 / 32.6 / 2.3 | 10.6 1.8 / 6.2 / 2.6 | 10.1 3.5 / 4.0 / 2.5 |
| YOLO26n-seg | Segment | 640 | 50.5 1.9 / 42.9 / 5.8 | 18.0 1.9 / 9.5 / 6.6 | 19.2 3.6 / 5.9 / 9.7 |
| YOLO26n-sem | Anlamsal | 640 | 45.7 1.9 / 35.7 / 8.2 | 30.6 1.9 / 20.5 / 8.3 | 25.8 3.6 / 11.0 / 11.3 |
| YOLO26n-depth | Derinlik | 640 | 66.8 2.2 / 55.0 / 9.7 | 21.9 2.1 / 10.1 / 9.8 | 24.8 4.3 / 6.0 / 14.5 |
| YOLO26n-cls | Sınıflandırma | 224 | 3.6 0.3 / 3.3 / 0.0 | 2.0 0.4 / 1.4 / 0.2 | 1.5 0.6 / 0.7 / 0.3 |
| YOLO26n-pose | Poz | 640 | 39.9 2.0 / 36.5 / 1.4 | 10.0 1.8 / 6.7 / 1.4 | 11.5 3.5 / 4.2 / 3.8 |
| YOLO26n-obb | OBB | 640 | 36.3 2.0 / 33.2 / 1.2 | 10.1 2.6 / 5.9 / 1.6 | 8.2 3.5 / 3.7 / 0.9 |
- Hız değerleri,
bus.jpgüzerinde 3 ısınma çalıştırmasının ardından yapılan 15 çalıştırmanın ortalaması olan tek görüntülük seri çıkarım gecikmeleridir. Ölçümler, Ultralytics Flutter eklentisi0.7.1ve resmiv0.7.0varlıklarıyla (Ultralytics 8.4.188 dışa aktarımları) yapıldı. CPU/GPU sırası, tek bir sıralı taramada görevler arasında değiştirildi. Yerel günlükler, tüm CPU satırlarının LiteRT CPU/XNNPACK kullandığını ve tüm GPU satırlarının grafiğin tamamını LiteRT OpenCL'e (LITERT_CL) devrettiğini doğruladı. - LiteRT dışa aktarımı, PyTorch modelini doğrudan izleyerek kayan noktalı girişli NCHW
.tfliteüretir; GPU temsilcisi tüm grafiği derler (burada yedi görevin tamamı Adreno GPU'da çalışır) vew8a32için kalibrasyon verisi gerekmez. Kullanıcılar, eski onnx2tf NHWC düzenini veyaIdentityçıktı adlarını varsaymak yerine tensör şekillerini ve imza adlarını okumalı; RGB verilerini doğrudan düzlemsel CHW biçiminde paketlemeli veya çıkarım öncesinde transpoze etmelidir. Anlamsal dışa aktarımlar NCHW logitleri döndürür ve ana makine tarafında sınıf argmax'ı gerektirir. Resmî Android varlıkları yolo-flutter-appv0.7.0sürümünde barındırılır; ayrıntılı kıyaslama kaydı Flutter performans belgesinde yer alır. - NPU sütunu LiteRT'nin kendi NPU yolunu gösterir: FP32 dışa aktarımı (
yolo export format=litert,quantizeolmadan),litert-npu-runtime-qualcommve-mediatek2.3.0 çalışma zamanları tarafından aygıtta derlendi ve Flutter eklentisinin prototip NPU derlemesiyle ölçüldü (henüz yayımlanmadı). İlk yükleme bu derlemeyi içerir (niçin yaklaşık 0.3 s,xiçin 6 s'ye kadar).w8a32varlıkları bu NPU'larda tam olarak derlenmiyor. LiteRT, grafiği sessizce GPU'da çalıştırsa bile NPU derlemesi olduğunu bildirir; bu nedenle her NPU satırı GPU süresiyle karşılaştırılarak kontrol edildi; geri dönüş yapan satırlar — olarak gösterildi. - Resmi QNN varlıkları için eşleşen Snapdragon Hexagon NPU değerleri Qualcomm QNN entegrasyonu sayfasında yer alıyor.
- Apple CPU/hızlandırıcı sonuçlarını CoreML entegrasyonu sayfasında karşılaştır.
Aşağıdaki aygıt taramalarında aynı resmi v0.7.0 varlıkları kullanılıyor.
Google Pixel 10#
Donanım: 12 GB belleğe ve Android 17 / API 37'ye sahip Google Pixel 10. 3 nm Google Tensor G5, 8 çekirdekli bir CPU'ya (3.78 GHz'e kadar çalışan 1 Prime çekirdek, 3.05 GHz'e kadar çalışan 5 Performance çekirdeği ve 2.25 GHz'e kadar çalışan 2 Efficiency çekirdeği), PowerVR D-Series GPU'ya ve Google TPU'ya sahiptir. Google bunları bağlantılı teknik özelliklerde yayımlamadığı için çekirdek saat hızları ve GPU sürücüsünün adı kıyaslama aygıtından okundu.
| Model | Görev | boyut (piksel) | CPU w8a32 LiteRT (ms) | GPU w8a32 LiteRT (ms) |
|---|---|---|---|---|
| YOLO26n | Detect | 640 | 36.6 1.5 / 33.5 / 1.6 | 36.5 3.5 / 28.4 / 4.6 |
| YOLO26n-seg | Segment | 640 | 53.1 1.5 / 45.8 / 5.7 | 51.5 1.6 / 40.1 / 9.9 |
| YOLO26n-sem | Anlamsal | 640 | 57.2 1.5 / 47.7 / 8.0 | 75.9 1.8 / 63.4 / 10.8 |
| YOLO26n-depth | Derinlik | 640 | 75.0 1.6 / 65.1 / 8.3 | 50.1 1.7 / 33.5 / 14.9 |
| YOLO26n-cls | Sınıflandırma | 224 | 6.1 0.3 / 5.5 / 0.3 | 12.1 0.9 / 11.0 / 0.1 |
| YOLO26n-pose | Poz | 640 | 35.2 1.5 / 31.9 / 1.8 | 38.2 3.5 / 29.3 / 5.4 |
| YOLO26n-obb | OBB | 640 | 32.7 1.5 / 29.3 / 1.9 | 38.8 3.8 / 29.6 / 5.4 |
Kıyaslama: bus.jpg üzerinde, ultralytics_yolo 0.7.1 ve resmi v0.7.0 varlıkları kullanılarak 3 ısınma çalıştırmasının ardından yapılan 15 predict() çağrısının ortalaması. CPU/GPU sırası, tek bir sıralı taramada görevler arasında değişir. Yerel günlükler, tüm CPU satırlarının LiteRT CPU/XNNPACK kullandığını ve tüm GPU satırlarının grafiğin tamamını LiteRT OpenCL'e (LITERT_CL) devrettiğini doğruladı. Tensor NPU için LiteRT satırı yok: Google'ın EdgeTPU hizmeti, izin listesinde olmayan uygulamaları reddediyor ve LiteRT modeli GPU'da çalıştırıyor.
Samsung Galaxy S26#
Donanım: 12 GB belleğe ve Android 17 / API 37'ye sahip Samsung Galaxy S26 (SM-S942B). 2 nm Exynos 2600, 10 çekirdekli Armv9.3 CPU'ya (3.8 GHz'e kadar çalışan 1 C1-Ultra çekirdek, 3.26 GHz'e kadar çalışan 3 C1-Pro performans çekirdeği ve 2.76 GHz'e kadar çalışan 6 C1-Pro verimlilik çekirdeği), Xclipse 960 GPU'ya ve Samsung NPU'ya sahiptir.
| Model | Görev | boyut (piksel) | CPU w8a32 LiteRT (ms) | GPU w8a32 LiteRT (ms) | NPU LiteRT w8a32 AOT (ms) |
|---|---|---|---|---|---|
| YOLO26n | Detect | 640 | 30.2 1.3 / 27.3 / 1.6 | 15.9 1.4 / 11.5 / 2.9 | 12.2 1.3 / 8.6 / 2.2 |
| YOLO26n-seg | Segment | 640 | 45.6 1.3 / 39.1 / 5.2 | 30.5 1.3 / 23.6 / 5.6 | 17.0 1.4 / 9.7 / 5.8 |
| YOLO26n-sem | Anlamsal | 640 | 38.1 1.3 / 28.6 / 8.2 | 26.1 1.3 / 16.8 / 7.9 | 28.3 1.7 / 15.1 / 11.5 |
| YOLO26n-depth | Derinlik | 640 | 63.5 1.4 / 53.6 / 8.4 | 37.3 1.4 / 24.6 / 11.3 | 28.4 2.1 / 12.9 / 13.4 |
| YOLO26n-cls | Sınıflandırma | 224 | 3.8 0.2 / 3.4 / 0.2 | 2.8 0.2 / 2.6 / 0.0 | 6.1 0.5 / 5.2 / 0.4 |
| YOLO26n-pose | Poz | 640 | 31.1 1.3 / 28.4 / 1.4 | 18.4 1.6 / 13.0 / 3.8 | 13.5 1.8 / 9.5 / 2.2 |
| YOLO26n-obb | OBB | 640 | 27.9 1.3 / 25.7 / 0.9 | 15.3 1.9 / 11.4 / 2.1 | 11.4 1.7 / 8.3 / 1.4 |
Kıyaslama: bus.jpg üzerinde, ultralytics_yolo 0.7.1 ve resmi v0.7.0 varlıkları kullanılarak 3 ısınma çalıştırmasının ardından yapılan 15 predict() çağrısının ortalaması. CPU/GPU sırası, tek bir sıralı taramada görevler arasında değişir. Yerel günlükler, tüm CPU satırlarının LiteRT CPU/XNNPACK kullandığını ve tüm GPU satırlarının grafiğin tamamını LiteRT OpenCL'e (LITERT_CL) devrettiğini doğruladı. NPU sütununda Exynos 2600 (E9965) için önceden derlenmiş w8a32 varlıkları LiteRT'nin Samsung derleyici eklentisiyle kullanılıyor. Samsung'un LiteRT 2.3'te aygıtta çalışan bir derleyicisi yok ve Google henüz Samsung NPU çalışma zamanı yayımlamadı; bu nedenle bu satırlarda LiteRT 2.3 kaynaklarından oluşturulmuş bir dağıtım kitaplığı kullanıldı.
Xiaomi 17T Pro#
Donanım: 12 GB LPDDR5X belleğe ve Android 16 / API 36'ya sahip Xiaomi 17T Pro (2602EPTC0G). 3 nm'lik MediaTek Dimensity 9500 (MT6993), 8 çekirdekli Armv9.3 CPU'ya (1 adede kadar 4.21 GHz hızında çalışan C1-Ultra çekirdek, 3 adede kadar 3.5 GHz hızında çalışan C1-Premium çekirdeği ve 4 adede kadar 2.7 GHz hızında çalışan C1-Pro çekirdeği), Mali-G1 Ultra MC12 GPU'ya ve MediaTek NPU 990'a sahiptir.
| Model | Görev | boyut (piksel) | CPU w8a32 LiteRT (ms) | GPU w8a32 LiteRT (ms) | NPU LiteRT FP32 (ms) |
|---|---|---|---|---|---|
| YOLO26n | Detect | 640 | 31.4 1.5 / 28.0 / 1.9 | 25.6 1.4 / 22.2 / 2.0 | 11.0 1.3 / 7.8 / 1.8 |
| YOLO26n-seg | Segment | 640 | 77.8 2.6 / 65.3 / 9.9 | 47.4 2.6 / 33.6 / 11.3 | 36.5 2.6 / 23.4 / 10.4 |
| YOLO26n-sem | Anlamsal | 640 | 81.3 2.6 / 62.2 / 16.5 | 79.3 2.6 / 59.5 / 17.1 | 87.6 2.6 / 68.3 / 16.7 |
| YOLO26n-depth | Derinlik | 640 | 111.3 3.4 / 91.1 / 16.8 | 55.3 2.8 / 36.3 / 16.1 | — |
| YOLO26n-cls | Sınıflandırma | 224 | 6.3 0.5 / 5.4 / 0.4 | 8.1 0.5 / 7.5 / 0.1 | 3.2 0.5 / 2.2 / 0.5 |
| YOLO26n-pose | Poz | 640 | 53.9 2.6 / 49.5 / 1.8 | 32.8 2.7 / 26.7 / 3.4 | 16.2 2.9 / 11.1 / 2.3 |
| YOLO26n-obb | OBB | 640 | 49.5 2.7 / 44.4 / 2.4 | 29.4 2.8 / 22.7 / 3.9 | — |
Kıyaslama: 3 ısınma çalışmasının ardından bus.jpg üzerinde yapılan 15 predict() çağrısının ortalaması; ultralytics_yolo 0.7.1 ve resmi v0.7.0 varlıkları kullanılmıştır. CPU/GPU sırası, tek bir sıralı taramadaki görevler arasında dönüşümlüdür. Yerel günlükler, her CPU satırının LiteRT CPU/XNNPACK kullandığını ve her GPU satırının grafiğin tamamını LiteRT OpenCL'e (LITERT_CL) devrettiğini doğruladı. Derinlik ve OBB için NPU sonucu yoktur: MediaTek NPU derleyicisi üstel ve trigonometrik işlemleri desteklemez ve LiteRT bu grafikleri GPU'da çalıştırır.
Android dağıtım iş akışı ve NPU sınırlamaları için MediaTek Dimensity kılavuzuna göz at.
Intel Core Ultra X7 358H#
Donanım: Intel Core Ultra X7 358H (Panther Lake) ve Intel AI Boost NPU 5010, Fedora Linux, NPU sürücüsü 1.38.0, ai-edge-litert 2.3.0.
| Model | Görev | boyut (piksel) | CPU w8a32 LiteRT (ms) | CPU w8a32 Intel (ms) | NPU w8a32 Intel (ms) |
|---|---|---|---|---|---|
| YOLO26n | Detect | 640 | 17.5 0.8 / 16.1 / 0.6 | 22.6 1.2 / 20.6 / 0.8 | 4.8 1.0 / 3.3 / 0.4 |
| YOLO26n-seg | Segment | 640 | 24.2 0.9 / 22.1 / 1.3 | 32.6 1.0 / 30.1 / 1.5 | 6.2 0.8 / 4.2 / 1.2 |
| YOLO26n-sem | Anlamsal | 640 | 25.2 1.0 / 14.2 / 10.0 | 33.1 1.1 / 21.9 / 10.2 | 16.5 1.0 / 5.5 / 10.0 |
| YOLO26n-depth | Derinlik | 640 | 31.7 0.9 / 30.2 / 0.5 | 76.6 0.9 / 75.2 / 0.5 | 9.1 1.0 / 7.5 / 0.5 |
| YOLO26n-cls | Sınıflandırma | 224 | 4.6 2.8 / 1.7 / 0.0 | 7.3 3.3 / 3.9 / 0.0 | 4.1 3.2 / 0.9 / 0.0 |
| YOLO26n-pose | Poz | 640 | 20.3 0.8 / 19.0 / 0.5 | 28.6 1.1 / 26.8 / 0.8 | 6.3 0.8 / 4.9 / 0.5 |
| YOLO26n-obb | OBB | 640 | 17.2 0.8 / 16.1 / 0.3 | 22.1 1.2 / 20.5 / 0.4 | 4.6 0.9 / 3.4 / 0.3 |
Karşılaştırma: bus.jpg üzerinde 3 ısınma çalıştırmasının ardından yapılan 15 predict() çağrısının ortalaması; w8a32 dışa aktarımlarıyla ultralytics 8.4.174 ve ai-edge-litert 2.3.0 kullanılmıştır. Her hücre toplam süreyi, altında ise ön işleme / çıkarım / son işleme sürelerinin dağılımını gösterir.
LiteRT hakkında#
LiteRT, Lite Runtime'ın kısaltmasıdır; TensorFlow Lite'ın yeni adla devamı niteliğindedir ve aynı .tflite model biçimini çalıştırır. Modelleri CPU'da XNNPACK ile, GPU ve NPU'larda ise donanım temsilcileri aracılığıyla çalıştırır; LiteRT.js aynı dosyayı tarayıcılara ve Node.js'e taşır. Tam başvuru için LiteRT belgelerine bak.
İzle: Ultralytics YOLO26'yı Google LiteRT'ye aktarma | Görüntü yapay zekâsını Android ve iOS'te dağıt | Mobil yapay zekâ 📱🚀
Sık Sorulan Sorular#
LiteRT, TensorFlow Lite'ın yeni adıdır ve aynı
.tflitemodel biçimini kullanır. Ultralytics'teformat="litert", önceki iki dışa aktarma biçiminin yerini alır: mobil, gömülü ve uç cihazlar içintflite; tarayıcılar ve Node.js içintfjs. Bu ortamlarda LiteRT.js artık aynı.tflitedosyasını çalıştırır. Her iki eski değer de kullanımdan kaldırılma uyarısıyla LiteRT dosyası dışa aktarmaya devam eder. TFLite ve TF.js sayfalarında eski biçimler açıklanır.quantize="w8a32"ile başla. Kalibrasyon verisi gerektirmez, dosyayı FP32 boyutunun üçte birinden küçüğüne indirir, YOLO26'nın NMS içermeyen başlığınınms=Falseile destekler ve CPU ile GPU için resmî Ultralytics mobil modellerinin duyarlılık düzeyidir. Hedef cihaz tamsayı aktivasyonlar gerektirdiğindequantize=8kullan: örneğin NXP i.MX95 dışa aktarımı, kalibre edilmiş bir INT8 LiteRT modelini derler.'w8a16',8değerine kıyasla aktivasyon duyarlılığını daha iyi korur. Her ikisi de temsilî kalibrasyon verileri gerektirir ve NMS gerektiren ham tahminler döndürür. Her şemanın CPU, GPU ve NPU temsilcilerindeki desteği farklı olduğundan, seçimini yapmadan önce hedef cihazda gecikmeyi ve doğruluğu ölç.Hayır. Dışa aktarma yalnızca Linux x86-64'te ve Apple silicon kullanan macOS'te çalışır. Modeli bu ana makinelerden birinde veya Ultralytics Platform ile dışa aktar ve
.tflitedosyasını cihaza kopyala. Kartta model çalıştırmak için Raspberry Pi kılavuzuna bak; Coral Edge TPU çıkarımı hızlandırabilir.Evet. LiteRT.js, dışa aktarılan
.tflitedosyasını WebGPU veya WASM kullanarak tarayıcıda ya da Node.js'te çalıştırır; bu nedenle ayrı bir tarayıcı dışa aktarımına gerek yoktur. @ultralytics/yolo npm paketi, detect, segment, semantic, classify, pose ve OBB görevleri için web kamerası ve tek görüntü çıkarımını destekler.Android'de LiteRT
.tflitedışa aktarımlarını yükleyen ve yedi YOLO26 görevinin tümünü destekleyen Ultralytics YOLO Flutter eklentisini kullan. Resmî modellerle eşleşmesi içinimgsz=640boyutunda; sınıflandırma içinseimgsz=224boyutunda dışa aktar. Yerel bir uygulama için LiteRT Android kılavuzunu izle ve modeli Çıktı Biçimi bölümünde açıklandığı şekilde kullan. iPhone'da yerel biçim Core ML biçimidir.
Yorumlar
Bir soru sor, sonuçlarını paylaş veya başka birine yardım et.