YOLO Modellerini Edge ve Web Dağıtımı için LiteRT'ye Aktarma#

LiteRT (Lite Runtime kısaltması), Google'ın cihaz üzerinde yapay zekâ için yüksek performanslı çalışma zamanıdır. TensorFlow Lite'ın (TFLite) yeni nesli ve yeni adıdır ve aynı .tflite model biçimini çalıştırır. LiteRT ile dışa aktarılan tek bir Ultralytics YOLO modeli mobil, gömülü, edge ve tarayıcı ortamlarına dağıtılabilir; eski tflite ve tfjs dışa aktarma biçimlerinin ayrı ayrı ele aldığı her şeyi artık tek bir çatı altında sunar.

LiteRT dışa aktarma biçimi, modellerini nesne algılama, segmentasyon, poz tahmini ve sınıflandırma gibi görevler için optimize eder; böylece modeller geniş bir cihaz yelpazesinde hızlı ve çevrimdışı çalışır.

npm i @ultralytics/yolo @litertjs/core

Neden LiteRT'ye Aktarma Yapmalısın?#

LiteRT, edge bilişim olarak da bilinen, cihaz üzerinde çıkarım için tasarlanmış açık kaynaklı bir çerçevedir. Geliştiricilere eğitilmiş modelleri mobil, gömülü ve IoT cihazlarında, geleneksel bilgisayarlarda ve LiteRT.js aracılığıyla doğrudan web tarayıcılarında ve Node.js'te çalıştırma araçları sunar.

Tek model biçimi, her hedef:

• Mobil ve Gömülü: Android, iOS, gömülü Linux ve mikrodenetleyiciler (MCU'lar).
• Edge hızlandırıcıları: Daha fazla hızlandırma için Coral Edge TPU ile uyumludur.
• Tarayıcı ve Node.js: LiteRT.js, aynı .tflite modeli WebGPU/WASM hızlandırmasıyla web üzerinde çalıştırır; böylece ayrı bir TensorFlow.js dışa aktarımına gerek kalmaz.

LiteRT Modellerinin Temel Özellikleri#

• Cihaz Üzerinde Optimizasyon: Verileri yerel olarak işleyerek gecikmeyi azaltır, kişisel verileri aktarmayarak gizliliği artırır ve yerden tasarruf etmek için model boyutunu küçültür.
• Birden Çok Platform Desteği: Android, iOS, gömülü Linux, mikrodenetleyiciler ve modern web tarayıcılarında çalışır.
• Donanım Hızlandırması: CPU'da XNNPACK'ten, OpenCL, Metal ve WebGPU üzerinden GPU hızlandırmasından yararlanır. GPU delegesi, ek hız için varsayılan olarak FP16 ile çalışır.
• Niceleme: Modelleri sıkıştırmak ve minimum doğruluk kaybıyla çıkarımı hızlandırmak için FP32, statik INT8 (quantize=8, int8 ağırlıklar + int8 aktivasyonlar), statik INT16-aktivasyon (quantize="w8a16", daha yüksek doğruluk için int8 ağırlıklar + int16 aktivasyonlar) ve dinamik INT8'i (quantize="w8a32", int8 ağırlıklar + FP32 aktivasyonlar, kalibrasyon verisi gerekmez) destekler.
• Çeşitli Dil Desteği: Java/Kotlin, Swift, Objective-C, C++, Python ve JavaScript ile uyumludur.

Ölçülen Performans#

Donanım: 12 GB LPDDR5X belleğe ve Android 16 / API 36'ya sahip Xiaomi 17. 3 nm'lik Snapdragon 8 Elite Gen 5 (SM8850), 8 çekirdekli Qualcomm Oryon CPU'ya (4,6 GHz'e kadar 2 Prime çekirdek ve 3,62 GHz'e kadar 6 Performance çekirdeği), Adreno GPU'ya ve Hexagon NPU'ya sahiptir.

• Hız değerleri, tek görüntülü seri çıkarım gecikmeleridir: bus.jpg üzerinde 3 ısınma çalışmasından sonra gerçekleştirilen 15 çalışmanın ortalamasıdır; Ultralytics Flutter eklentisi 0.6.10 ve standartlaştırılmış v0.6.6 varlıklarıyla ölçülmüştür. CPU/GPU sırası, tek bir ardışık taramada görevler arasında dönüşümlü olarak değiştirilmiştir. Yerel günlükler, her CPU satırında LiteRT CPU/XNNPACK kullanıldığını ve her GPU satırında grafiğin tamamının LiteRT OpenCL'e (LITERT_CL) devredildiğini doğruladı.
• LiteRT dışa aktarımı, PyTorch modelini doğrudan izleyerek kayan noktalı girdiye sahip bir NCHW .tflite üretir; GPU delegesi grafiğin tamamını derler (burada yedi görevin tümü Adreno GPU'da çalışır) ve w8a32 kalibrasyon verisi gerektirmez. Tüketiciler, eski onnx2tf NHWC düzenini veya Identity çıktı adlarını varsaymak yerine tensör şekillerini ve imza adlarını okumalıdır; RGB verilerini doğrudan düzlemsel CHW olarak paketlemeli veya çıkarımdan önce transpoze etmelidir. Semantic dışa aktarımları NCHW logits döndürür ve ana bilgisayar tarafında sınıf argmax işlemi gerektirir. Resmî Android varlıkları yolo-flutter-app v0.6.6 sürümünde barındırılır; ayrıntılı kıyaslama kaydı ise Flutter performans belgesinde yer alır.
• Eşleşen Snapdragon Hexagon NPU ve LiteRT CPU/GPU sonuçları Qualcomm QNN entegrasyonunda yer alır.
• Apple CPU/hızlandırıcı sonuçlarını CoreML entegrasyonunda karşılaştır.

Aşağıdaki cihaz taramaları aynı standartlaştırılmış v0.6.6 varlıklarını kullanır.

Google Pixel 10#

Donanım: 12 GB belleğe ve Android 16 / API 36'ya sahip Google Pixel 10. 3 nm'lik Google Tensor G5, 8 çekirdekli bir CPU'ya (3,78 GHz'e kadar 1 Prime çekirdek, 3,05 GHz'e kadar 5 Performance çekirdeği ve 2,25 GHz'e kadar 2 Efficiency çekirdeği), PowerVR D-Series GPU'ya ve Google TPU'ya sahiptir. Çekirdek saat hızları ve GPU sürücüsünün adı, Google bunları bağlantılı teknik özelliklerde yayımlamadığı için kıyaslama cihazından okunmuştur.

Kıyaslama: bus.jpg üzerinde 3 ısınma çalışmasından sonra gerçekleştirilen 15 predict() çağrısının ortalaması; ultralytics_yolo 0.6.10 ve resmî v0.6.6 varlıkları kullanılmıştır. CPU/GPU sırası, tek bir ardışık taramada görevler arasında dönüşümlü olarak değiştirilmiştir. Yerel günlükler, her CPU satırında LiteRT CPU/XNNPACK kullanıldığını ve her GPU satırında grafiğin tamamının LiteRT OpenCL'e (LITERT_CL) devredildiğini doğruladı.

Samsung Galaxy S26#

Donanım: 12 GB belleğe ve Android 16 / API 36'ya sahip Samsung Galaxy S26 (SM-S942B). 2 nm'lik Exynos 2600, 10 çekirdekli Armv9.3 CPU'ya (3,8 GHz'e kadar 1 C1-Ultra çekirdeği, 3,26 GHz'e kadar 3 performans C1-Pro çekirdeği ve 2,76 GHz'e kadar 6 verimlilik C1-Pro çekirdeği), Xclipse 960 GPU'ya ve Samsung NPU'ya sahiptir.

Kıyaslama: bus.jpg üzerinde 3 ısınma çalışmasından sonra gerçekleştirilen 15 predict() çağrısının ortalaması; ultralytics_yolo 0.6.10 ve resmî v0.6.6 varlıkları kullanılmıştır. CPU/GPU sırası, tek bir ardışık taramada görevler arasında dönüşümlü olarak değiştirilmiştir. Yerel günlükler, her CPU satırında LiteRT CPU/XNNPACK kullanıldığını ve her GPU satırında grafiğin tamamının LiteRT OpenCL'e (LITERT_CL) devredildiğini doğruladı.

Xiaomi 17T Pro#

Donanım: 12 GB LPDDR5X belleğe ve Android 16 / API 36'ya sahip Xiaomi 17T Pro (2602EPTC0G). 3 nm'lik MediaTek Dimensity 9500 (MT6993), 8 çekirdekli Armv9.3 CPU'ya (4,21 GHz'e kadar 1 C1-Ultra çekirdeği, 3,5 GHz'e kadar 3 C1-Premium çekirdeği ve 2,7 GHz'e kadar 4 C1-Pro çekirdeği), Mali-G1 Ultra MC12 GPU'ya ve MediaTek NPU 990'a sahiptir.

Kıyaslama: bus.jpg üzerinde 3 ısınma çalışmasından sonra gerçekleştirilen 15 predict() çağrısının ortalaması; ultralytics_yolo 0.6.10 ve resmî v0.6.6 varlıkları kullanılmıştır. CPU/GPU sırası, tek bir ardışık taramada görevler arasında dönüşümlü olarak değiştirilmiştir. Yerel günlükler, her CPU satırında LiteRT CPU/XNNPACK kullanıldığını ve her GPU satırında grafiğin tamamının LiteRT OpenCL'e (LITERT_CL) devredildiğini doğruladı.

Desteklenen Görevler#

LiteRT dışa aktarımı, yedi Ultralytics görevinin tümünü destekler. Semantic segmentasyon ve depth tahmini yalnızca bu başlıkları sağlayan tek aile olan YOLO26 ile kullanılabilir.

LiteRT'ye Aktarma: YOLO Modelini Dönüştürme#

Modellerini LiteRT biçimine dönüştürerek cihaz üzerindeki çalıştırma verimliliğini artırabilir ve dağıtım seçeneklerini genişletebilirsin.

Kurulum#

Gerekli paketi yüklemek için şunu çalıştır:

# Install the required package for YOLO
pip install ultralytics

Ayrıntılı talimatlar ve en iyi uygulamalar için Ultralytics Kurulum kılavuzumuza göz at. Herhangi bir zorlukla karşılaşırsan Yaygın Sorunlar kılavuzumuza başvur.

Kullanım#

Tüm Ultralytics YOLO modelleri dışa aktarımı kutudan çıktığı hâliyle destekler. LiteRT biçimi Export, Predict ve Validate modlarını destekler; böylece bir modeli dışa aktarabilir, ardından çıkarım çalıştırmak veya doğruluğunu yerel olarak doğrulamak için yükleyebilirsin.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to LiteRT format
model.export(format="litert", imgsz=640)  # use imgsz=224 for classification

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Dynamic INT8: int8 weights, FP32 activations - no calibration data needed
model.export(format="litert", quantize="w8a32", imgsz=640)  # use imgsz=224 for classification

# Static INT8: int8 weights + int8 activations - needs calibration data
model.export(format="litert", quantize=8, data="coco8.yaml", imgsz=640)  # use 224 for classification

# Static w8a16: int8 weights + int16 activations (higher accuracy) - needs calibration data
model.export(format="litert", quantize="w8a16", data="coco8.yaml", imgsz=640)  # use 224 for classification

from ultralytics import YOLO

# Load the exported LiteRT model
model = YOLO("yolo26n.tflite")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported LiteRT model
model = YOLO("yolo26n.tflite")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Dışa Aktarma Bağımsız Değişkenleri#

Dışa aktarma süreci hakkında daha fazla ayrıntı için Ultralytics'in dışa aktarma dokümantasyonu sayfasını ziyaret et.

Dışa Aktarılan YOLO LiteRT Modellerini Dağıtma#

Ultralytics YOLO modelini LiteRT'ye aktardıktan sonra onu farklı platformlarda dağıtabilirsin. Yerel olarak doğrulamanın en hızlı yolu, yukarıda gösterilen YOLO("yolo26n.tflite") yöntemidir. Diğer ortamlarda dağıtım için aşağıdaki kaynaklara bak:

Mobil ve Gömülü Sistemler#

• Android: LiteRT'yi Android uygulamalarına entegre etmek için hızlı başlangıç kılavuzu.
• iOS: LiteRT modellerini iOS uygulamalarına entegre etme ve dağıtma kılavuzu.
• Gömülü Linux ve Raspberry Pi: LiteRT modellerini, isteğe bağlı olarak bir Coral Edge TPU ile hızlandırılmış şekilde tek kartlı bilgisayarlarda çalıştır.
• Mikrodenetleyiciler: Yalnızca birkaç kilobayt belleğe sahip MCU'larda dağıtım yap — çekirdek çalışma zamanı bir Arm Cortex-M3 üzerinde yaklaşık 16 KB'a sığar.

Tarayıcı ve Node.js (LiteRT.js)#

• LiteRT.js genel bakışı: Aynı .tflite modelini WebGPU/WASM hızlandırmasıyla doğrudan tarayıcıda çalıştır; böylece sunucu tarafındaki hesaplamayı ortadan kaldırır ve verileri kullanıcının cihazında tutarsın.
• Uçtan Uca Örnekler: LiteRT'yi mobil, uç ve web ortamlarında uygulamaya yönelik pratik örnekler ve öğreticiler.

Özet#

Bu kılavuzda, Ultralytics YOLO modellerini LiteRT biçimine nasıl aktaracağını ele aldık. Mobil/uç (eski adıyla TFLite) ve tarayıcı (eski adıyla TF.js) dağıtımını tek bir .tflite modelinde birleştiren LiteRT, YOLO modellerini neredeyse tüm cihaz üstü hedeflerde daha hızlı, daha küçük ve taşınabilir hale getirir.

Daha fazla ayrıntı için LiteRT resmi belgelerini ziyaret et.

Ayrıca diğer Ultralytics YOLO entegrasyonlarını merak ediyorsan, birçok yararlı kaynak için entegrasyon kılavuzu sayfamıza göz at.

SSS#