YOLO Modellerini Uç (Edge) ve Web Dağıtımı için LiteRT'ye Aktar#
LiteRT (Lite Runtime kısaltması), cihaz içi yapay zeka için Google'ın yüksek performanslı çalışma zamanıdır. TensorFlow Lite'ın (TFLite) yeni nesli ve yeni adıdır ve aynı .tflite model formatını çalıştırır. LiteRT ile, dışarı aktarılan tek bir Ultralytics YOLO modeli mobil, gömülü, uç (edge) ve tarayıcı genelinde dağıtılır; eski tflite ve tfjs dışa aktarma formatlarının ayrı ayrı ele aldığı her şeyi artık tek bir çatı altında toplar.
LiteRT dışa aktarma formatı; modellerini nesne tespiti, bölütleme, poz tahmini ve sınıflandırma gibi görevler için optimize ederek geniş bir cihaz yelpazesinde hızlı ve çevrimdışı çalışmasını sağlar.
Resmi Ultralytics YOLO Flutter eklentisi, Android üzerinde kutudan çıktığı gibi LiteRT .tflite dışa aktarımlarını çalıştırır: derinlik dahil tüm yedi YOLO26 görevi için gerçek zamanlı kamera çıkarımı, tek görüntü tahmini, GPU hızlandırma ve otomatik model indirme. Apple cihazlar için CoreML dışa aktarımını kullan; Qualcomm Snapdragon NPU'lar için Qualcomm QNN entegrasyonuna göz at.
Sınıflandırma modellerini imgsz=224 konumunda dışa aktar. Tespit, bölütleme, anlamsal (semantic), derinlik, poz ve OBB modellerini
imgsz=640 konumunda dışa aktar. Bu 224/640 standardı resmi LiteRT, CoreML ve QNN mobil varlıkları tarafından paylaşılır.
Resmi Ultralytics YOLO NPM package, LiteRT .tflite çıktılarını doğrudan tarayıcıda LiteRT.js aracılığıyla -sunucu veya Python gerektirmeden- altı YOLO26 görevinin (tespit, segmentasyon, poz, OBB, sınıflandırma, semantik) tamamında gerçek zamanlı web kamerası çıkarımı, tekli görsel tahmini ve WebGPU hızlandırması (otomatik CPU/WASM yedeklemesi) ile çalıştırır. WebGPU üzerinde genellikle ONNX Runtime Web'den ~2 kat daha hızlıdır.
npm i @ultralytics/yolo @litertjs/coreNeden LiteRT'ye Dışa Aktarmalısın?#
LiteRT, uç bilişim (edge computing) olarak da bilinen, cihaz içi çıkarım için tasarlanmış açık kaynaklı bir çerçevedir. Geliştiricilere eğitilmiş modelleri mobil, gömülü ve IoT cihazlarda, geleneksel bilgisayarlarda ve —LiteRT.js aracılığıyla— doğrudan web tarayıcılarında ve Node.js'te çalıştırma araçları verir.
Tek bir model formatı, her hedef platform:
- Mobil ve Gömülü: Android, iOS, gömülü Linux ve mikrodenetleyiciler (MCU'lar).
- Uç hızlandırıcılar (Edge accelerators): Daha fazla hızlandırma için Coral Edge TPU ile uyumludur.
- Tarayıcı ve Node.js: LiteRT.js, aynı
.tflitemodelini web üzerinde WebGPU/WASM hızlandırmasıyla çalıştırır; bu da ayrı bir TensorFlow.js dışa aktarımına olan ihtiyacı ortadan kaldırır.
LiteRT Modellerinin Temel Özellikleri#
- Cihaz İçi Optimizasyon: Verileri yerel olarak işleyerek gecikmeyi azaltır, kişisel verileri iletmeyerek gizliliği artırır ve alan kazanmak için model boyutunu minimize eder.
- Çoklu Platform Desteği: Android, iOS, gömülü Linux, mikrodenetleyiciler ve modern web tarayıcılarında çalışır.
- Donanım Hızlandırma: CPU üzerinde XNNPACK'ten, OpenCL, Metal ve WebGPU aracılığıyla GPU hızlandırmasından yararlanır. GPU temsilcisi, ekstra hız için varsayılan olarak FP16 modunda çalışır.
- Nicemleme: Modelleri sıkıştırmak ve minimum accuracy kaybıyla çıkarımı hızlandırmak için FP32, statik INT8 (
quantize=8, int8 ağırlıklar + int8 aktivasyonlar), statik INT16-aktivasyon (quantize="w8a16", daha yüksek doğruluk için int8 ağırlıklar + int16 aktivasyonlar) ve dinamik INT8 (quantize="w8a32", int8 ağırlıklar + FP32 aktivasyonlar, kalibrasyon verisi gerekmez) destekler. - Çeşitli Dil Desteği: Java/Kotlin, Swift, Objective-C, C++, Python ve JavaScript ile uyumludur.
Ölçülen Performans#
Donanım: 12 GB LPDDR5X belleğe ve Android 16 / API 36'ya sahip Xiaomi 17. 3 nm Snapdragon 8 Elite Gen 5 (SM8850) yongası; 8 çekirdekli Qualcomm Oryon CPU'ya (4,6 GHz'e kadar 2 Prime çekirdek ve 3,62 GHz'e kadar 6 Performans çekirdeği), Adreno GPU'ya ve Hexagon NPU'ya sahiptir.
| Model | Görev | boyut (piksel) | CPU w8a32 LiteRT (ms) | GPU w8a32 LiteRT (ms) |
|---|---|---|---|---|
| YOLO26n | Algıla | 640 | 52.2 1.8 / 48.1 / 2.4 | 15.8 2.3 / 8.9 / 4.6 |
| YOLO26n-seg | Segment | 640 | 73.4 1.8 / 65.6 / 6.0 | 33.2 1.8 / 23.8 / 7.6 |
| YOLO26n-sem | Anlamsal | 640 | 61.2 1.8 / 51.1 / 8.3 | 34.2 1.8 / 24.0 / 8.3 |
| YOLO26n-depth | Depth | 640 | 124.4 1.9 / 115.1 / 7.4 | 23.0 1.8 / 13.5 / 7.7 |
| YOLO26n-cls | Sınıflandır | 224 | 4.4 0.4 / 4.0 / 0.0 | 3.1 0.8 / 2.1 / 0.2 |
| YOLO26n-pose | Pose | 640 | 57.4 1.8 / 53.8 / 1.8 | 16.6 2.7 / 10.1 / 3.9 |
| YOLO26n-obb | OBB | 640 | 50.3 1.8 / 47.2 / 1.4 | 11.7 1.8 / 7.8 / 2.0 |
- Hız değerleri tek görüntü patlama gecikmeleridir —
bus.jpgüzerinde 3 ısınma çalışmasından sonra 15 çalışmanın ortalamasıdır, Ultralytics Flutter eklentisi0.6.10ve standartlaştırılmışv0.6.6varlıklarıyla ölçülmüştür. CPU/GPU sırası, tek bir ardışık taramada görevler arasında değişti. Yerel günlükler (logs), her CPU satırının LiteRT CPU/XNNPACK kullandığını ve her GPU satırının tüm grafiği LiteRT OpenCL'ye devrettiğini (LITERT_CL) doğruladı. - LiteRT dışa aktarımı PyTorch modelini doğrudan izler ve kayan nokta (float) girişine sahip bir NCHW
.tfliteüretir; GPU temsilcisi (delegate) tüm grafiği derler (burada yedi görevin tamamı Adreno GPU üzerinde çalışır) vew8a32kalibrasyon verisine ihtiyaç duymaz. Tüketiciler, eski onnx2tf NHWC düzenini veyaIdentityçıkış adlarını varsaymak yerine tensör şekillerini ve imza adlarını okumalıdır; RGB verilerini doğrudan düzlemsel CHW olarak paketleyin veya çıkarımdan önce transpoze edin. Anlamsal dışa aktarımlar NCHW logit'leri döndürür ve tarafınızda (host-side) sınıf argmax'ı gerektirir. Resmi Android varlıkları yolo-flutter-appv0.6.6sürümünde barındırılmaktadır ve ayrıntılı kıyaslama (benchmark) kaydı Flutter performans dokümanında yer almaktadır. - Eşleşen Snapdragon Hexagon NPU ve LiteRT CPU/GPU sayıları Qualcomm QNN entegrasyonunda bulunmaktadır.
- Apple CPU/hızlandırıcı sonuçlarını CoreML entegrasyonunda karşılaştır.
Aşağıdaki cihaz taramaları aynı standartlaştırılmış v0.6.6 varlıklarını kullanır.
Google Pixel 10#
Donanım: 12 GB belleğe ve Android 16 / API 36'ya sahip Google Pixel 10. 3 nm Google Tensor G5 yongası; 8 çekirdekli bir CPU'ya (3,78 GHz'e kadar 1 Prime çekirdek, 3,05 GHz'e kadar 5 Performans çekirdeği ve 2,25 GHz'e kadar 2 Verimlilik çekirdeği), PowerVR D-Series GPU'ya ve Google TPU'ya sahiptir. Çekirdek hızları ve GPU sürücü adı, Google bunları bağlantılı teknik özelliklerde yayınlamadığı için kıyaslama cihazından okunmuştur.
| Model | Görev | boyut (piksel) | CPU w8a32 LiteRT (ms) | GPU w8a32 LiteRT (ms) |
|---|---|---|---|---|
| YOLO26n | Algıla | 640 | 53.3 1.5 / 50.2 / 1.6 | 45.5 3.8 / 37.7 / 4.0 |
| YOLO26n-seg | Segment | 640 | 87.7 1.8 / 78.5 / 7.5 | 50.9 3.0 / 36.9 / 10.9 |
| YOLO26n-sem | Anlamsal | 640 | 68.6 1.5 / 59.0 / 8.0 | 71.6 1.5 / 59.5 / 10.6 |
| YOLO26n-depth | Depth | 640 | 120.3 1.5 / 112.5 / 6.3 | 52.5 2.0 / 37.5 / 13.0 |
| YOLO26n-cls | Sınıflandır | 224 | 4.0 0.3 / 3.4 / 0.2 | 17.6 0.9 / 16.7 / 0.1 |
| YOLO26n-pose | Pose | 640 | 59.7 1.5 / 57.0 / 1.2 | 46.6 3.8 / 39.2 / 3.5 |
| YOLO26n-obb | OBB | 640 | 52.0 1.5 / 48.9 / 1.7 | 45.5 4.0 / 38.5 / 2.9 |
Benchmark: Mean of 15 predict() calls after 3 warmups on bus.jpg, using ultralytics_yolo 0.6.10 and the
official v0.6.6 assets. CPU/GPU order alternates between tasks in one sequential sweep. Native logs confirmed that
every CPU row used LiteRT CPU/XNNPACK and every GPU row delegated the complete graph to LiteRT OpenCL (LITERT_CL).
Samsung Galaxy S26#
Donanım: 12 GB belleğe ve Android 16 / API 36'ya sahip Samsung Galaxy S26 (SM-S942B). 2 nm Exynos 2600 yongası; 10 çekirdekli Armv9.3 CPU'ya (3,8 GHz'e kadar 1 C1-Ultra çekirdek, 3,26 GHz'e kadar 3 performans C1-Pro çekirdeği ve 2,76 GHz'e kadar 6 verimlilik C1-Pro çekirdeği), Xclipse 960 GPU'ya ve Samsung NPU'ya sahiptir.
| Model | Görev | boyut (piksel) | CPU w8a32 LiteRT (ms) | GPU w8a32 LiteRT (ms) |
|---|---|---|---|---|
| YOLO26n | Algıla | 640 | 36.7 1.3 / 33.8 / 1.7 | 16.4 1.4 / 12.3 / 2.6 |
| YOLO26n-seg | Segment | 640 | 54.6 1.2 / 48.0 / 5.3 | 32.8 1.3 / 24.5 / 7.0 |
| YOLO26n-sem | Anlamsal | 640 | 47.8 1.2 / 38.4 / 8.1 | 34.2 1.3 / 24.9 / 8.0 |
| YOLO26n-depth | Depth | 640 | 92.9 1.2 / 84.8 / 6.9 | 33.5 1.3 / 22.4 / 9.8 |
| YOLO26n-cls | Sınıflandır | 224 | 2.7 0.2 / 2.3 / 0.2 | 2.6 0.2 / 2.4 / 0.0 |
| YOLO26n-pose | Pose | 640 | 42.8 1.3 / 40.5 / 1.0 | 18.4 1.4 / 14.1 / 2.9 |
| YOLO26n-obb | OBB | 640 | 37.5 1.3 / 35.1 / 1.2 | 18.8 2.5 / 14.6 / 1.8 |
Benchmark: Mean of 15 predict() calls after 3 warmups on bus.jpg, using ultralytics_yolo 0.6.10 and the
official v0.6.6 assets. CPU/GPU order alternates between tasks in one sequential sweep. Native logs confirmed that
every CPU row used LiteRT CPU/XNNPACK and every GPU row delegated the complete graph to LiteRT OpenCL (LITERT_CL).
Xiaomi 17T Pro#
Donanım: 12 GB LPDDR5X belleğe ve Android 16 / API 36'ya sahip Xiaomi 17T Pro (2602EPTC0G). 3 nm MediaTek Dimensity 9500 (MT6993) yongası; 8 çekirdekli Armv9.3 CPU'ya (4,21 GHz'e kadar 1 C1-Ultra çekirdek, 3,5 GHz'e kadar 3 C1-Premium çekirdek ve 2,7 GHz'e kadar 4 C1-Pro çekirdek), Mali-G1 Ultra MC12 GPU'ya ve MediaTek NPU 990'a sahiptir.
| Model | Görev | boyut (piksel) | CPU w8a32 LiteRT (ms) | GPU w8a32 LiteRT (ms) |
|---|---|---|---|---|
| YOLO26n | Algıla | 640 | 45.4 1.3 / 42.1 / 2.0 | 26.6 1.9 / 22.0 / 2.7 |
| YOLO26n-seg | Segment | 640 | 126.2 2.6 / 113.9 / 9.7 | 46.7 2.6 / 33.3 / 10.8 |
| YOLO26n-sem | Anlamsal | 640 | 117.9 2.6 / 98.8 / 16.5 | 74.3 2.6 / 54.7 / 17.0 |
| YOLO26n-depth | Depth | 640 | 182.4 2.5 / 167.6 / 12.3 | 47.8 2.5 / 32.3 / 12.9 |
| YOLO26n-cls | Sınıflandır | 224 | 6.2 0.4 / 5.3 / 0.4 | 7.4 0.4 / 6.9 / 0.1 |
| YOLO26n-pose | Pose | 640 | 97.6 2.5 / 93.3 / 1.8 | 28.6 2.5 / 23.3 / 2.8 |
| YOLO26n-obb | OBB | 640 | 91.5 2.6 / 85.8 / 3.2 | 27.5 2.7 / 21.8 / 2.9 |
Benchmark: Mean of 15 predict() calls after 3 warmups on bus.jpg, using ultralytics_yolo 0.6.10 and the
official v0.6.6 assets. CPU/GPU order alternates between tasks in one sequential sweep. Native logs confirmed that
every CPU row used LiteRT CPU/XNNPACK and every GPU row delegated the complete graph to LiteRT OpenCL (LITERT_CL).
Desteklenen Görevler#
LiteRT dışa aktarımı, yedi Ultralytics görevinin tamamını destekler. Anlamsal segmentasyon ve derinlik tahmini yalnızca, bu başlıklarla gelen tek aile olan YOLO26 ile kullanılabilir.
| Görev | YOLOv8 | YOLO11 | YOLO26 |
|---|---|---|---|
| Algıla | ✅ | ✅ | ✅ |
| Segmentlere Ayır | ✅ | ✅ | ✅ |
| Anlamsal | ❌ | ❌ | ✅ |
| Derinlik | ❌ | ❌ | ✅ |
| Sınıflandır | ✅ | ✅ | ✅ |
| Poz | ✅ | ✅ | ✅ |
| OBB | ✅ | ✅ | ✅ |
LiteRT'ye Aktarım: YOLO Modelini Dönüştürme#
Modellerini LiteRT formatına dönüştürerek cihaz üzerindeki çalıştırma verimliliğini artırabilir ve dağıtım seçeneklerini genişletebilirsin.
Kurulum#
Gerekli paketi yüklemek için şunu çalıştır:
# Install the required package for YOLO
pip install ultralyticsAyrıntılı talimatlar ve en iyi uygulamalar için Ultralytics Kurulum kılavuzumuza göz at. Herhangi bir zorlukla karşılaşırsan Yaygın Sorunlar kılavuzumuza bak.
LiteRT dışa aktarımı şu anda Linux x86_64 ve macOS üzerinde desteklenmektedir. Dışarı aktarılan .tflite modelinin kendisi LiteRT tarafından desteklenen tüm platformlarda (mobil, gömülü, uç ve tarayıcı) çalışır.
Kullanım#
Tüm Ultralytics YOLO modelleri kutudan çıktığı gibi dışa aktarmayı destekler. LiteRT formatı Export, Predict ve Validate modlarını destekler; böylece bir modeli dışa aktarabilir, ardından çıkarım çalıştırmak veya doğruluğunu yerel olarak doğrulamak için yükleyebilirsin.
from ultralytics import YOLO
# Load a YOLO26 model
model = YOLO("yolo26n.pt")
# Export the model to LiteRT format
model.export(format="litert", imgsz=640) # use imgsz=224 for classificationfrom ultralytics import YOLO
model = YOLO("yolo26n.pt")
# Dynamic INT8: int8 weights, FP32 activations - no calibration data needed
model.export(format="litert", quantize="w8a32", imgsz=640) # use imgsz=224 for classification
# Static INT8: int8 weights + int8 activations - needs calibration data
model.export(format="litert", quantize=8, data="coco8.yaml", imgsz=640) # use 224 for classification
# Static w8a16: int8 weights + int16 activations (higher accuracy) - needs calibration data
model.export(format="litert", quantize="w8a16", data="coco8.yaml", imgsz=640) # use 224 for classificationfrom ultralytics import YOLO
# Load the exported LiteRT model
model = YOLO("yolo26n.tflite")
# Run inference
results = model("https://ultralytics.com/images/bus.jpg")from ultralytics import YOLO
# Load the exported LiteRT model
model = YOLO("yolo26n.tflite")
# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")Dışa Aktarma Argümanları#
| Argüman | Tip | Varsayılan | Açıklama |
|---|---|---|---|
format | str | 'litert' | Çeşitli dağıtım ortamlarıyla uyumluluğu tanımlayan, dışa aktarılan model için hedef format. |
imgsz | int veya tuple | 640 | Model girişi için istenen görüntü boyutu. Kare görüntüler için bir tamsayı veya belirli boyutlar için bir (height, width) demeti (tuple) olabilir. |
quantize | int veya str | None | Kuantizasyon hassasiyeti: 8 (statik INT8, int8 ağırlıklar + int8 aktivasyonlar; kalibrasyon data/fraction gerektirir), 'w8a16' (statik, int8 ağırlıklar + int16 aktivasyonlar; kalibrasyon data/fraction gerektirir), 'w8a32' (dinamik INT8, int8 ağırlıklar + FP32 aktivasyonlar; kalibrasyon gerekmez) veya 32/ayarlanmamış (FP32). FP16 ayrı olarak dışa aktarılmaz (aşağıdaki nota bakın). Kullanımdan kaldırılan half/int8 bayraklarının yerini alır. |
batch | int | 1 | Dışa aktarılan modelin toplu çıkarım boyutunu veya dışa aktarılan modelin predict modunda aynı anda işleyeceği maksimum görüntü sayısını belirtir. |
data | str | None | INT8 kalibrasyonu için kullanılan veri kümesi YAML'ı; sınıflandırma bunun yerine bir veri kümesi dizini veya yerleşik bir veri kümesi adı alır. quantize=8 veya 'w8a16' ile atlanırsa, Ultralytics model görevi için varsayılan kalibrasyon veri kümesini seçer. |
device | str | None | Dışa aktarma için cihazı belirtir. LiteRT dışa aktarımı CPU üzerinde çalışır (device=cpu). |
Eski tflite dışa aktarımının aksine LiteRT, ayrı bir FP16 dışa aktarımı gerektirmez. Bir GPU temsilcisi (WebGPU, OpenCL, Metal) kullanıldığında FP32 .tflite modeli çalışma zamanında yarı hassasiyette (half precision) çalışır; bu, FP16 çıkarımı için resmi LiteRT yaklaşımıdır.
Dışa aktarım süreci hakkında daha fazla ayrıntı için Ultralytics documentation page on exporting sayfasını ziyaret edin.
Dışa Aktarılan YOLO LiteRT Modellerini Dağıtma#
Ultralytics YOLO modelini LiteRT'ye aktardıktan sonra, onu platformlar arasında dağıtabilirsin. Yerel olarak doğrulamanın en hızlı yolu yukarıda gösterilen YOLO("yolo26n.tflite") yöntemidir. Diğer ortamlardaki dağıtımlar için aşağıdaki kaynaklara bakın:
Mobil ve Gömülü#
- Android: LiteRT'yi Android uygulamalarına entegre etmek için hızlı başlangıç kılavuzu.
- iOS: LiteRT modellerini iOS uygulamalarına entegre etmek ve dağıtmak için bir kılavuz.
- Gömülü Linux ve Raspberry Pi: LiteRT modellerini tek kartlı bilgisayarlarda çalıştırın, isteğe bağlı olarak Coral Edge TPU ile hızlandırın.
- Mikrodenetleyiciler: Yalnızca birkaç kilobayt belleğe sahip MCU'lara dağıtın — temel çalışma zamanı bir Arm Cortex-M3 üzerinde yaklaşık 16 KB'a sığar.
Tarayıcı ve Node.js (LiteRT.js)#
- LiteRT.js genel bakışı: Aynı
.tflitemodelini WebGPU/WASM hızlandırmasıyla doğrudan tarayıcıda veya Node.js uygulamasında çalıştırın, sunucu tarafı hesaplamayı ortadan kaldırın ve verileri kullanıcının cihazında tutun. - Uçtan Uca Örnekler: LiteRT'yi mobil, uç ve web genelinde uygulamak için pratik örnekler ve öğreticiler.
Özet#
Bu kılavuzda, Ultralytics YOLO modellerinin LiteRT formatına nasıl dışa aktarılacağını ele aldık. Mobil/uç (eski adıyla TFLite) ve tarayıcı (eski adıyla TF.js) dağıtımını tek bir .tflite modelinde birleştirerek LiteRT, YOLO modellerini daha hızlı, daha küçük ve neredeyse tüm cihaz içi hedeflerde taşınabilir hale getirir.
Daha fazla ayrıntı için LiteRT resmi dokümantasyonunu ziyaret et.
Ayrıca diğer Ultralytics YOLO entegrasyonlarını merak ediyorsan, birçok faydalı kaynak için entegrasyon kılavuzu sayfamıza göz at.
SSS#
Bir YOLO modelini LiteRT formatına nasıl aktarırım?#
Bir YOLO modelini LiteRT'ye (.tflite) dışa aktarmak için Ultralytics kütüphanesini kullan. Önce paketi yükle:
pip install ultralyticsArdından modelini dışa aktar:
from ultralytics import YOLO
# Load a YOLO26 model
model = YOLO("yolo26n.pt")
# Export the model to LiteRT format
model.export(format="litert", imgsz=640) # use imgsz=224 for classificationCLI kullanıcıları için:
yolo export model=yolo26n.pt format=litert imgsz=640 # use imgsz=224 for classificationDaha fazla ayrıntı için Ultralytics dışa aktarma kılavuzunu ziyaret et.
LiteRT, TFLite ve TF.js arasındaki fark nedir?#
LiteRT, TensorFlow Lite'ın yeni adıdır — aynı .tflite model formatı, aynı çalışma zamanı soy zinciri, Google tarafından yeniden markalandırıldı. Ultralytics'te tek litert dışa aktarma formatı artık önceden iki ayrı format gerektiren her iki kullanım durumunu da kapsamaktadır:
- Eski
tfliteformatı → mobil, gömülü ve uç (edge) dağıtımı. - Eski
tfjsformatı → tarayıcı ve Node.js dağıtımı; artık aynı.tflitedosyasını çalıştıran LiteRT.js tarafından yönetiliyor.
Mevcut bir .tflite dosyan varsa, onu doğrudan YOLO("model.tflite") ile yükleyebilirsin ve LiteRT arka ucu (backend) üzerinden çalışacaktır.
YOLO LiteRT modellerini Raspberry Pi üzerinde çalıştırabilir miyim?#
Evet. Modelini LiteRT formatına aktar, ardından çıkarım hızlarını artırmak için bir Raspberry Pi üzerinde çalıştır. Daha fazla optimizasyon için Coral Edge TPU düşün. Ayrıntılı adımlar için Raspberry Pi dağıtım kılavuzumuza bakın.
YOLO modellerini tarayıcıda LiteRT ile çalıştırabilir miyim?#
Evet. LiteRT.js, dışarı aktarılan aynı .tflite modelini WebGPU/WASM hızlandırmasıyla doğrudan bir web tarayıcısında veya Node.js uygulamasında çalıştırır. Bu, önceki TensorFlow.js iş akışının yerini alır — ayrı bir tarayıcı dışa aktarımı yoktur, LiteRT modelini LiteRT.js çalışma zamanı ile dağıtmanız yeterlidir.
LiteRT FP16 (yarım hassasiyet) çıkarımını destekler mi?#
Evet — çalışma zamanında. Bir FP32 LiteRT modeli, resmi LiteRT yaklaşımı olan bir GPU temsilcisi (WebGPU, OpenCL veya Metal) üzerinde yürütüldüğünde otomatik olarak FP16'da çalışır. Bu nedenle özel bir FP16 dışa aktarımına ihtiyacın yoktur; daha fazla sıkıştırma için quantize=8 ile INT8 kuantizasyonu kullan.
LiteRT dışa aktarımı sırasında yaygın sorunları nasıl gideririm?#
YOLO modellerini LiteRT'ye aktarırken hatalarla karşılaşırsan, yaygın çözümler şunlardır:
- Platformu kontrol et: LiteRT dışa aktarımı Linux x86_64 ve macOS üzerinde desteklenir. Ortamının uyumlu olduğunu doğrula.
- Paket uyumluluğunu kontrol et: Ultralytics'in uyumlu bir sürümünü kullandığından emin ol. Kurulum kılavuzumuza bakın.
- Kuantizasyon sorunları: INT8 kuantizasyonu kullanırken, veri kümesi yolunun
dataparametresinde doğru şekilde belirtildiğinden emin ol.
Ek sorun giderme ipuçları için Yaygın Sorunlar kılavuzumuzu ziyaret et.