Dağıtım için TFLite Modeli Dışa Aktarma (Kullanımdan Kaldırıldı)#

Bilgisayarlı görü modellerini uç cihazlara veya gömülü cihazlara dağıtmak, sorunsuz performansı güvence altına alabilecek bir biçim gerektirir.

Önceki TensorFlow Lite veya TFLite dışa aktarma biçimi, Ultralytics YOLO26 modellerini uç uygulamalardaki nesne algılama ve görüntü sınıflandırma gibi görevler için optimize ediyordu. Bu kılavuz, eski TFLite dağıtım bağlamını korur; yeni dışa aktarımlar için LiteRT kullan.

Dışa Aktarma için Neden TFLite Kullanıldı?#

Google tarafından Mayıs 2017'de TensorFlow çatılarının bir parçası olarak sunulan TensorFlow Lite, kısaca TFLite, cihaz üzerinde çıkarım için tasarlanmış ve uç bilişim olarak da bilinen açık kaynaklı bir derin öğrenme çatısıydı. Geliştiricilere eğitilmiş modelleri mobil, gömülü ve IoT cihazlarında, ayrıca geleneksel bilgisayarlarda çalıştırmak için araçlar sundu.

TensorFlow Lite; gömülü Linux, Android, iOS ve mikrodenetleyiciler (MCU'lar) dahil olmak üzere çok çeşitli platformları destekliyordu. TFLite dışa aktarımları, uygulamaların modelleri yerel olarak ve çevrimdışı çalıştırmasını sağlıyordu.

TFLite Modellerinin Temel Özellikleri#

TFLite modelleri, geliştiricilerin modellerini mobil, gömülü ve uç cihazlarda çalıştırmasına yardımcı olarak cihaz üzerinde makine öğrenimini mümkün kılan çok çeşitli temel özellikler sunar:

• Cihaz Üzerinde Optimizasyon: TFLite, cihaz üzerinde makine öğrenimi için optimizasyon yapar; verileri yerel olarak işleyerek gecikmeyi azaltır, kişisel verileri aktarmayarak gizliliği artırır ve yerden tasarruf etmek için model boyutunu küçültür.

• Birden Fazla Platform Desteği: TFLite; Android, iOS, gömülü Linux ve mikrodenetleyicileri destekleyerek geniş bir platform uyumluluğu sunar.

• Çeşitli Programlama Dili Desteği: TFLite; Java, Swift, Objective-C, C++ ve Python dahil olmak üzere çeşitli programlama dilleriyle uyumludur.

• Yüksek Performans: Donanım hızlandırma ve model optimizasyonu sayesinde üstün performans sağlar.

Ölçülen Performans (geçmiş veriler)#

Her iki biçim de gösterilen giriş boyutlarında art arda aynı GPU taramasında çalıştı. Her hücre toplam süreyi (ön işleme + çıkarım + son işleme), altında ise aşama bazında süre dağılımını gösterir; yerel günlükler her iki biçimin de tüm grafiği Adreno GPU üzerinde LiteRT OpenCL (LITERT_CL) üzerinden çalıştırdığını doğruladı.

Aynı taşıma çalışmasında YOLO26n detect nicemleme biçimleri de karşılaştırıldı. Biçime bağlı olduğu için karşılaştırılabilir ölçüt çıkarım süresidir:

Bu çalışmada w8a16, yaklaşık 660 ms toplam süreyle CPU'ya geri dönerken GPU biçimleri yaklaşık 17 ms sürdü. Bu sonuçlar w8a32 biçiminin dağıtıma alınmasını sağladı; ancak delege uyumluluğu ve performansı cihaza ve çalışma zamanı sürümüne bağlıdır. Hedef cihazı kıyaslama testine tabi tut ve hızlandırıcının kullanıldığını çalışma zamanı günlüklerinden doğrula.

TFLite'da Dağıtım Seçenekleri#

LiteRT ile değiştirilmiş dışa aktarma örneğine bakmadan önce, TFLite modellerinin normalde nasıl kullanıldığını anlayalım.

TFLite, makine öğrenimi modelleri için aşağıdakiler dahil çeşitli cihaz üzerinde dağıtım seçenekleri sunar:

• Android ve iOS ile Dağıtım: TFLite kullanan Android ve iOS uygulamaları, uç tabanlı kamera akışlarını ve sensörleri analiz ederek nesneleri algılayabilir ve tanımlayabilir. TFLite ayrıca Swift ve Objective-C ile yazılmış yerel iOS kitaplıkları da sunar. Aşağıdaki mimari diyagramı, TensorFlow Lite kullanarak eğitilmiş bir modelin Android ve iOS platformlarına dağıtım sürecini gösterir.

• Gömülü Linux ile Uygulama: Bir Raspberry Pi üzerinde çıkarım çalıştırmak için Ultralytics Kılavuzu kullanmak senin kullanım senaryonun hız gereksinimlerini karşılamıyorsa, çıkarım sürelerini hızlandırmak için dışa aktarılmış bir TFLite modeli kullanabilirsin. Ayrıca, bir Coral Edge TPU cihazı kullanarak performansı daha da artırabilirsin.

• Mikrodenetleyicilerle Dağıtım: TFLite modelleri, mikrodenetleyicilere ve yalnızca birkaç kilobayt belleğe sahip diğer cihazlara da dağıtılabilir. Temel çalışma zamanı, Arm Cortex M3 üzerinde yalnızca 16 KB yer kaplar ve birçok temel modeli çalıştırabilir. İşletim sistemi desteği, standart C veya C++ kitaplıkları ya da dinamik bellek ayırma gerektirmez.

TFLite Dışa Aktarımını LiteRT ile Değiştir#

Yeni dışa aktarımlar için modelini LiteRT'ye dönüştür. Ortaya çıkan model, .tflite dosya uzantısını korur.

Kurulum#

Gerekli paketleri yüklemek için şunu çalıştır:

# Install the required package for YOLO26
pip install ultralytics

Kurulum süreciyle ilgili ayrıntılı talimatlar ve en iyi uygulamalar için Ultralytics Kurulum kılavuzumuza göz at. YOLO26 için gerekli paketleri yüklerken zorluk yaşarsan çözüm ve ipuçları için Yaygın Sorunlar kılavuzumuza başvur.

Kullanım#

Tüm Ultralytics YOLO26 modelleri, kutudan çıktığı gibi dışa aktarmayı destekleyecek şekilde tasarlanmıştır; bu sayede tercih ettiğin dağıtım iş akışına kolayca entegre edebilirsin. Uygulaman için en uygun kurulumu seçmek üzere desteklenen dışa aktarma biçimlerinin ve yapılandırma seçeneklerinin tam listesini görüntüleyebilirsin.

LiteRT ile değiştirilmiş biçim Dışa Aktar, Tahmin ve Doğrula modlarını destekler. Modelini dışa aktar, ardından çıkarım yapmak veya doğruluğunu doğrulamak için dışa aktarılan .tflite modelini yükle.

from ultralytics import YOLO

# YOLO26 modelini yükle
model = YOLO("yolo26n.pt")

# Modeli LiteRT biçimine aktar
model.export(format="litert", imgsz=640)  # sınıflandırma için imgsz=224 kullan

from ultralytics import YOLO

# Dışa aktarılan TFLite modelini yükle
model = YOLO("yolo26n.tflite")

# Çıkarımı çalıştır
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Dışa aktarılan TFLite modelini yükle
model = YOLO("yolo26n.tflite")

# COCO8 veri kümesinde doğruluğu doğrula
metrics = model.val(data="coco8.yaml")

Dışa Aktarma Bağımsız Değişkenleri#

Dışa aktarma süreci hakkında daha fazla bilgi için Ultralytics dışa aktarma belgeleri sayfasını ziyaret et.

Dışa Aktarılan YOLO26 TFLite Modellerini Dağıtma#

Ultralytics YOLO26 modelini LiteRT biçimine dışa aktardıktan sonra ortaya çıkan .tflite modelini dağıtabilirsin. Bir TFLite modeli çalıştırırken önerilen ilk adım, önceki kullanım kodu örneğinde açıklandığı gibi YOLO("model.tflite") yöntemini kullanmaktır. Ancak TFLite modellerini başka çeşitli ortamlarda dağıtmaya ilişkin ayrıntılı talimatlar için aşağıdaki kaynaklara göz at:

• Android: Android uygulamalarına TensorFlow Lite'ı entegre etmek, makine öğrenimi modellerini kurmak ve çalıştırmak için kolayca izleyebileceğin adımlar sunan bir hızlı başlangıç kılavuzu.

• iOS: TensorFlow Lite modellerini iOS uygulamalarına entegre etme ve dağıtma konusunda adım adım talimatlar ve kaynaklar sunan bu ayrıntılı geliştirici kılavuzuna göz at.

• Uçtan Uca Örnekler: Bu sayfada, TensorFlow Lite'ı mobil ve uç cihazlardaki makine öğrenimi projelerinde uygulamana yardımcı olmak için tasarlanmış pratik uygulamalar ve eğitimlerle çeşitli TensorFlow Lite örneklerine genel bir bakış sunulur.

Özet#

Bu kılavuz, eski TFLite dağıtım iş akışını korur. Yeni dışa aktarımlar için uç bilişim ortamlarına yönelik .tflite modelleri oluşturmak üzere LiteRT kullan.

Kullanımla ilgili daha fazla ayrıntı için TFLite'ın resmi belgelerini ziyaret et.

Ayrıca, diğer Ultralytics YOLO26 entegrasyonlarını merak ediyorsan entegrasyon kılavuzu sayfamıza göz at. Orada pek çok faydalı bilgi ve ipucu bulabilirsin.

Sık Sorulan Sorular#