Dağıtım için TFLite Modeli Dışa Aktarma (Kullanımdan kaldırıldı)#

Bilgisayarlı görü modellerini uç cihazlarda veya gömülü cihazlarda dağıtmak, sorunsuz performans sağlayabilecek bir biçim gerektirir.

Önceki TensorFlow Lite veya TFLite dışa aktarma biçimi, Ultralytics YOLO26 modellerini uç uygulamalarda nesne algılama ve görüntü sınıflandırma gibi görevler için optimize ediyordu. Bu kılavuz eski TFLite dağıtım bağlamını korur; yeni dışa aktarmalar için LiteRT kullan.

TFLite neden dışa aktarma için kullanılıyordu?#

Google tarafından Mayıs 2017'de TensorFlow çatısının bir parçası olarak tanıtılan TensorFlow Lite, kısaca TFLite, uç bilişim olarak da bilinen cihaz üzerinde çıkarım için tasarlanmış açık kaynaklı bir derin öğrenme çatısıydı. Geliştiricilere eğitilmiş modelleri mobil, gömülü ve IoT cihazlarının yanı sıra geleneksel bilgisayarlarda çalıştırma araçları sağladı.

TensorFlow Lite; gömülü Linux, Android, iOS ve mikrodenetleyiciler (MCU'lar) dâhil olmak üzere çok çeşitli platformları destekliyordu. TFLite dışa aktarmaları, uygulamaların modelleri yerel olarak ve çevrimdışı çalıştırmasını sağlıyordu.

TFLite Modellerinin Temel Özellikleri#

TFLite modelleri, geliştiricilerin modellerini mobil, gömülü ve uç cihazlarda çalıştırmasına yardımcı olarak cihaz üzerinde makine öğrenmesini mümkün kılan çok çeşitli temel özellikler sunar:

• Cihaz Üzerinde Optimizasyon: TFLite, cihaz üzerinde makine öğrenmesi için optimizasyon yapar; verileri yerel olarak işleyerek gecikmeyi azaltır, kişisel verileri aktarmayarak gizliliği artırır ve yer kazanmak için model boyutunu küçültür.

• Birden Çok Platform Desteği: TFLite, Android, iOS, gömülü Linux ve mikrodenetleyicileri destekleyerek geniş platform uyumluluğu sunar.

• Çeşitli Dil Desteği: TFLite; Java, Swift, Objective-C, C++ ve Python dâhil olmak üzere çeşitli programlama dilleriyle uyumludur.

• Yüksek Performans: Donanım hızlandırma ve model optimizasyonu sayesinde üstün performans sağlar.

Ölçülen Performans (geçmişe dönük)#

Her iki biçim de gösterilen giriş boyutlarında aynı arka arkaya GPU taramasında çalıştırıldı. Her hücre, toplam süreyi (ön işleme + çıkarım + son işleme) ve altında aşama başına ayrımı gösterir; yerel günlükler her iki biçimin de tam grafiği Adreno GPU üzerindeki LiteRT OpenCL'e (LITERT_CL) devrettiğini doğruladı.

Aynı geçiş çalışması YOLO26n algılama niceleme biçimlerini de karşılaştırdı. Karşılaştırılabilir ve biçime bağlı metrik çıkarımdır:

Bu çalıştırmada w8a16, GPU biçimlerindeki yaklaşık 17 ms'ye kıyasla toplamda yaklaşık 660 ms ile CPU'ya geri döndü. Bu sonuçlar w8a32 sürümünün gönderilmesine yol açtı; ancak delege uyumluluğu ve performansı cihaza ve çalışma zamanı sürümüne bağlıdır. Hedef cihazı kıyasla ve hızlandırıcının çalışma zamanı günlüklerindeki yerleşimini doğrula.

TFLite'ta Dağıtım Seçenekleri#

LiteRT yerine geçen dışa aktarma örneğine bakmadan önce TFLite modellerinin normalde nasıl kullanıldığını anlayalım.

TFLite, makine öğrenmesi modelleri için aşağıdakiler dâhil olmak üzere çeşitli cihaz üzerinde dağıtım seçenekleri sunar:

• Android ve iOS ile Dağıtım: TFLite kullanan hem Android hem de iOS uygulamaları, nesneleri algılamak ve tanımlamak için uç tabanlı kamera akışlarını ve sensörleri analiz edebilir. TFLite ayrıca Swift ve Objective-C ile yazılmış yerel iOS kitaplıkları sunar. Aşağıdaki mimari diyagram, TensorFlow Lite kullanarak eğitilmiş bir modelin Android ve iOS platformlarına dağıtılma sürecini gösterir.

• Gömülü Linux ile Uygulama: Ultralytics Kılavuzu kullanarak bir Raspberry Pi üzerinde çıkarım çalıştırmak kullanım alanının hız gereksinimlerini karşılamıyorsa çıkarım sürelerini hızlandırmak için dışa aktarılmış bir TFLite modeli kullanabilirsin. Ayrıca bir Coral Edge TPU cihazı kullanarak performansı daha da artırabilirsin.

• Mikrodenetleyicilerle Dağıtım: TFLite modelleri, mikrodenetleyicilere ve yalnızca birkaç kilobayt belleğe sahip diğer cihazlara da dağıtılabilir. Temel çalışma zamanı bir Arm Cortex M3 üzerinde yalnızca 16 KB'a sığar ve birçok temel modeli çalıştırabilir. İşletim sistemi desteği, standart C veya C++ kitaplıkları ya da dinamik bellek ayırma gerektirmez.

TFLite Dışa Aktarmayı LiteRT ile Değiştirme#

Yeni dışa aktarmalar için modelini LiteRT biçimine dönüştür. Ortaya çıkan model .tflite dosya uzantısını korur.

Kurulum#

Gerekli paketleri yüklemek için şunu çalıştır:

# Install the required package for YOLO26
pip install ultralytics

Kurulum süreciyle ilgili ayrıntılı talimatlar ve en iyi uygulamalar için Ultralytics Kurulum kılavuzumuza göz at. YOLO26 için gerekli paketleri yüklerken herhangi bir zorlukla karşılaşırsan çözüm ve ipuçları için Yaygın Sorunlar kılavuzumuza başvur.

Kullanım#

Tüm Ultralytics YOLO26 modelleri, kutudan çıktığı hâliyle dışa aktarmayı destekleyecek şekilde tasarlanmıştır; böylece bunları tercih ettiğin dağıtım iş akışına kolayca entegre edebilirsin. Uygulaman için en iyi kurulumu seçmek üzere desteklenen dışa aktarma biçimlerinin ve yapılandırma seçeneklerinin tam listesini görüntüleyebilirsin.

LiteRT yerine geçen biçim Dışa Aktar, Tahmin ve Doğrula modlarını destekler. Modelini dışa aktar, ardından çıkarım çalıştırmak veya doğruluğunu doğrulamak için dışa aktarılan .tflite modelini yükle.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to LiteRT format
model.export(format="litert", imgsz=640)  # use imgsz=224 for classification

from ultralytics import YOLO

# Load the exported TFLite model
model = YOLO("yolo26n.tflite")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported TFLite model
model = YOLO("yolo26n.tflite")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Dışa Aktarma Bağımsız Değişkenleri#

Dışa aktarma süreci hakkında daha fazla ayrıntı için Ultralytics'in dışa aktarma dokümantasyonu sayfasını ziyaret et.

Dışa Aktarılan YOLO26 TFLite Modellerini Dağıtma#

Ultralytics YOLO26 modelini LiteRT biçimine dışa aktardıktan sonra ortaya çıkan .tflite modelini dağıtabilirsin. TFLite modelini çalıştırmanın birincil ve önerilen ilk adımı, önceki kullanım kodu parçacığında gösterildiği gibi YOLO("model.tflite") yöntemini kullanmaktır. Ancak TFLite modellerini diğer çeşitli ortamlarda dağıtmaya ilişkin ayrıntılı talimatlar için aşağıdaki kaynaklara göz at:

• Android: TensorFlow Lite'ı Android uygulamalarına entegre etmek için kurulum ve makine öğrenmesi modellerini çalıştırmaya yönelik kolayca izlenebilen adımlar sunan hızlı başlangıç kılavuzu.

• iOS: TensorFlow Lite modellerini iOS uygulamalarına entegre etme ve dağıtma konusunda geliştiricilere yönelik bu ayrıntılı kılavuzda adım adım talimatlar ve kaynaklar bulabilirsin.

• Uçtan Uca Örnekler: Bu sayfa, geliştiricilerin mobil ve uç cihazlardaki makine öğrenmesi projelerinde TensorFlow Lite uygulamasına yardımcı olmak için tasarlanmış pratik uygulamaları ve öğreticileri sergileyen çeşitli TensorFlow Lite örneklerine genel bir bakış sunar.

Özet#

Bu kılavuz eski TFLite dağıtım iş akışını korur. Yeni dışa aktarmalar için uç bilişim ortamlarına yönelik .tflite modelleri oluşturmak üzere LiteRT kullan.

Kullanım hakkında daha fazla bilgi için TFLite resmi belgelerini ziyaret et.

Ayrıca diğer Ultralytics YOLO26 entegrasyonlarını merak ediyorsan entegrasyon kılavuzu sayfamıza göz at. Orada birçok yararlı bilgi ve içgörü bulacaksın.

SSS#