YOLO26'yı ExecuTorch ile Mobil ve Uç Cihazlara Dağıtın#

Akıllı telefonlar, tabletler ve gömülü sistemler gibi uç cihazlarda bilgisayarla görü modelleri dağıtmak; performansı kaynak kısıtlamalarıyla dengeleyen optimize edilmiş bir çalışma zamanı gerektirir. Uç bilişim için PyTorch çözümü olan ExecuTorch, Ultralytics YOLO modelleri için verimli cihaz içi çıkarım sağlar.

Bu kılavuz, modellerinizi optimize edilmiş performansla mobil ve uç cihazlarda dağıtmanıza olanak tanıyan Ultralytics YOLO modellerini ExecuTorch formatına nasıl dışa aktaracağınızı özetler.

Neden ExecuTorch'a dışa aktarmalısın?#

ExecuTorch; mobil ve uç cihazlarda cihaz içi çıkarım yeteneklerini etkinleştirmek için PyTorch'un uçtan uca çözümüdür. Taşınabilir ve verimli olma amacıyla oluşturulan ExecuTorch, PyTorch programlarını çok çeşitli bilişim platformlarında çalıştırmak için kullanılabilir.

ExecuTorch'un temel özellikleri#

ExecuTorch, Ultralytics YOLO modellerini uç cihazlarda dağıtmak için birçok güçlü özellik sağlar:

• Taşınabilir Model Biçimi: ExecuTorch, kaynak kısıtlı cihazlarda boyut ve yükleme hızı için optimize edilmiş olan .pte (PyTorch ExecuTorch) biçimini kullanır.

• XNNPACK Arka Ucu: XNNPACK ile varsayılan entegrasyon, mobil CPU'larda yüksek oranda optimize edilmiş çıkarım sağlayarak özel donanım gerektirmeden mükemmel performans sunar.

• Kuantizasyona Hazır: ExecuTorch ekosistemi, model boyutunu küçültmek ve çıkarım hızını artırmak için kuantizasyon tekniklerini destekler; Ultralytics şu anda FP32 modellerini XNNPACK arka ucu aracılığıyla dışa aktarır.

• Bellek Verimliliği: Optimize edilmiş bellek yönetimi, çalışma zamanı bellek kullanımını azaltarak sınırlı RAM'e sahip cihazlar için uygun hale getirir.

• Model Meta Verileri: Dışa aktarılan modeller, kolay entegrasyon için ayrı bir YAML dosyasında meta veriler (görüntü boyutu, sınıf isimleri vb.) içerir.

ExecuTorch ile Dağıtım Seçenekleri#

ExecuTorch modelleri çeşitli uç ve mobil platformlarda dağıtılabilir:

• Mobil Uygulamalar: iOS ve Android uygulamalarında yerel performansla dağıtın, mobil uygulamalarda gerçek zamanlı nesne algılamayı etkinleştirin.

• Gömülü Sistemler: Raspberry Pi, NVIDIA Jetson gibi gömülü Linux cihazlarında ve diğer ARM tabanlı sistemlerde optimize edilmiş performansla çalıştırın.

• Uç AI Cihazları: Hızlandırılmış çıkarım için özel delegelerle donatılmış uç AI donanımlarında dağıtın.

• IoT Cihazları: Bulut bağlantısı gerektirmeden cihaz üzerinde çıkarım için IoT cihazlarına entegre edin.

Desteklenen Görevler#

ExecuTorch dışa aktarımı, yedi Ultralytics görevini de destekler. Anlamsal segmentasyon ve derinlik tahmini, yalnızca bu başlıklara sahip olan tek aile olan YOLO26 ile kullanılabilir.

Ultralytics YOLO26 Modellerini ExecuTorch'a Dışa Aktarma#

Ultralytics YOLO26 modellerini ExecuTorch formatına dönüştürmek, mobil ve uç cihazlarda verimli dağıtım sağlar.

Kurulum#

ExecuTorch dışa aktarımı, Python 3.10-3.13 ve PyTorch >= 2.9.0 ile birlikte executorch paketini gerektirir:

# Install Ultralytics package
pip install ultralytics

Kurulum süreciyle ilgili ayrıntılı talimatlar ve en iyi uygulamalar için YOLO26 Kurulum kılavuzumuza göz at. YOLO26 için gerekli paketleri kurarken herhangi bir zorlukla karşılaşırsan, çözümler ve ipuçları için Yaygın Sorunlar kılavuzumuza başvur.

Kullanım#

YOLO26 modellerini ExecuTorch'a dışa aktarmak basittir:

ExecuTorch biçimi Export, Predict ve Validate modlarını destekler. Modelinizi dışa aktarın, ardından çıkarım çalıştırmak veya doğruluğunu onaylamak için dışa aktarılan modeli yükleyin.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to ExecuTorch format
model.export(format="executorch")  # creates 'yolo26n_executorch_model'

from ultralytics import YOLO

# Load the exported ExecuTorch model
model = YOLO("yolo26n_executorch_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported ExecuTorch model
model = YOLO("yolo26n_executorch_model")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Dışa Aktarma Argümanları#

ExecuTorch formatına dışa aktarırken şu argümanları belirtebilirsin:

Çıktı Yapısı#

ExecuTorch dışa aktarma işlemi, modeli ve meta verileri içeren bir dizin oluşturur:

yolo26n_executorch_model/
├── model.pte               # ExecuTorch model file
└── metadata.yaml           # Model metadata (classes, image size, etc.)

Dışa Aktarılan ExecuTorch Modellerini Kullanma#

Modelinizi dışa aktardıktan sonra, onu ExecuTorch çalışma zamanını kullanarak hedef uygulamanıza entegre etmeniz gerekecektir.

Mobil Entegrasyon#

Mobil uygulamalar (iOS/Android) için şunları yapman gerekecek:

1. ExecuTorch Çalışma Zamanını Ekle: ExecuTorch çalışma zamanı kütüphanesini mobil projenize dahil edin
2. Modeli Yükle: Uygulamanızda .pte dosyasını yükleyin
3. Çıkarım Çalıştır: Görüntüleri işleyin ve tahminler alın

iOS#

Örnek iOS entegrasyonu (Objective-C/C++):

// iOS uses C++ APIs for model loading and inference
// See https://pytorch.org/executorch/stable/using-executorch-ios.html for complete examples

#include <executorch/extension/module/module.h>

using namespace ::executorch::extension;

// Load the model
Module module("/path/to/model.pte");

// Create input tensor
float input[1 * 3 * 640 * 640];
auto tensor = from_blob(input, {1, 3, 640, 640});

// Run inference
const auto result = module.forward(tensor);

Android#

Maven Central'dan ExecuTorch Android AAR dosyasını ekle:

dependencies {
    implementation("org.pytorch:executorch-android:<version>")
}

Örnek Android entegrasyonu (Kotlin):

import org.pytorch.executorch.EValue
import org.pytorch.executorch.Module
import org.pytorch.executorch.Tensor

// Load the model
val module = Module.load("/path/to/model.pte")

// Prepare input tensor
val inputTensor = Tensor.fromBlob(floatData, longArrayOf(1, 3, 640, 640))
val inputEValue = EValue.from(inputTensor)

// Run inference
val outputs = module.forward(inputEValue)
val scores = outputs[0].toTensor().dataAsFloatArray

Gömülü Linux#

Gömülü Linux sistemleri için ExecuTorch C++ API'sini kullanın:

#include <executorch/extension/module/module.h>
#include <executorch/extension/tensor/tensor.h>

using namespace ::executorch::extension;

// Load model
Module module("model.pte");

// Prepare input
std::vector<float> input_data = preprocessImage(image);
auto input_tensor = from_blob(input_data.data(), {1, 3, 640, 640});

// Run inference
const auto outputs = module.forward(input_tensor);

ExecuTorch'u uygulamalarınıza entegre etme hakkında daha fazla ayrıntı için ExecuTorch Documentation adresini ziyaret edin.

Performans Optimizasyonu#

Model Boyutu Optimizasyonu#

Dağıtım için model boyutunu küçültmek için:

• Daha Küçük Modeller Kullan: En küçük ayak izi için YOLO26n (nano) ile başlayın
• Düşük Giriş Çözünürlüğü: Daha küçük görsel boyutları kullanın (örn. imgsz=320 veya imgsz=416)
• Kuantizasyon: Kuantizasyon tekniklerini uygulayın (gelecek ExecuTorch sürümlerinde desteklenecektir)

Çıkarım Hızı Optimizasyonu#

Daha hızlı çıkarım için:

• XNNPACK Arka Ucu: Varsayılan XNNPACK arka ucu optimize edilmiş CPU çıkarımı sağlar
• Donanım Hızlandırma: Platforma özel delegeler kullanın (örneğin, iOS için CoreML)
• Toplu İşleme: Mümkün olduğunda birden fazla görüntüyü işleyin

Kıyaslamalar#

Ultralytics ekibi YOLO26 modellerini kıyaslayarak PyTorch ve ExecuTorch arasındaki hız ve doğruluğu karşılaştırdı.

Sorun Giderme#

Yaygın Sorunlar#

Sorun: Python version error

Çözüm: ExecuTorch, Python 3.10 veya daha yenisini gerektirir. Python kurulumunuzu yükseltin:

# Using conda
conda create -n executorch python=3.10
conda activate executorch

Sorun: Export fails during first run

Çözüm: En son önceden derlenmiş executorch tekerleğinin (wheel) kurulu olduğundan emin olun:

pip install --upgrade executorch

Sorun: Import errors for ExecuTorch modules

Çözüm: ExecuTorch'un düzgün yüklendiğinden emin olun:

pip install executorch --force-reinstall

Daha fazla sorun giderme yardımı için Ultralytics GitHub Issues veya ExecuTorch Documentation adresini ziyaret edin.

Özet#

YOLO26 modellerini ExecuTorch formatına dışa aktarmak, mobil ve uç cihazlarda verimli dağıtım sağlar. PyTorch yerel entegrasyonu, platformlar arası destek ve optimize edilmiş performans ile ExecuTorch, uç AI uygulamaları için mükemmel bir seçimdir.

Önemli noktalar:

• ExecuTorch, mükemmel performansla PyTorch tabanlı uç dağıtımı sağlar
• Dışa aktarma, format='executorch' parametresiyle basittir
• Modeller, XNNPACK arka ucu aracılığıyla mobil CPU'lar için optimize edilmiştir
• iOS, Android ve gömülü Linux platformlarını destekler
• Python 3.10-3.13 ve PyTorch >= 2.9.0 gerektirir

SSS#