Ultralytics YOLO11 için Sony IMX500 Dışa Aktarımı#

Bu kılavuzda, Sony IMX500 sensörüne sahip Raspberry Pi AI Kameralara Ultralytics YOLO11 modellerinin aktarımı ve dağıtımı ele alınmaktadır.

Raspberry Pi AI Kamera gibi hesaplama gücü sınırlı cihazlarda bilgisayarlı görü modellerini dağıtmak zor olabilir. Daha hızlı performans için optimize edilmiş bir model biçimi kullanmak büyük fark yaratır.

IMX500 model biçimi, sinir ağlarına yüksek performans sağlarken en az gücü kullanacak şekilde tasarlanmıştır. Yüksek hızda ve düşük güç tüketimiyle çıkarım yapmaları için Ultralytics YOLO11 modellerini optimize etmene olanak tanır. Bu kılavuzda, modellerinin Raspberry Pi AI Kamera üzerinde verimli çalışmasını kolaylaştırırken modellerini IMX500 biçimine aktarma ve dağıtma adımlarını anlatacağız.

Neden IMX500'e Aktarım Yapmalısın?#

Sony'nin IMX500 Akıllı Görüntü Sensörü, uç yapay zekâ işlemede çığır açan bir donanımdır. Çip üzerinde yapay zekâ özelliklerine sahip dünyanın ilk akıllı görüntü sensörüdür. Bu sensör, veri işleme darboğazları, gizlilik endişeleri ve performans kısıtlamaları dâhil olmak üzere uç yapay zekâ alanındaki pek çok zorluğun aşılmasına yardımcı olur. Diğer sensörler yalnızca görüntüleri ve kareleri aktarırken IMX500, bütün resmi ortaya koyar. Verileri doğrudan sensör üzerinde işler ve cihazların gerçek zamanlı olarak içgörüler üretmesini sağlar.

YOLO11 Modelleri için Sony IMX500 Dışa Aktarımı#

IMX500, işlenmek üzere buluta gönderilmeleri gerekmeksizin cihazların verileri doğrudan sensör üzerinde işleme biçimini dönüştürmek üzere tasarlanmıştır.

IMX500, nicemlenmiş modellerle çalışır. Nicemleme, fazla doğruluk kaybı olmadan modelleri küçültür ve hızlandırır. Uç bilişimin sınırlı kaynakları için idealdir; gecikmeyi azaltıp verilerin buluta bağlı olmadan yerel olarak hızlıca işlenmesini sağlayarak uygulamaların çabuk yanıt vermesine olanak tanır. Veriler uzak bir sunucuya gönderilmediği için yerel işleme, kullanıcı verilerini gizli ve güvende tutar.

IMX500 Temel Özellikleri:

• Meta Veri Çıktısı: IMX500, yalnızca görüntüleri aktarmak yerine hem görüntü hem de meta veri (çıkarım sonucu) çıktısı verebilir. Veri boyutunu, bant genişliğini ve maliyetleri azaltmak için yalnızca meta veri çıktısı da verebilir.
• Gizlilik Endişelerini Giderir: IMX500, verileri cihaz üzerinde işleyerek gizlilik endişelerini giderir; bu yönüyle kişi sayımı ve doluluk takibi gibi insan odaklı uygulamalar için idealdir.
• Gerçek Zamanlı İşleme: Sensör üzerinde hızlı işleme, otonom sistemler gibi uç yapay zekâ uygulamaları için mükemmel olan gerçek zamanlı kararları destekler.

Başlamadan Önce: En iyi sonuçları elde etmek için YOLO11 modelini aktarım için Model Eğitimi Kılavuzumuzu, Veri Hazırlama Kılavuzumuzu ve Hiperparametre Ayarlama Kılavuzumuzu izleyerek hazırla.

Desteklenen Görevler#

IMX500 dışa aktarımı, yedi Ultralytics görevinin dördünü ve yalnızca YOLOv8n ile YOLO11n modellerini destekler: diğer model aileleri, ölçekleri ve mimarileri desteklenmez; anlamsal segmentasyon, OBB veya derinlik tahmini modelini dışa aktarmaya çalışmak hata verir.

Kullanım Örnekleri#

Bir Ultralytics YOLO11 modelini IMX500 biçimine aktar ve aktarılan modelle çıkarım yap.

IMX500 biçimi Dışa Aktar, Tahmin ve Doğrula modlarını destekler. Çıkarım ve doğrulama Raspberry Pi AI Kamera (IMX500) üzerinde çalışır.

from ultralytics import YOLO

# Bir YOLO11n PyTorch modeli yükle
model = YOLO("yolo11n.pt")

# Modeli dışa aktar
model.export(format="imx", data="coco8.yaml")  # varsayılan olarak PTQ nicemlemesiyle dışa aktarır

# Dışa aktarılan modeli yükle
imx_model = YOLO("yolo11n_imx_model")

# Çıkarımı çalıştır
results = imx_model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Bir YOLO11n-pose PyTorch modeli yükle
model = YOLO("yolo11n-pose.pt")

# Modeli dışa aktar
model.export(format="imx", data="coco8-pose.yaml")  # varsayılan olarak PTQ nicemlemesiyle dışa aktarır

# Dışa aktarılan modeli yükle
imx_model = YOLO("yolo11n-pose_imx_model")

# Çıkarımı çalıştır
results = imx_model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Bir YOLO11n-cls PyTorch modeli yükle
model = YOLO("yolo11n-cls.pt")

# Modeli dışa aktar
model.export(format="imx", data="imagenet10")  # varsayılan olarak PTQ nicemlemesiyle dışa aktarır

# Dışa aktarılan modeli yükle
imx_model = YOLO("yolo11n-cls_imx_model")

# Çıkarımı çalıştır
results = imx_model("https://ultralytics.com/images/bus.jpg", imgsz=224)

from ultralytics import YOLO

# Bir YOLO11n-seg PyTorch modeli yükle
model = YOLO("yolo11n-seg.pt")

# Modeli dışa aktar
model.export(format="imx", data="coco8-seg.yaml")  # varsayılan olarak PTQ nicemlemesiyle dışa aktarır

# Dışa aktarılan modeli yükle
imx_model = YOLO("yolo11n-seg_imx_model")

# Çıkarımı çalıştır
results = imx_model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Dışa aktarılan IMX500 modelini yükle
model = YOLO("yolo11n_imx_model")

# COCO8 veri kümesinde doğruluğu doğrula
metrics = model.val(data="coco8.yaml")

Dışa Aktarma Bağımsız Değişkenleri#

Dışa aktarma süreci hakkında daha fazla bilgi için Ultralytics dışa aktarma belgeleri sayfasını ziyaret et.

Dışa aktarma işlemi, nicemlemeyi doğrulamak için bir ONNX modeli ve <model-name>_imx_model adlı bir dizin oluşturur. Bu dizin, modelin IMX500 donanımında dağıtım için paketlenmesinde gerekli olan packerOut.zip dosyasını içerir. Ayrıca <model-name>_imx_model klasöründe, modelle ilişkili tüm etiketleri listeleyen bir metin dosyası (labels.txt) bulunur.

yolo11n_imx_model
├── dnnParams.xml
├── labels.txt
├── packerOut.zip
├── model_imx.onnx
├── model_imx_MemoryReport.json
└── model_imx.pbtxt

Dağıtımda IMX500 Dışa Aktarımını Kullanma#

Ultralytics YOLO11n modeli IMX500 biçimine aktarıldıktan sonra çıkarım için Raspberry Pi AI Kamera'ya dağıtılabilir.

Donanım Gereksinimleri#

Aşağıdaki donanımlara sahip olduğundan emin ol:

1. Raspberry Pi 5 veya Raspberry Pi 4 Model B
2. Raspberry Pi AI Camera

Raspberry Pi AI Kamerayı Raspberry Pi'deki 15 pinli MIPI CSI konektörüne bağla ve Raspberry Pi'yi aç

Yazılım Gereksinimleri#

Adım 1: Bir terminal penceresi aç ve Raspberry Pi yazılımını en son sürüme güncellemek için aşağıdaki komutları çalıştır.

sudo apt update && sudo apt full-upgrade

Adım 2: IMX500 sensörünü çalıştırmak için gereken IMX500 ürün yazılımını yükle.

sudo apt install imx500-all

Adım 3: Değişikliklerin etkili olması için Raspberry Pi'yi yeniden başlat.

sudo reboot

Adım 4: Aitrios Raspberry Pi uygulama modülü kitaplığını yükle.

pip install git+https://github.com/SonySemiconductorSolutions/aitrios-rpi-application-module-library.git

Adım 5: aitrios-rpi-application-module-library örneklerinde bulunan aşağıdaki betikleri kullanarak YOLO11 nesne algılama, poz tahmini, sınıflandırma ve segmentasyon işlemlerini çalıştır.

import numpy as np
from modlib.apps import Annotator
from modlib.devices import AiCamera
from modlib.models import COLOR_FORMAT, MODEL_TYPE, Model
from modlib.models.post_processors import pp_od_yolo_ultralytics

class YOLO(Model):
    """YOLO model for IMX500 deployment."""

    def __init__(self):
        """Initialize the YOLO model for IMX500 deployment."""
        super().__init__(
            model_file="yolo11n_imx_model/packerOut.zip",  # replace with proper directory
            model_type=MODEL_TYPE.CONVERTED,
            color_format=COLOR_FORMAT.RGB,
            preserve_aspect_ratio=False,
        )

        self.labels = np.genfromtxt(
            "yolo11n_imx_model/labels.txt",  # replace with proper directory
            dtype=str,
            delimiter="\n",
        )

    def post_process(self, output_tensors):
        """Post-process the output tensors for object detection."""
        return pp_od_yolo_ultralytics(output_tensors)

device = AiCamera(frame_rate=16)  # Optimal frame rate for maximum FPS of the YOLO model running on the AI Camera
model = YOLO()
device.deploy(model)

annotator = Annotator()

with device as stream:
    for frame in stream:
        detections = frame.detections[frame.detections.confidence > 0.55]
        labels = [f"{model.labels[class_id]}: {score:0.2f}" for _, score, class_id, _ in detections]

        annotator.annotate_boxes(frame, detections, labels=labels, alpha=0.3, corner_radius=10)
        frame.display()

Kıyaslamalar#

Aşağıdaki YOLOv8n, YOLO11n, YOLOv8n-pose, YOLO11n-pose, YOLOv8n-cls ve YOLO11n-cls kıyaslamaları, hız ve doğruluğu ölçmek için Ultralytics ekibi tarafından Raspberry Pi AI Kamera'da imx model biçimiyle gerçekleştirildi.

Kaputun Altında Neler Var?#

Sony Model Sıkıştırma Araç Seti (MCT)#

Sony'nin Model Sıkıştırma Araç Seti (MCT), kuantizasyon ve budama yoluyla derin öğrenme modellerini optimize etmek için güçlü bir araçtır. Çeşitli kuantizasyon yöntemlerini destekler ve doğruluktan önemli ölçüde ödün vermeden model boyutunu ve hesaplama karmaşıklığını azaltmak için gelişmiş algoritmalar sunar. MCT, özellikle kaynakları kısıtlı cihazlara model dağıtmak için kullanışlıdır; verimli çıkarım ve daha düşük gecikme sağlar.

MCT'nin Desteklediği Özellikler#

Sony'nin MCT'si, sinir ağı modellerini optimize etmek için tasarlanmış çeşitli özellikler sunar:

1. Graf Optimizasyonları: Toplu normalleştirme gibi katmanları önceki katmanlarla birleştirerek modelleri daha verimli sürümlere dönüştürür.
2. Kuantizasyon Parametresi Arama: Ortalama Kare Hata, Kırpmasız ve Ortalama Mutlak Hata gibi ölçütleri kullanarak kuantizasyon gürültüsünü en aza indirir.
3. Gelişmiş Kuantizasyon Algoritmaları:
   • Negatif Kayma Düzeltmesi: Simetrik aktivasyon kuantizasyonundan kaynaklanan performans sorunlarını giderir.
   • Aykırı Değerleri Filtreleme: Aykırı değerleri tespit edip kaldırmak için z puanını kullanır.
   • Kümeleme: Dağılım eşleşmesini iyileştirmek için tekdüze olmayan kuantizasyon ızgaralarından yararlanır.
   • Karma Hassasiyet Araması: Duyarlılığa göre her katmana farklı kuantizasyon bit genişlikleri atar.
4. Görselleştirme: Model performansı içgörülerini, kuantizasyon aşamalarını ve bit genişliği yapılandırmalarını gözlemlemek için TensorBoard'u kullan.

Kuantizasyon#

MCT, model boyutunu küçültmek ve çıkarım hızını artırmak için çeşitli kuantizasyon yöntemlerini destekler:

1. Eğitim Sonrası Kuantizasyon (PTQ):
   • Keras ve PyTorch API'leri üzerinden kullanılabilir.
   • Karmaşıklık: Düşük
   • Hesaplama Maliyeti: Düşük (CPU ile birkaç dakika)
2. Gradyan Tabanlı Eğitim Sonrası Kuantizasyon (GPTQ):
   • Keras ve PyTorch API'leri üzerinden kullanılabilir.
   • Karmaşıklık: Orta
   • Hesaplama Maliyeti: Orta (GPU ile 2-3 saat)
3. Kuantizasyon Farkındalıklı Eğitim (QAT):
   • Karmaşıklık: Yüksek
   • Hesaplama Maliyeti: Yüksek (GPU ile 12-36 saat)

MCT, ağırlıklar ve aktivasyonlar için çeşitli kuantizasyon şemalarını da destekler:

1. İkinin Kuvvetleri (donanım dostu)
2. Simetrik
3. Tekdüze

Yapılandırılmış Budama#

MCT, belirli donanım mimarileri için tasarlanmış, yapılandırılmış ve donanım farkındalıklı model budamayı kullanıma sunar. Bu teknik, SIMD gruplarını budayarak hedef platformun Tek Komut, Çoklu Veri (SIMD) özelliklerinden yararlanır. Böylece model boyutu ve karmaşıklığı azaltılırken kanal kullanımı optimize edilir; ağırlık belleği ayak izinin hedef kaynak kullanımına göre düzenlenmesi için SIMD mimarisiyle uyum sağlanır. Keras ve PyTorch API'leri üzerinden kullanılabilir.

IMX500 Dönüştürücü Aracı (Derleyici)#

IMX500 Dönüştürücü Aracı, Sony'nin IMX500 sensöründe (örneğin Raspberry Pi AI Kameralarda) dağıtılacak modellerin derlenmesini sağlayan IMX500 araç setinin temel bir parçasıdır. Bu araç, Ultralytics yazılımıyla işlenen Ultralytics YOLO11 modellerinin ilgili donanımla uyumlu olmasını ve verimli çalışmasını sağlayarak dağıtım sürecini kolaylaştırır. Model kuantizasyonunun ardından gerçekleştirilen dışa aktarma işlemi, temel verileri ve cihaza özgü yapılandırmaları içeren ikili dosyalar oluşturur ve Raspberry Pi AI Camera'ya dağıtımı kolaylaştırır.

Gerçek Dünya Kullanım Senaryoları#

IMX500 biçimine dışa aktarma, çeşitli sektörlerde geniş kullanım alanına sahiptir. İşte bazı örnekler:

• Uç Yapay Zekâ ve IoT: Düşük güçlü cihazlarda gerçek zamanlı işleme gerektiren drone'larda veya güvenlik kameralarında nesne algılamayı etkinleştir.
• Giyilebilir Cihazlar: Sağlık takibi yapan giyilebilir cihazlarda küçük ölçekli yapay zekâ işleme için optimize edilmiş modelleri kullanıma al.
• Akıllı Şehirler: Daha hızlı işleme ve minimum gecikmeyle trafik izleme ve güvenlik analizi için IMX500 biçimine aktarılmış YOLO11 modellerini kullan.
• Perakende Analitiği: Satış noktası sistemlerine veya akıllı raflara optimize edilmiş modeller dağıtarak mağaza içi izlemeyi iyileştir.

Sonuç#

Ultralytics YOLO11 modellerini Sony'nin IMX500 biçimine aktarmak, modellerini IMX500 tabanlı kameralarda verimli çıkarım için kullanıma almanı sağlar. Gelişmiş kuantizasyon tekniklerinden yararlanarak doğruluktan önemli ölçüde ödün vermeden model boyutunu küçültebilir ve çıkarım hızını artırabilirsin.

Daha fazla bilgi ve ayrıntılı yönergeler için Sony'nin IMX500 web sitesine göz at.

Sık Sorulan Sorular#