Başla

Albumentations Kullanarak YOLO26 Eğitimi İçin Veri Kümeni Zenginleştir

Bilgisayarlı görü modelleri oluştururken eğitim verilerinin kalitesi ve çeşitliliği, modelinin performansını büyük ölçüde etkileyebilir. Albumentations, modelinin gerçek dünya senaryolarına uyum sağlama yeteneğini geliştirebilecek çok çeşitli görüntü dönüşümlerini hızlı, esnek ve verimli bir şekilde uygulamanı sağlar. Nesne algılama, örnek segmentasyonu, anlamsal segmentasyon, derinlik tahmini, poz tahmini ve yönlendirilmiş sınırlayıcı kutu görevleri için sağlam veri kümeleri oluşturmana yardımcı olur ve Ultralytics YOLO26 ile entegre çalışır.

Albumentations, YOLO26 eğitim verilerine geometrik dönüşümler ve renk ayarlamaları gibi teknikler ekler. Bu rehber, Albumentations'ın Ultralytics veri artırma işlem hattındaki yerini ve projelerine göre nasıl özelleştirebileceğini açıklar.

Görüntü Artırma İçin Albumentations#

Albumentations, Haziran 2018'de oluşturulmuş, açık kaynaklı bir görüntü artırma kütüphanesidir. Bilgisayarlı görü alanında görüntü artırma sürecini basitleştirmek ve hızlandırmak için tasarlanmıştır. Performans ve esneklik gözetilerek oluşturulan kütüphane, döndürme ve çevirme gibi basit dönüşümlerden parlaklık ve kontrast değişiklikleri gibi daha karmaşık ayarlamalara kadar pek çok farklı artırma tekniğini destekler. Albumentations, geliştiricilerin görüntü sınıflandırma, nesne algılama ve segmentasyon gibi görevler için zengin ve çeşitli veri kümeleri oluşturmasına yardımcı olur.

Albumentations ile görüntülere, segmentasyon maskelerine, sınırlayıcı kutulara ve kilit noktalara kolayca artırmalar uygulayabilir ve veri kümenizdeki tüm öğelerin birlikte dönüştürülmesini sağlayabilirsin. PyTorch ve TensorFlow gibi popüler derin öğrenme çerçeveleriyle çalıştığından çok çeşitli projelerde kullanılabilir.

Albumentations hem küçük veri kümelerine hem de büyük ölçekli bilgisayarlı görü görevlerine uygundur. Hızlı işleme, veri hazırlığı için harcanan süreyi azaltır; daha çeşitli eğitim verileri ise gerçek dünya uygulamalarında model performansını geliştirebilir.

Albumentations'ın Temel Özellikleri#

Albumentations, çok çeşitli bilgisayarlı görü uygulamalarında karmaşık görüntü artırma işlemlerini basitleştiren pek çok kullanışlı özellik sunar. Öne çıkan özelliklerinden bazıları şunlardır:

  • Geniş Dönüşüm Yelpazesi: Albumentations, geometrik değişiklikler (ör. döndürme, çevirme), renk ayarlamaları (ör. parlaklık, kontrast) ve gürültü ekleme (ör. Gauss gürültüsü) dâhil 70'in üzerinde farklı dönüşüm sunar. Birden fazla seçenek, son derece çeşitli ve sağlam eğitim veri kümeleri oluşturmayı sağlar.

Albumentations augmentation examples

  • Yüksek Performanslı Optimizasyon: OpenCV ve NumPy üzerine kurulu Albumentations, işlemleri hızlandırmak için birden fazla veri noktasını aynı anda işleyen SIMD (Tek Komut, Çoklu Veri) gibi gelişmiş optimizasyon tekniklerinden yararlanır. Büyük veri kümelerini hızlıca işleyerek görüntü artırma için kullanılabilen en hızlı seçeneklerden biri hâline gelir.

  • Üç Artırma Düzeyi: Albumentations üç artırma düzeyini destekler: piksel düzeyinde dönüşümler, uzamsal düzeyde dönüşümler ve karıştırma düzeyinde dönüşümler. Piksel düzeyindeki dönüşümler, maskeleri, sınırlayıcı kutuları veya kilit noktaları değiştirmeden yalnızca girdi görüntülerini etkiler. Uzamsal düzeydeki dönüşümler, görüntüyü ve maskeler ile sınırlayıcı kutular gibi öğelerini birlikte değiştirir. Karıştırma düzeyindeki dönüşümler birden fazla görüntüyü tek bir görüntüde birleştirir.

Albumentations piksel düzeyinde, uzamsal düzeyde ve karıştırma düzeyinde artırma örnekleri

  • Karşılaştırma Sonuçları: Albumentations'ın yayımlanmış karşılaştırma sonuçları, özellikle büyük veri kümelerinde diğer artırma kütüphanelerine kıyasla hızının daha iyi olduğunu gösteriyor.

Görüntü Yapay Zekâ Projelerinde Neden Albumentations Kullanmalısın?#

Görüntü artırma söz konusu olduğunda Albumentations, bilgisayarlı görü görevleri için güvenilir bir araç olarak öne çıkar. Görüntü Yapay Zekâ projelerinde kullanmayı düşünmen için birkaç önemli neden:

  • Kullanımı Kolay API: Albumentations; görüntülere, maskelere, sınırlayıcı kutulara ve anahtar noktalara çok çeşitli artırmalar uygulamak için tek ve basit bir API sunar. Farklı veri kümelerine kolayca uyum sağlayacak şekilde tasarlanmıştır; böylece veri hazırlama daha basit ve verimli hâle gelir.

  • Titiz Hata Testleri: Artırma hattındaki hatalar, giriş verilerini sessizce bozabilir; çoğu zaman fark edilmeyip sonunda model performansını düşürür. Albumentations, geliştirme sürecinin başlarında hataları yakalamaya yardımcı olan kapsamlı bir test paketiyle bu sorunu ele alır.

  • Genişletilebilirlik: Albumentations, yeni artırmalar eklemeyi ve bunları yerleşik dönüşümlerle tek bir arayüz üzerinden birlikte kullanmayı kolaylaştırır.

YOLO26 Eğitimi İçin Verileri Albumentations ile Artırma#

Albumentations, Ultralytics'in eğitim moduna doğrudan entegre olur ve Albumentations paketi yüklüyse otomatik olarak uygulanır.

Kurulum#

Albumentations'ı YOLO26 ile kullanmak için önce gerekli paketlerin yüklü olduğundan emin ol. Albumentations yüklü değilse eğitim sırasında artırmaları uygulanmaz. Yüklendikten sonra dönüşümler eğitim görüntülerine anlık olarak uygulanır.

Kurulum
# Install the required packages
pip install albumentations ultralytics

Kurulum süreciyle ilgili ayrıntılı talimatlar ve en iyi uygulamalar için Ultralytics Kurulum kılavuzumuza göz at. YOLO26 için gerekli paketleri yüklerken zorluk yaşarsan çözüm ve ipuçları için Yaygın Sorunlar kılavuzumuza başvur.

Bu sayfadaki özel dönüşüm örnekleri Albumentations 1.4.22 veya daha yeni bir sürümü ve dolayısıyla Python 3.9 veya daha yeni bir sürümü gerektirir.

Kullanım#

Gerekli paketleri yükledikten sonra Albumentations'ı YOLO26 ile kullanmaya başlayabilirsin. YOLO26'yı Albumentations yüklüyken eğittiğinde varsayılan Albumentations dönüşümleri otomatik olarak uygulanır.

Kullanım
from ultralytics import YOLO

# Önceden eğitilmiş bir modeli yükle
model = YOLO("yolo26n.pt")

# Modeli varsayılan artırmalarla eğit
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

Aşağıdaki bölümlerde eğitim sırasında uygulanan varsayılan Albumentations dönüşümleri açıklanır.

Bulanıklaştırma#

Albumentations'taki Blur dönüşümü, küçük kare bir alandaki (çekirdekteki) piksel değerlerinin ortalamasını alarak görüntüye basit bir bulanıklık efekti uygular. Bu işlem, görüntüdeki gürültüyü azaltmaya yardımcı olan OpenCV cv2.blur işleviyle yapılır; ancak görüntü ayrıntılarını da bir miktar azaltır.

Bu entegrasyonda kullanılan parametreler ve değerler şunlardır:

  • blur_limit: Bulanıklaştırma efektinin boyut aralığını belirler. Varsayılan aralık (3, 7) şeklindedir; yani bulanıklaştırma çekirdeğinin boyutu 3 ile 7 piksel arasında değişebilir. Bulanıklığın merkezde kalması için yalnızca tek sayılara izin verilir.

  • p: Bulanıklaştırma uygulama olasılığıdır. Entegrasyonda p=0.01 olduğundan her görüntüye bu bulanıklaştırmanın uygulanma olasılığı %1'dir. Bu düşük olasılık, arada sırada bulanıklaştırma uygulayarak görüntüleri aşırı bulanıklaştırmadan modele bir miktar çeşitlilik kazandırır ve genelleme becerisini artırmaya yardımcı olur.

Albumentations Blur augmentation result

Medyan Bulanıklaştırma#

Albumentations'taki MedianBlur dönüşümü, kenarları korurken gürültüyü azaltmada özellikle yararlı olan medyan bulanıklaştırma efektini görüntüye uygular. Tipik bulanıklaştırma yöntemlerinden farklı olarak MedianBlur, özellikle kenarların keskinliğini koruyarak tuz-biber gürültüsünü gidermede etkili bir medyan filtresi kullanır.

Bu entegrasyonda kullanılan parametreler ve değerler şunlardır:

  • blur_limit: Bu parametre, bulanıklaştırma çekirdeğinin maksimum boyutunu belirler. Bu entegrasyonda varsayılan aralık (3, 7) şeklindedir; yani uygun hizalamayı sağlamak için yalnızca tek değerlere izin verilerek bulanıklaştırma çekirdeği boyutu rastgele 3 ile 7 piksel arasında seçilir.

  • p: Medyan bulanıklaştırma uygulanma olasılığını belirler. Burada p=0.01 olduğundan dönüşümün her görüntüye uygulanma olasılığı %1'dir. Bu düşük olasılık, medyan bulanıklaştırmanın seyrek kullanılmasını sağlar; böylece model zaman zaman gürültüsü azaltılmış ve kenarları korunmuş görüntüler görerek genelleme becerisini artırır.

Aşağıdaki görüntü, bu artırmanın bir görüntüye uygulanmış örneğini gösterir.

Albumentations MedianBlur augmentation

Gri Tonlama#

Albumentations'taki ToGray dönüşümü, görüntüyü gri tonlamaya dönüştürerek tek kanallı biçime indirger ve isteğe bağlı olarak bu kanalı belirtilen sayıda çıktı kanalına çoğaltır. Gri ton parlaklığının nasıl hesaplanacağını ayarlamak için basit ortalamadan kontrast ve parlaklık algısını gerçeğe yakın biçimde yansıtan daha gelişmiş tekniklere kadar farklı yöntemler kullanılabilir.

Bu entegrasyonda kullanılan parametreler ve değerler şunlardır:

  • num_output_channels: Çıktı görüntüsündeki kanal sayısını belirler. Bu değer 1'den büyükse tek gri tonlama kanalı çoğaltılarak çok kanallı gri tonlamalı bir görüntü oluşturulur. Varsayılan değer 3'tür; böylece üç özdeş kanaldan oluşan gri tonlamalı bir görüntü elde edilir.

  • method: Gri tonlamaya dönüştürme yöntemini belirler. Varsayılan yöntem olan "weighted_average", insan algısıyla yakından örtüşen (0.299R + 0.587G + 0.114B) formülünü uygulayarak doğal görünümlü bir gri tonlama efekti sağlar. "from_lab", "desaturation", "average", "max" ve "pca" gibi diğer seçenekler; hız, parlaklık vurgusu veya ayrıntıların korunması gereksinimlerine göre gri tonlamalı görüntüler oluşturmak için alternatif yollar sunar.

  • p: Gri tonlama dönüşümünün ne sıklıkta uygulanacağını belirler. p=0.01 olduğunda her görüntüyü gri tonlamaya dönüştürme olasılığı %1'dir; böylece modelin daha iyi genelleme yapmasına yardımcı olmak için renkli ve gri tonlamalı görüntüler bir arada kullanılabilir.

Aşağıdaki görüntü, bu gri tonlama dönüşümünün uygulanmış bir örneğini gösterir.

Albumentations grayscale conversion

Kontrast Sınırlı Adaptif Histogram Eşitleme (CLAHE)#

Albumentations'taki CLAHE dönüşümü, görüntü kontrastını tüm görüntü genelinde değil yerel bölgelerde (kutucuklarda) histogram eşitlemesi yaparak artıran bir teknik olan Kontrast Sınırlı Adaptif Histogram Eşitleme'yi (CLAHE) uygular. CLAHE, standart histogram eşitlemesinde özellikle başlangıçta düşük kontrasta sahip bölgelerde görülebilen aşırı kontrast artışını önleyerek dengeli bir iyileştirme efekti oluşturur.

Bu entegrasyonda kullanılan parametreler ve değerler şunlardır:

  • clip_limit: Kontrast iyileştirme aralığını denetler. Varsayılan aralık (1, 4) olarak belirlenmiştir ve her döşemede izin verilen maksimum kontrastı belirler. Daha yüksek değerler daha fazla kontrasta olanak tanır, ancak gürültü de oluşturabilir.

  • tile_grid_size: Döşeme ızgarasının boyutunu, genellikle (satır, sütun) biçiminde tanımlar. Varsayılan değer (8, 8)'dir; yani görüntü 8x8'lik bir ızgaraya bölünür. Daha küçük döşemeler daha yerel ayarlamalar sağlarken, daha büyük döşemeler genel eşitlemeye daha yakın efektler oluşturur.

  • p: CLAHE uygulama olasılığıdır. Burada p=0.01 olduğundan iyileştirme efekti yalnızca %1 olasılıkla uygulanır ve eğitim görüntülerinde ara sıra çeşitlilik sağlamak için kontrast ayarlamaları seyrek yapılır.

Aşağıdaki görüntü, CLAHE dönüşümünün uygulanmış bir örneğini gösterir.

Albumentations CLAHE contrast enhancement

Özel Albumentations Dönüşümleri Kullanma#

Varsayılan Albumentations entegrasyonu sağlam bir artırma kümesi sunsa da dönüşümleri kendi kullanım durumuna göre özelleştirmek isteyebilirsin. Ultralytics YOLO26 ile Python API'si üzerinden augmentations parametresini kullanarak özel Albumentations dönüşümleri aktarabilirsin. Bu bölümdeki örnekler için Albumentations 1.4.22 veya daha yeni bir sürüm gerekir.

Özel Dönüşümler Tanımlama#

Kendi Albumentations dönüşüm listeni tanımlayıp eğitim işlevine iletebilirsin. Böylece diğer tüm YOLO artırmaları (hsv_h, degrees, mosaic vb.) etkin kalırken varsayılan Albumentations dönüşümleri değiştirilir.

Daha gelişmiş dönüşümlere bir örnek:

import albumentations as A

from ultralytics import YOLO

# Modeli yükle
model = YOLO("yolo26n.pt")

# Çeşitli artırma teknikleriyle özel dönüşümleri tanımla
custom_transforms = [
    # Bulanıklık çeşitleri
    A.OneOf(
        [
            A.MotionBlur(blur_limit=7, p=1.0),
            A.MedianBlur(blur_limit=7, p=1.0),
            A.GaussianBlur(blur_limit=7, p=1.0),
        ],
        p=0.3,
    ),
    # Gürültü çeşitleri
    A.OneOf(
        [
            A.GaussNoise(std_range=(0.0124, 0.0277), p=1.0),
            A.ISONoise(color_shift=(0.01, 0.05), intensity=(0.1, 0.5), p=1.0),
        ],
        p=0.2,
    ),
    # Renk ve kontrast ayarlamaları
    A.CLAHE(clip_limit=4.0, tile_grid_size=(8, 8), p=0.5),
    A.RandomBrightnessContrast(brightness_limit=0.3, contrast_limit=0.3, p=0.5),
    A.HueSaturationValue(hue_shift_limit=20, sat_shift_limit=30, val_shift_limit=20, p=0.5),
    # Örtülmeleri simüle et
    A.CoarseDropout(num_holes_range=(1, 8), hole_height_range=(8, 32), hole_width_range=(8, 32), fill=0, p=0.2),
]

# Özel dönüşümlerle eğit
results = model.train(
    data="coco8.yaml",
    epochs=100,
    imgsz=640,
    augmentations=custom_transforms,
)

Önemli Hususlar#

Özel Albumentations dönüşümleri kullanırken şu noktaları göz önünde bulundur:

  • Yapılandırma: Python API'si üzerinden özel dönüşüm nesneleri oluştur. Serileştirilmiş dönüşümleri, eğitime devam ederken de CLI veya YAML yapılandırma dosyaları aracılığıyla iletebilirsin.
  • Varsayılanları Değiştirir: Özel dönüşümlerin varsayılan Albumentations dönüşümlerinin tamamının yerini alır. Diğer YOLO artırmaları etkin kalır.
  • Etiketlerin İşlenmesi: A.OneOf veya A.Compose içinde yer alanlar da dahil olmak üzere uzamsal dönüşümler; sınırlayıcı kutuları, çokgenleri, kilit noktaları ve derinlik ya da anlamsal maskeleri görüntüyle birlikte taşır. A.RandomGridShuffle çokgen veya kilit noktaların topolojisini koruyamaz ve segmentasyon, poz ve OBB örneklerinde hata verir.
  • Performans: Bazı dönüşümler hesaplama açısından maliyetlidir. Eğitim hızını takip et ve gereken ayarlamaları yap.
  • Görev Uyumluluğu: Özel Albumentations dönüşümleri; algılama, segmentasyon, anlamsal segmentasyon, derinlik, poz ve OBB eğitimiyle çalışır, ancak farklı bir artırma hattı kullanan sınıflandırmayla çalışmaz.

Özel Dönüşümlerin Kullanım Alanları#

Farklı uygulamalar, farklı artırma stratejilerinden yararlanır:

  • Tıbbi Görüntüleme: Elastik deformasyonlar, ızgara bozulmaları ve özel gürültü desenleri kullan
  • Hava/ Uydu Görüntüleri: Farklı irtifaları, hava koşullarını ve ışık açılarını simüle eden dönüşümler uygula
  • Düşük Işık Koşulları: Zorlu aydınlatma koşullarına dayanıklı modeller eğitmek için gürültü eklemeyi ve parlaklık ayarlamalarını öne çıkar
  • Endüstriyel Denetim: Kalite kontrol uygulamaları için doku çeşitleri ve simüle edilmiş kusurlar ekle

Kullanılabilir dönüşümlerin ve parametrelerinin tam listesi için Albumentations belgelerine göz at.

YOLO26 ile özel Albumentations dönüşümlerini kullanmaya ilişkin daha ayrıntılı örnekler ve en iyi uygulamalar için YOLO Veri Artırma kılavuzuna göz at.

Albumentations Hakkında Öğrenmeye Devam Et#

Albumentations hakkında daha fazla bilgi edinmek istersen daha ayrıntılı yönergeler ve örnekler için şu kaynaklara göz at:

Öne Çıkan Noktalar#

Bu rehberde, görüntü artırmaya yönelik bir Python kütüphanesi olan Albumentations'ın temel özelliklerini inceledik. Geniş dönüşüm yelpazesini ve optimize edilmiş performansını ele aldık, ayrıca bir sonraki YOLO26 projen için bu kütüphaneyi nasıl kullanabileceğini açıkladık.

Sık Sorulan Sorular#

  • Albumentations, YOLO26 ile entegre çalışır ve paket yüklüyse eğitim sırasında otomatik olarak uygulanır. Başlamak için:

    # Gerekli paketleri yükle
    # !pip install albumentations ultralytics
    from ultralytics import YOLO
    
    # Modeli yükle ve otomatik artırmalarla eğit
    model = YOLO("yolo26n.pt")
    model.train(data="coco8.yaml", epochs=100)

    Varsayılan entegrasyon, bulanıklık, medyan bulanıklığı, gri tonlamaya dönüştürme ve CLAHE işlemlerinin her birini düşük, %1 olasılıkla uygular; böylece bu işlemler eğitime hâkim olmadan ara sıra çeşitlilik katar.

  • Albumentations birkaç özelliğiyle öne çıkar:

    1. Performans: Yüksek hız için SIMD optimizasyonuyla OpenCV ve NumPy üzerine kurulmuştur
    2. Esneklik: Piksel düzeyinde, uzamsal düzeyde ve karıştırma düzeyinde artırmaları kapsayan 70'ten fazla dönüşümü destekler
    3. Uyumluluk: PyTorch ve TensorFlow gibi popüler çerçevelerle çalışır
    4. Güvenilirlik: Kapsamlı test paketi, sessiz veri bozulmalarını önler
    5. Kullanım kolaylığı: Tüm artırma türleri için tek ve birleşik bir API
  • Albumentations, aşağıdakiler dahil çeşitli bilgisayarlı görü görevlerini geliştirir:

    • Nesne Algılama: Modelin aydınlatma, ölçek ve yönelim farklılıklarına dayanıklılığını artırır
    • Örnek Segmentasyonu: Çeşitli dönüşümler aracılığıyla maske tahmininin doğruluğunu artırır
    • Poz Tahmini: Modellerin farklı bakış açılarına ve aydınlatma koşullarına uyum sağlamasına yardımcı olur
    • Yönelimli Sınırlayıcı Kutu Algılama: Hava görüntüleri ve döndürülmüş nesnelerin görüntüleri için renk ve gürültü çeşitliliği ekler

    Kütüphanenin çeşitli artırma seçenekleri, güçlü model performansı gerektiren görü görevlerinde onu değerli kılar. Ultralytics YOLO26'da sınıflandırma eğitimi, torchvision tabanlı kendi artırma hattını kullanır ve Albumentations dönüşümlerini uygulamaz.

Yorumlar19

Bir soru sor, sonuçlarını paylaş veya başka birine yardım et.

  1. anushka-koreGitHub

    Is there a way that we can define more custom albumentations transforms to be applied during model train? If yes, will they also change the bounding box coords accordingly if they are spatial transforms?

    1. manuelescobar5036GitHub

      The albumentations transforms are defined in the ultralytics/data/augment.py file. There you can find the following function that returns the transforms to be applied to the images, which includes the Albumentations transform. image

      Then, in the same file you can find the Albumentations class which defines the pipeline. In this pipeline you can add the new transforms that you want. image

      Bouding boxes are changed accordingly to their spatial transforms. This is done when you pass bbox_params to the Albumentations pipeline. image

    2. Glenn JocherUltralytics(düzenlendi)

      @anushka-kore Yes. Pass your own Albumentations transforms to training with the augmentations argument (Python only):

      import albumentations as A
      from ultralytics import YOLO
      
      model = YOLO("yolo26n.pt")
      model.train(data="coco8.yaml", augmentations=[A.Blur(p=0.01), A.CLAHE(p=0.01)])

      Spatial transforms (rotation, flips, perspective, etc.) are applied together with the bounding boxes, which are updated automatically through Albumentations' bbox handling in YOLO format. Non-spatial transforms like color adjustments only change the image. See the Albumentations integration guide for details.

    3. anushka-koreGitHub

      Hey @glenn-jocher and @deox1994, I later realised that simply defining my list of custom transform in the augment.py file is not working. This is the part I changed in the augment.py file (original ones are commented out)-

              T = [
                  #A.Blur(p=0.01),
                  #A.MedianBlur(p=0.01),
                  #A.ToGray(p=0.01),
                  #A.CLAHE(p=0.01),
                  A.RandomBrightnessContrast(p=0.2),
                  #A.RandomGamma(p=0.0),
                  #A.ImageCompression(quality_range=(75, 100), p=0.0),
                  A.HorizontalFlip(p=0.5),
                  A.VerticalFlip(p=0.5),
                  A.Rotate(limit=30, p=0.5),
                  A.GaussianBlur(p=0.2),
                  A.GaussNoise(p=0.2),
              ]

      For your reference, this is the error I get, you could view the list of albumentation transforms I applied here as well- ..... Transferred 1009/1015 items from pretrained weights Freezing layer 'model.23.dfl.conv.weight' AMP: running Automatic Mixed Precision (AMP) checks... AMP: checks passed ✅ train: Scanning /home/xxx/dataset_MIP_clean/train/labels.cache... 831 images, 73 backgrounds, 0 corrupt: 100%|██████████| 831/831 [00:00<?, ?it/s] albumentations: RandomBrightnessContrast(p=0.2, brightness_by_max=True, brightness_limit=(-0.2, 0.2), contrast_limit=(-0.2, 0.2), ensure_safe_range=False), HorizontalFlip(p=0.5), VerticalFlip(p=0.5), Rotate(p=0.5, border_mode=0, crop_border=False, fill=0.0, fill_mask=0.0, interpolation=1, limit=(-30.0, 30.0), mask_interpolation=0, rotate_method='largest_box'), GaussianBlur(p=0.2, blur_limit=(0, 0), sigma_limit=(0.5, 3.0)), GaussNoise(p=0.2, mean_range=(0.0, 0.0), noise_scale_factor=1.0, per_channel=True, std_range=(0.2, 0.44)) val: Scanning /home/xxx/dataset_MIP_clean/val/labels.cache... 210 images, 13 backgrounds, 0 corrupt: 100%|██████████| 210/210 [00:00<?, ?it/s] Plotting labels to /home/xxx/yolov11_predictions/test4/labels.jpg... optimizer: 'optimizer=auto' found, ignoring 'lr0=0.01' and 'momentum=0.937' and determining best 'optimizer', 'lr0' and 'momentum' automatically... optimizer: AdamW(lr=0.000769, momentum=0.9) with parameter groups 167 weight(decay=0.0), 174 weight(decay=0.0005), 173 bias(decay=0.0) Image sizes 640 train, 640 val Using 8 dataloader workers Logging results to /home/xxx/yolov11_predictions/test4 Starting training for 200 epochs...

        Epoch    GPU_mem   box_loss   cls_loss   dfl_loss  Instances       Size
        1/200      15.4G      5.502      51.38      2.745         17        640:  10%|▉         | 5/52 [00:02<00:22,  2.07it/s]

      Traceback (most recent call last): File "/home/xxx/yolo_train.py", line 149, in train_yolo(output_dir) File "/home/xxx/yolo_train.py", line 116, in train_yolo results = model.train( ^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/ultralytics/engine/model.py", line 791, in train self.trainer.train() File "/home/xxx/env/lib/python3.12/site-packages/ultralytics/engine/trainer.py", line 211, in train self._do_train(world_size) File "/home/xxx/env/lib/python3.12/site-packages/ultralytics/engine/trainer.py", line 366, in _do_train for i, batch in pbar: ^^^^ File "/home/xxx/env/lib/python3.12/site-packages/tqdm/std.py", line 1178, in iter for obj in iterable: ^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/ultralytics/data/build.py", line 59, in iter yield next(self.iterator) ^^^^^^^^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/torch/utils/data/dataloader.py", line 708, in next data = self._next_data() ^^^^^^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/torch/utils/data/dataloader.py", line 1455, in _next_data return self._process_data(data) ^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/torch/utils/data/dataloader.py", line 1505, in _process_data data.reraise() File "/home/xxx/env/lib/python3.12/site-packages/torch/_utils.py", line 733, in reraise raise exception RuntimeError: Caught RuntimeError in DataLoader worker process 5. Original Traceback (most recent call last): File "/home/xxx/env/lib/python3.12/site-packages/torch/utils/data/_utils/worker.py", line 349, in _worker_loop data = fetcher.fetch(index) # type: ignore[possibly-undefined] ^^^^^^^^^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/torch/utils/data/_utils/fetch.py", line 55, in fetch return self.collate_fn(data) ^^^^^^^^^^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/ultralytics/data/dataset.py", line 298, in collate_fn value = torch.cat(value, 0) ^^^^^^^^^^^^^^^^^^^ RuntimeError: Tensors must have same number of dimensions: got 1 and 2

      All my transforms are correctly defined, and the spatial transforms (horizontalflip, verticalflip and rotate) exist in the spatial_transforms list. Could you please point where this is going wrong?

    4. supriamirGitHub

      Hi Glen,

      I would like to optimize the hyperparameters using model.tune(). My goal is to identify the most important augmentations from Albumentations.

      If I am not mistaken, the default hyperparameter optimization only includes a limited set of augmentation parameters, as described in the following link: https://docs.ultralytics.com/integrations/ray-tune/#tune-method-parameters

      Could you advise how I can include and optimize additional Albumentations transforms beyond the default settings?

    5. Glenn JocherUltralytics

      Yes, but not directly through the default model.tune() search set: custom Albumentations are a Python-only augmentations list passed to model.train(), while the built-in tuner mutates the numeric space, so the usual workflow is to keep one fixed augmentations= pipeline per tuning run and compare the best result across several candidate pipelines; if you want to search the pipeline itself, use a small custom Ray Tune wrapper around model.train() instead, and keep the standard YOLO augmentations fixed so you isolate the Albumentations effect—see the hyperparameter tuning guide and the Albumentations integration guide.

  2. UltralyticsAssistantGitHubUltralytics

    👋 Hello, thank you for your interest in Ultralytics 🚀! We recommend visiting the Docs for guidance—there you’ll find many Python and CLI usage examples, and answers to many common questions.

    If this is a 🐛 Bug Report, please provide a minimum reproducible example to help us investigate.

    If you have a custom training ❓ Question, please share as much relevant information as possible, including dataset image examples and training logs. Also, make sure to review our Tips for Best Training Results.

    You’re welcome to join the Ultralytics community where it fits you best:

    • For real-time chat, join us on Discord 🎧
    • For in-depth discussions, visit Discourse
    • For community sharing, check out our Subreddit

    Upgrade

    Upgrade to the latest ultralytics package and all requirements in a Python>=3.8 environment with PyTorch>=1.8 to ensure you’re on the latest version:

    pip install -U ultralytics

    Environments

    YOLO can be run in any of the following up-to-date verified environments (with all dependencies like CUDA/CUDNN, Python, and PyTorch preinstalled):

    Status

    Ultralytics CI

    If this badge is green, all Ultralytics CI tests are currently passing. These tests confirm correct operation of all YOLO Modes and Tasks on macOS, Windows, and Ubuntu every 24 hours and on every commit.

    This is an automated response 🤖. An Ultralytics engineer will assist you here soon!

    1. Glenn JocherUltralytics

      欢迎来到 Ultralytics 中文文档的 Albumentations 集成讨论区!如果您对使用 Albumentations 来增强 YOLO11 训练数据有任何问题或想法,请在这里提出。

      Albumentations 与 YOLO11 的集成非常简便,只需安装 albumentations 包,就会在训练过程中自动应用多种图像增强技术,如模糊、中值模糊、灰度转换和 CLAHE,帮助您的模型更好地适应各种真实场景。

      您是否在特定项目中使用过 Albumentations?或者您对如何最佳配置这些增强技术有疑问?请随时在这里分享您的经验或提出问题,Ultralytics 团队将很乐意提供帮助!

  3. UltralyticsAssistantGitHubUltralytics

    👋 Hello, thank you for your interest in Ultralytics 🚀! We recommend visiting the Docs for guidance on integrations like Albumentations with YOLO11. You can also review many Python and CLI examples, and frequently asked questions may already be addressed there.

    If this is a 🐛 Bug Report, please include a minimum reproducible example to help us investigate further.

    If you have a custom training ❓ Question, please provide detailed info such as dataset image samples, training logs, and confirm you are following our Tips for Best Training Results.

    Join the Ultralytics community wherever you prefer—real-time chat on Discord 🎧, in-depth discussions on Discourse, or knowledge-sharing on our Subreddit.

    Upgrade

    Upgrade to the latest ultralytics package and all requirements in a Python>=3.8 environment with PyTorch>=1.8 to ensure your issue is not already fixed in the latest version:

    pip install -U ultralytics

    Environments

    YOLO may be run in any of the following verified and up-to-date environments (with all dependencies including CUDA/CUDNN, Python and PyTorch preinstalled):

    Status

    Ultralytics CI

    If this badge is green, all Ultralytics CI tests are currently passing. These tests verify correct operation of all YOLO Modes and Tasks on macOS, Windows, and Ubuntu every 24 hours and on every commit.

    This is an automated response. An Ultralytics engineer will review and assist you soon!

    1. Glenn JocherUltralytics

      Bonjour! N'hésitez pas à poser vos questions sur l'intégration d'Albumentations avec YOLO11 dans cette discussion. Cette intégration vous permet d'améliorer automatiquement votre jeu de données pendant l'entraînement avec diverses transformations comme le flou, le flou médian, la conversion en niveaux de gris et CLAHE.

      L'avantage principal est sa simplicité d'utilisation - il suffit d'installer les packages requis et les augmentations sont appliquées automatiquement pendant l'entraînement:

      pip install albumentations ultralytics

      Si vous rencontrez des difficultés avec cette intégration ou si vous avez des questions sur l'augmentation de données pour améliorer les performances de vos modèles YOLO11, n'hésitez pas à les partager ici!

  4. manuelescobar5036GitHub(düzenlendi)

    Dear Ultralytics team,

    I’m working on a project focused on detecting the behavior of workers in underground mines. The classes and the number of labels per class in the training set are as follows:

    • Sitting → 2500
    • Standing → 9000
    • Operation → 700
    • Lean Against → 4000
    • Tumble → 400

    Since the dataset is imbalanced, I would like to apply data augmentation to avoid overfitting and improve accuracy. While researching YOLO's data augmentation capabilities, a few questions came up:

    1. As far as I understand, YOLO currently supports two methods for performing data augmentation:
    • Modifying individual hyperparameters such as hsv_h, hsv_s, hsv_v, degrees, translate, etc., in the ultralytics/cfg/default.yaml file (does not require the Albumentations Python Library).
    • Using the Albumentations Python Library (previously installed).

    Is this correct? If so, what are the differences between the two methods, and which one is currently recommended?

    1. Considering both options from question 1, does YOLO apply data augmentation only to images from the classes with less labels, or to images from all classes? I ask because if I have an imbalanced dataset and YOLO applies data augmentation to images from all classes, the imbalance would remain, wouldn’t it?

    2. If I choose to use an older YOLO model, such as yolov8n.yaml, and I have Albumentations installed, will Albumentations-based data augmentation be applied during training?

    3. What other suggestions would you recommend for dealing with imbalanced classes?

    1. Glenn JocherUltralytics

      @deox1994 Thanks for your detailed questions about data augmentation in YOLO for handling your imbalanced mining worker dataset. Let me address each point:

      1. Yes, you're correct about the two augmentation approaches:
        • Built-in YOLO augmentations (hsv_h, translate, scale, etc.) which are always available
        • Albumentations integration which activates automatically when the library is installed

      The key difference is that built-in augmentations focus primarily on geometric and color transformations, while Albumentations adds more specialized transformations like blur, grayscale, and CLAHE with carefully tuned probabilities (typically 0.01 as shown in the reference code). Both work together complementarily rather than being exclusive options.

      1. Both augmentation methods apply to all images regardless of class. To address your imbalance specifically, consider:

        • Using a weighted loss function
        • Implementing class-aware sampling during training
        • Creating custom data pipeline that applies additional augmentations to underrepresented classes
      2. Yes, if Albumentations is installed, it will be automatically applied when training YOLOv8 models too. The integration is part of the Ultralytics framework, not specific to YOLO11.

      3. For handling imbalanced classes beyond augmentation:

        • Apply weighted loss based on inverse class frequency
        • Use focal loss which naturally handles class imbalance better
        • Consider different evaluation metrics (precision/recall per class rather than just mAP)
        • Experiment with undersampling majority classes or oversampling minority classes

      You can find implementation details for these approaches in the data augment reference documentation.

    2. safwene-bahrounGitHub

      Good morning ,@glenn-jocher, do you can help me ?

      { "total_images": 39152, "total_detections": 70910, "instances_per_class": { "Dress": 52999, "Skirt": 1259, "Handbag": 2495, "High heels": 3124, "Swimwear": 10079, "Miniskirt": 954 } } i will train this with yolo11n.pt and with albumentation the code : from ultralytics import YOLO import torch

      def main(): # Load a pretrained YOLO model model = YOLO("yolo11n.pt") # Set device device = "cuda" if torch.cuda.is_available() else "cpu" print(f"Using device: {device}")

      if device == "cuda":
          print(f"GPU name: {torch.cuda.get_device_name(0)}")
      
      # Debug: Print dataset configuration
      print("Training with dataset: OpenImagesV7-women.yaml")
      
      # Train the model with enhanced hyperparameters
      results = model.train(
      data="OpenImagesV7-woman.yaml",
      epochs=150,
      imgsz=640,
      device=device,
      batch=16,
      optimizer ="auto"

      )

      Dataset configuration

      path: ../datasets/open-images-v7 train: c:\Users\GIGABYTE\datasets\open-images-v7\train val: C:/Users/GIGABYTE/datasets/open-images-v7/val

      nc: 6 names: 0: Dress 1: High heels 2: Miniskirt 3: Skirt 4: Swimwear 5: Handbag

      Hyperparameters for extreme imbalance

      loss: cls_weight: [0.3, 0.5, 7.0, 5.0, 0.4, 0.6] # Calculated weights below box: 0.05 obj: 1.0 label_smoothing: 0.1

      Strategic augmentation

      augment:

      For rare classes (Miniskirt, Skirt)

      copy_paste: 0.7 # High frequency for rare classes paste_classes: [2, 3] # Only Miniskirt(class2)/Skirt(class3) paste_scale: [0.3, 0.7] # Realistic resizing of pasted objects

      General augmentations (applied to all)

      mosaic: 1.0 # Helps context learning mixup: 0.05 # Reduced to avoid label confusion fliplr: 0.5 hsv_h: 0.015 # Mild color variation degrees: 5.0 # Small rotation for fashion items

      Training parameters

      batch: 16 # Match GPU capacity accumulate: 4 # Simulates batch=64 epochs: 150 # Longer training for rare classes patience: 50 # Early stopping if no improveme

      but i trained untill now :
      Epoch GPU_mem box_loss cls_loss dfl_loss Instances Size 104/150 2.92G 1.026 0.9478 1.206 55 640: 100%|██████████| 2447/2447 [07:51<00:00, Class Images Instances Box(P R mAP50 mAP50-95): 100%|██████████| 32/32 [00:06 all 1016 1987 0.581 0.525 0.536 0.423

      Can you help me please to reach all metrics above 0.8

      THANKS

  5. hillsonghimireGitHub

    Even when I turned off augment=False, albumentation-related operations were still performed in yolo11. How to completely turn it off/disable?

    1. Glenn JocherUltralytics

      @hillsonghimire to completely disable Albumentations augmentations in YOLO11, uninstall the Albumentations package since its presence automatically enables the integration. Run pip uninstall albumentations and verify it's removed from your environment. This will prevent any Albumentations transformations from being applied regardless of other settings. For more details, see the Albumentations integration guide.

  6. DP1701GitHub

    Thanks for this explanation. But if I understand correctly, not all functions of Albuminations are directly supported, or am I misunderstanding?

    The explanation says: The integration includes optimized augmentations like blur, median blur, grayscale conversion, and CLAHE with carefully tuned probabilities to enhance model performance.

    So only blur, median blur, grayscale conversion and CLAHE are applied and the others cannot be individually selected and adjusted?

    1. Glenn JocherUltralytics(düzenlendi)

      The integration with Albumentations in YOLO11 automatically applies specific augmentations like blur, median blur, grayscale conversion, and CLAHE. While these are the default transformations used to enhance model performance, you can pass your own Albumentations transforms to model.train() with the augmentations argument (Python only).