Inizia

Arricchisci il tuo dataset per addestrare YOLO26 con Albumentations

Quando sviluppi modelli di visione artificiale, la qualità e la varietà dei tuoi dati di addestramento possono influire molto sulle prestazioni del modello. Albumentations offre un modo rapido, flessibile ed efficiente per applicare un'ampia gamma di trasformazioni alle immagini, che possono migliorare la capacità del tuo modello di adattarsi a scenari reali. Si integra con Ultralytics YOLO26 e può aiutarti a creare dataset robusti per attività di rilevamento di oggetti, segmentazione di istanze, segmentazione semantica, stima della profondità, stima della posa e rilevamento di riquadri di delimitazione orientati.

Albumentations aggiunge tecniche come le trasformazioni geometriche e le regolazioni del colore ai dati di addestramento di YOLO26. Questa guida spiega come Albumentations si inserisce nella pipeline di data augmentation di Ultralytics e come personalizzarla per i tuoi progetti.

Albumentations per l'augmentation delle immagini#

Albumentations è una libreria open source per l'augmentation delle immagini, creata nel giugno 2018. È progettata per semplificare e accelerare il processo di augmentation delle immagini nella visione artificiale. Creata pensando a prestazioni e flessibilità, supporta molte tecniche di augmentation diverse, da trasformazioni semplici come rotazioni e ribaltamenti a regolazioni più complesse come le variazioni di luminosità e contrasto. Albumentations aiuta gli sviluppatori a generare dataset ricchi e vari per attività come la classificazione delle immagini, il rilevamento di oggetti e la segmentazione.

Puoi usare Albumentations per applicare facilmente augmentation a immagini, maschere di segmentazione, riquadri di delimitazione e punti chiave, assicurandoti che tutti gli elementi del dataset vengano trasformati insieme. È compatibile con framework di deep learning diffusi come PyTorch e TensorFlow, risultando accessibile per un'ampia gamma di progetti.

Albumentations è adatto sia a dataset di piccole dimensioni sia ad attività di visione artificiale su larga scala. La sua elaborazione rapida riduce il tempo dedicato alla preparazione dei dati e dati di addestramento più vari possono migliorare le prestazioni del modello nelle applicazioni del mondo reale.

Funzionalità principali di Albumentations#

Albumentations offre molte funzionalità utili che semplificano le complesse operazioni di augmentation delle immagini per un'ampia gamma di applicazioni di computer vision. Ecco alcune delle funzionalità principali:

  • Ampia gamma di trasformazioni: Albumentations offre oltre 70 trasformazioni diverse, tra cui modifiche geometriche (ad es. rotazione e ribaltamento), regolazioni del colore (ad es. luminosità e contrasto) e aggiunta di rumore (ad es. rumore gaussiano). La varietà di opzioni permette di creare dataset di addestramento molto diversificati e robusti.

Albumentations augmentation examples

  • Ottimizzazione delle prestazioni: Basato su OpenCV e NumPy, Albumentations utilizza tecniche di ottimizzazione avanzate come SIMD (istruzione singola, dati multipli), che elabora simultaneamente più punti dati per accelerare l'elaborazione. Gestisce rapidamente dataset di grandi dimensioni, risultando una delle soluzioni più veloci disponibili per l'augmentation delle immagini.

  • Tre livelli di augmentation: Albumentations supporta tre livelli di augmentation: trasformazioni a livello di pixel, trasformazioni a livello spaziale e trasformazioni a livello di mixing. Le trasformazioni a livello di pixel modificano solo le immagini di input, senza alterare maschere, riquadri di delimitazione o punti chiave. Le trasformazioni a livello spaziale modificano sia l'immagine sia i suoi elementi, come maschere e riquadri di delimitazione. Le trasformazioni a livello di mixing combinano più immagini in una sola.

Esempi di augmentation Albumentations a livello di pixel, spaziale e di mixing

  • Risultati dei benchmark: i benchmark pubblicati di Albumentations mostrano prestazioni in termini di velocità competitive rispetto ad altre librerie di augmentation, soprattutto sui dataset di grandi dimensioni.

Perché usare Albumentations nei tuoi progetti di Vision AI?#

Per quanto riguarda l'augmentation delle immagini, Albumentations si distingue come strumento affidabile per le attività di computer vision. Ecco alcuni motivi importanti per cui dovresti valutare di usarlo nei tuoi progetti di Vision AI:

  • API facile da usare: Albumentations offre un'API unica e intuitiva per applicare un'ampia gamma di operazioni di augmentation a immagini, maschere, riquadri di delimitazione e punti chiave. È progettata per adattarsi facilmente a diversi dataset, rendendo più semplice ed efficiente la preparazione dei dati.

  • Test rigorosi per individuare i bug: I bug nella pipeline di augmentation possono corrompere silenziosamente i dati di input, spesso senza essere rilevati e finendo per ridurre le prestazioni del modello. Albumentations affronta il problema con una suite di test completa che aiuta a individuare i bug nelle prime fasi dello sviluppo.

  • Estensibilità: Albumentations semplifica l'aggiunta di nuove augmentation e il loro utilizzo insieme alle trasformazioni integrate tramite un'unica interfaccia.

Come usare Albumentations per aumentare i dati di addestramento di YOLO26#

Albumentations si integra direttamente nella modalità di addestramento di Ultralytics e si applica automaticamente quando il pacchetto Albumentations è installato.

Installazione#

Per usare Albumentations con YOLO26, assicurati innanzitutto di aver installato i pacchetti necessari. Se Albumentations non è installato, le sue augmentation non verranno applicate durante l'addestramento. Una volta installato, le trasformazioni vengono applicate al volo alle immagini di addestramento.

Installazione
# Install the required packages
pip install albumentations ultralytics

Per istruzioni dettagliate e best practice sulla procedura di installazione, consulta la nostra guida all'installazione di Ultralytics. Se durante l'installazione dei pacchetti necessari per YOLO26 riscontri difficoltà, consulta la nostra guida ai problemi comuni per trovare soluzioni e suggerimenti.

Gli esempi di trasformazioni personalizzate in questa pagina richiedono Albumentations 1.4.22 o versioni successive e, di conseguenza, Python 3.9 o versioni successive.

Utilizzo#

Dopo aver installato i pacchetti necessari, puoi iniziare a usare Albumentations con YOLO26. Quando addestri YOLO26 con Albumentations installato, viene applicato automaticamente un set predefinito di trasformazioni Albumentations.

Utilizzo
from ultralytics import YOLO

# Carica un modello preaddestrato
model = YOLO("yolo26n.pt")

# # Addestra il modello con le operazioni di augmentation predefinite
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

Le sezioni seguenti descrivono le trasformazioni Albumentations predefinite applicate durante l'addestramento.

Sfocatura#

La trasformazione Blur di Albumentations applica un semplice effetto di sfocatura all'immagine calcolando la media dei valori dei pixel all'interno di una piccola area quadrata, o kernel. A questo scopo usa la funzione OpenCV cv2.blur, che contribuisce a ridurre il rumore nell'immagine, riducendone però leggermente anche i dettagli.

Ecco i parametri e i valori usati in questa integrazione:

  • blur_limit: controlla l'intervallo delle dimensioni dell'effetto di sfocatura. L'intervallo predefinito è (3, 7), il che significa che la dimensione del kernel può variare da 3 a 7 pixel; sono ammessi solo numeri dispari, così da mantenere la sfocatura centrata.

  • p: la probabilità di applicare la sfocatura. Nell'integrazione, p=0.01, quindi c'è l'1% di probabilità che questa sfocatura venga applicata a ciascuna immagine. La bassa probabilità consente di introdurre occasionalmente l'effetto, aggiungendo un po' di varietà per aiutare il modello a generalizzare senza sfocare eccessivamente le immagini.

Albumentations Blur augmentation result

Sfocatura mediana#

La trasformazione MedianBlur di Albumentations applica all'immagine una sfocatura mediana, particolarmente utile per ridurre il rumore preservando i bordi. A differenza dei metodi di sfocatura tipici, MedianBlur usa un filtro mediano, particolarmente efficace nel rimuovere il rumore impulsivo mantenendo la nitidezza dei bordi.

Ecco i parametri e i valori usati in questa integrazione:

  • blur_limit: questo parametro controlla la dimensione massima del kernel di sfocatura. In questa integrazione, l'intervallo predefinito è (3, 7), il che significa che la dimensione del kernel viene scelta casualmente tra 3 e 7 pixel; sono ammessi solo valori dispari per garantire un corretto allineamento.

  • p: imposta la probabilità di applicare la sfocatura mediana. In questo caso, p=0.01, quindi c'è l'1% di probabilità che la trasformazione venga applicata a ciascuna immagine. Questa bassa probabilità fa sì che la sfocatura mediana venga usata con moderazione, aiutando il modello a generalizzare grazie alla visione occasionale di immagini con meno rumore e bordi preservati.

L'immagine seguente mostra un esempio di questa operazione di augmentation applicata a un'immagine.

Albumentations MedianBlur augmentation

Scala di grigi#

La trasformazione ToGray di Albumentations converte un'immagine in scala di grigi, riducendola a un singolo canale e, facoltativamente, replicando questo canale per ottenere un numero specificato di canali di output. È possibile usare metodi diversi per regolare il calcolo della luminosità in scala di grigi, dalla semplice media a tecniche più avanzate per una percezione realistica del contrasto e della luminosità.

Ecco i parametri e i valori usati in questa integrazione:

  • num_output_channels: imposta il numero di canali nell'immagine di output. Se il valore è superiore a 1, il singolo canale in scala di grigi viene replicato per creare un'immagine in scala di grigi multicanale. Per impostazione predefinita, è impostato su 3, generando un'immagine in scala di grigi con tre canali identici.

  • method: definisce il metodo di conversione in scala di grigi. Il metodo predefinito, "weighted_average", applica una formula (0.299R + 0.587G + 0.114B) che rispecchia fedelmente la percezione umana e produce un effetto naturale. Altre opzioni, come "from_lab", "desaturation", "average", "max" e "pca", offrono metodi alternativi per creare immagini in scala di grigi in base a esigenze diverse di velocità, enfasi sulla luminosità o conservazione dei dettagli.

  • p: controlla la frequenza di applicazione della trasformazione in scala di grigi. Con p=0.01, c'è l'1% di probabilità che ogni immagine venga convertita in scala di grigi, consentendo di combinare immagini a colori e in scala di grigi per aiutare il modello a generalizzare meglio.

L'immagine seguente mostra un esempio di questa trasformazione in scala di grigi applicata.

Albumentations grayscale conversion

Equalizzazione adattiva dell'istogramma con contrasto limitato (CLAHE)#

La trasformazione CLAHE di Albumentations applica l'equalizzazione adattiva dell'istogramma con contrasto limitato (CLAHE), una tecnica che migliora il contrasto dell'immagine equalizzando l'istogramma in aree locali (riquadri) anziché sull'intera immagine. CLAHE produce un effetto di miglioramento bilanciato, evitando l'eccessiva amplificazione del contrasto che può derivare dall'equalizzazione standard dell'istogramma, soprattutto nelle aree inizialmente a basso contrasto.

Ecco i parametri e i valori usati in questa integrazione:

  • clip_limit: controlla l'intervallo di miglioramento del contrasto. Con un intervallo predefinito di (1, 4), determina il contrasto massimo consentito in ogni tassello. Valori più alti consentono un contrasto maggiore, ma possono anche introdurre rumore.

  • tile_grid_size: definisce la dimensione della griglia di tasselli, in genere nel formato (righe, colonne). Il valore predefinito è (8, 8), cioè l'immagine viene suddivisa in una griglia 8x8. Tasselli più piccoli consentono regolazioni più localizzate, mentre quelli più grandi producono effetti più simili a un'equalizzazione globale.

  • p: la probabilità di applicare CLAHE. In questo caso, p=0.01 introduce l'effetto di miglioramento solo nell'1% dei casi, assicurando che le regolazioni del contrasto siano applicate con moderazione e introducano una variazione occasionale nelle immagini di addestramento.

L'immagine seguente mostra un esempio della trasformazione CLAHE applicata.

Albumentations CLAHE contrast enhancement

Uso di trasformazioni Albumentations personalizzate#

Sebbene l'integrazione predefinita di Albumentations offra un buon set di augmentation, potresti voler personalizzare le trasformazioni per il tuo caso d'uso specifico. Con Ultralytics YOLO26, puoi passare trasformazioni Albumentations personalizzate tramite l'API Python usando il parametro augmentations. Gli esempi di questa sezione richiedono Albumentations 1.4.22 o versioni successive.

Come definire trasformazioni personalizzate#

Puoi definire un tuo elenco di trasformazioni Albumentations e passarlo alla funzione di training. In questo modo sostituisci le trasformazioni Albumentations predefinite, mantenendo attive tutte le altre trasformazioni YOLO (come hsv_h, degrees, mosaic e così via).

Ecco un esempio con trasformazioni più avanzate:

import albumentations as A

from ultralytics import YOLO

# Carica il modello
model = YOLO("yolo26n.pt")

# Definisci trasformazioni personalizzate con diverse tecniche di aumento dei dati
custom_transforms = [
    # Variazioni di sfocatura
    A.OneOf(
        [
            A.MotionBlur(blur_limit=7, p=1.0),
            A.MedianBlur(blur_limit=7, p=1.0),
            A.GaussianBlur(blur_limit=7, p=1.0),
        ],
        p=0.3,
    ),
    # Variazioni del rumore
    A.OneOf(
        [
            A.GaussNoise(std_range=(0.0124, 0.0277), p=1.0),
            A.ISONoise(color_shift=(0.01, 0.05), intensity=(0.1, 0.5), p=1.0),
        ],
        p=0.2,
    ),
    # Regolazioni di colore e contrasto
    A.CLAHE(clip_limit=4.0, tile_grid_size=(8, 8), p=0.5),
    A.RandomBrightnessContrast(brightness_limit=0.3, contrast_limit=0.3, p=0.5),
    A.HueSaturationValue(hue_shift_limit=20, sat_shift_limit=30, val_shift_limit=20, p=0.5),
    # Simula le occlusioni
    A.CoarseDropout(num_holes_range=(1, 8), hole_height_range=(8, 32), hole_width_range=(8, 32), fill=0, p=0.2),
]

# Esegui il training con trasformazioni personalizzate
results = model.train(
    data="coco8.yaml",
    epochs=100,
    imgsz=640,
    augmentations=custom_transforms,
)

Considerazioni importanti#

Quando usi trasformazioni Albumentations personalizzate, tieni presenti questi punti:

  • Configurazione: Crea oggetti di trasformazione personalizzati tramite l'API Python. Puoi anche passare trasformazioni serializzate tramite CLI o file di configurazione YAML, anche quando riprendi il training.
  • Sostituzione delle impostazioni predefinite: Le trasformazioni personalizzate sostituiscono completamente quelle Albumentations predefinite. Le altre trasformazioni YOLO rimangono attive.
  • Gestione delle etichette: Le trasformazioni spaziali, incluse quelle annidate in A.OneOf o A.Compose, spostano insieme all'immagine i riquadri di delimitazione, i poligoni, i keypoint e le maschere di profondità o semantiche. A.RandomGridShuffle non può preservare la topologia di poligoni o keypoint e genera un errore con campioni di segmentazione, posa e OBB.
  • Prestazioni: Alcune trasformazioni richiedono molte risorse di calcolo. Monitora la velocità del training e regolala di conseguenza.
  • Compatibilità con le attività: Le trasformazioni Albumentations personalizzate funzionano con il training per rilevamento, segmentazione, segmentazione semantica, profondità, posa e OBB, ma non con la classificazione (che usa una pipeline di aumento dei dati diversa).

Casi d'uso delle trasformazioni personalizzate#

Applicazioni diverse traggono vantaggio da strategie di aumento dei dati diverse:

  • Imaging medico: Usa deformazioni elastiche, distorsioni a griglia e pattern di rumore specifici
  • Immagini aeree/satellitari: Applica trasformazioni che simulano diverse altitudini, condizioni meteorologiche e angoli di illuminazione
  • Scenari con scarsa illuminazione: Dai risalto all'aggiunta di rumore e alle regolazioni della luminosità per addestrare modelli robusti in condizioni di illuminazione difficili
  • Ispezione industriale: Aggiungi variazioni di texture e difetti simulati per le applicazioni di controllo qualità

Per un elenco completo delle trasformazioni disponibili e dei relativi parametri, consulta la documentazione di Albumentations.

Per esempi più dettagliati e best practice sull'uso di trasformazioni Albumentations personalizzate con YOLO26, consulta la guida all'aumento dei dati YOLO.

Approfondisci Albumentations#

Se vuoi saperne di più su Albumentations, consulta le seguenti risorse per istruzioni ed esempi più approfonditi:

Punti chiave#

In questa guida abbiamo esaminato gli aspetti principali di Albumentations, una libreria Python per l'augmentation delle immagini. Abbiamo illustrato l'ampia gamma di trasformazioni, le prestazioni ottimizzate e come puoi usare la libreria nel tuo prossimo progetto YOLO26.

Domande frequenti#

  • Albumentations si integra con YOLO26 e viene applicato automaticamente durante l'addestramento se hai installato il pacchetto. Ecco come iniziare:

    # Installa i pacchetti richiesti
    # !pip install albumentations ultralytics
    from ultralytics import YOLO
    
    # Carica e addestra il modello con gli aumenti automatici
    model = YOLO("yolo26n.pt")
    model.train(data="coco8.yaml", epochs=100)

    L'integrazione predefinita applica sfocatura, sfocatura mediana, conversione in scala di grigi e CLAHE, ciascuna con una probabilità bassa dell'1%, così da introdurre variazioni occasionali senza dominare l'addestramento.

  • Albumentations si distingue per diversi motivi:

    1. Prestazioni: basato su OpenCV e NumPy, con ottimizzazione SIMD per garantire velocità elevate
    2. Flessibilità: Supporta oltre 70 trasformazioni per l'aumento dei dati a livello di pixel, spaziale e di combinazione
    3. Compatibilità: compatibile con framework diffusi come PyTorch e TensorFlow
    4. Affidabilità: Una suite di test completa previene la corruzione silenziosa dei dati
    5. Facilità d'uso: Un'unica API unificata per tutti i tipi di aumento dei dati
  • Albumentations migliora diverse attività di computer vision, tra cui:

    Le diverse opzioni di aumento dei dati della libreria la rendono utile per le attività di visione che richiedono prestazioni robuste del modello. In Ultralytics YOLO26, il training di classificazione usa una propria pipeline di aumento dei dati basata su torchvision e non applica trasformazioni Albumentations.

Commenti19

Fai una domanda, condividi i tuoi risultati o aiuta qualcun altro.

  1. anushka-koreGitHub

    Is there a way that we can define more custom albumentations transforms to be applied during model train? If yes, will they also change the bounding box coords accordingly if they are spatial transforms?

    1. manuelescobar5036GitHub

      The albumentations transforms are defined in the ultralytics/data/augment.py file. There you can find the following function that returns the transforms to be applied to the images, which includes the Albumentations transform. image

      Then, in the same file you can find the Albumentations class which defines the pipeline. In this pipeline you can add the new transforms that you want. image

      Bouding boxes are changed accordingly to their spatial transforms. This is done when you pass bbox_params to the Albumentations pipeline. image

    2. Glenn JocherUltralytics(modificato)

      @anushka-kore Yes. Pass your own Albumentations transforms to training with the augmentations argument (Python only):

      import albumentations as A
      from ultralytics import YOLO
      
      model = YOLO("yolo26n.pt")
      model.train(data="coco8.yaml", augmentations=[A.Blur(p=0.01), A.CLAHE(p=0.01)])

      Spatial transforms (rotation, flips, perspective, etc.) are applied together with the bounding boxes, which are updated automatically through Albumentations' bbox handling in YOLO format. Non-spatial transforms like color adjustments only change the image. See the Albumentations integration guide for details.

    3. anushka-koreGitHub

      Hey @glenn-jocher and @deox1994, I later realised that simply defining my list of custom transform in the augment.py file is not working. This is the part I changed in the augment.py file (original ones are commented out)-

              T = [
                  #A.Blur(p=0.01),
                  #A.MedianBlur(p=0.01),
                  #A.ToGray(p=0.01),
                  #A.CLAHE(p=0.01),
                  A.RandomBrightnessContrast(p=0.2),
                  #A.RandomGamma(p=0.0),
                  #A.ImageCompression(quality_range=(75, 100), p=0.0),
                  A.HorizontalFlip(p=0.5),
                  A.VerticalFlip(p=0.5),
                  A.Rotate(limit=30, p=0.5),
                  A.GaussianBlur(p=0.2),
                  A.GaussNoise(p=0.2),
              ]

      For your reference, this is the error I get, you could view the list of albumentation transforms I applied here as well- ..... Transferred 1009/1015 items from pretrained weights Freezing layer 'model.23.dfl.conv.weight' AMP: running Automatic Mixed Precision (AMP) checks... AMP: checks passed ✅ train: Scanning /home/xxx/dataset_MIP_clean/train/labels.cache... 831 images, 73 backgrounds, 0 corrupt: 100%|██████████| 831/831 [00:00<?, ?it/s] albumentations: RandomBrightnessContrast(p=0.2, brightness_by_max=True, brightness_limit=(-0.2, 0.2), contrast_limit=(-0.2, 0.2), ensure_safe_range=False), HorizontalFlip(p=0.5), VerticalFlip(p=0.5), Rotate(p=0.5, border_mode=0, crop_border=False, fill=0.0, fill_mask=0.0, interpolation=1, limit=(-30.0, 30.0), mask_interpolation=0, rotate_method='largest_box'), GaussianBlur(p=0.2, blur_limit=(0, 0), sigma_limit=(0.5, 3.0)), GaussNoise(p=0.2, mean_range=(0.0, 0.0), noise_scale_factor=1.0, per_channel=True, std_range=(0.2, 0.44)) val: Scanning /home/xxx/dataset_MIP_clean/val/labels.cache... 210 images, 13 backgrounds, 0 corrupt: 100%|██████████| 210/210 [00:00<?, ?it/s] Plotting labels to /home/xxx/yolov11_predictions/test4/labels.jpg... optimizer: 'optimizer=auto' found, ignoring 'lr0=0.01' and 'momentum=0.937' and determining best 'optimizer', 'lr0' and 'momentum' automatically... optimizer: AdamW(lr=0.000769, momentum=0.9) with parameter groups 167 weight(decay=0.0), 174 weight(decay=0.0005), 173 bias(decay=0.0) Image sizes 640 train, 640 val Using 8 dataloader workers Logging results to /home/xxx/yolov11_predictions/test4 Starting training for 200 epochs...

        Epoch    GPU_mem   box_loss   cls_loss   dfl_loss  Instances       Size
        1/200      15.4G      5.502      51.38      2.745         17        640:  10%|▉         | 5/52 [00:02<00:22,  2.07it/s]

      Traceback (most recent call last): File "/home/xxx/yolo_train.py", line 149, in train_yolo(output_dir) File "/home/xxx/yolo_train.py", line 116, in train_yolo results = model.train( ^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/ultralytics/engine/model.py", line 791, in train self.trainer.train() File "/home/xxx/env/lib/python3.12/site-packages/ultralytics/engine/trainer.py", line 211, in train self._do_train(world_size) File "/home/xxx/env/lib/python3.12/site-packages/ultralytics/engine/trainer.py", line 366, in _do_train for i, batch in pbar: ^^^^ File "/home/xxx/env/lib/python3.12/site-packages/tqdm/std.py", line 1178, in iter for obj in iterable: ^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/ultralytics/data/build.py", line 59, in iter yield next(self.iterator) ^^^^^^^^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/torch/utils/data/dataloader.py", line 708, in next data = self._next_data() ^^^^^^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/torch/utils/data/dataloader.py", line 1455, in _next_data return self._process_data(data) ^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/torch/utils/data/dataloader.py", line 1505, in _process_data data.reraise() File "/home/xxx/env/lib/python3.12/site-packages/torch/_utils.py", line 733, in reraise raise exception RuntimeError: Caught RuntimeError in DataLoader worker process 5. Original Traceback (most recent call last): File "/home/xxx/env/lib/python3.12/site-packages/torch/utils/data/_utils/worker.py", line 349, in _worker_loop data = fetcher.fetch(index) # type: ignore[possibly-undefined] ^^^^^^^^^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/torch/utils/data/_utils/fetch.py", line 55, in fetch return self.collate_fn(data) ^^^^^^^^^^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/ultralytics/data/dataset.py", line 298, in collate_fn value = torch.cat(value, 0) ^^^^^^^^^^^^^^^^^^^ RuntimeError: Tensors must have same number of dimensions: got 1 and 2

      All my transforms are correctly defined, and the spatial transforms (horizontalflip, verticalflip and rotate) exist in the spatial_transforms list. Could you please point where this is going wrong?

    4. supriamirGitHub

      Hi Glen,

      I would like to optimize the hyperparameters using model.tune(). My goal is to identify the most important augmentations from Albumentations.

      If I am not mistaken, the default hyperparameter optimization only includes a limited set of augmentation parameters, as described in the following link: https://docs.ultralytics.com/integrations/ray-tune/#tune-method-parameters

      Could you advise how I can include and optimize additional Albumentations transforms beyond the default settings?

    5. Glenn JocherUltralytics

      Yes, but not directly through the default model.tune() search set: custom Albumentations are a Python-only augmentations list passed to model.train(), while the built-in tuner mutates the numeric space, so the usual workflow is to keep one fixed augmentations= pipeline per tuning run and compare the best result across several candidate pipelines; if you want to search the pipeline itself, use a small custom Ray Tune wrapper around model.train() instead, and keep the standard YOLO augmentations fixed so you isolate the Albumentations effect—see the hyperparameter tuning guide and the Albumentations integration guide.

  2. UltralyticsAssistantGitHubUltralytics

    👋 Hello, thank you for your interest in Ultralytics 🚀! We recommend visiting the Docs for guidance—there you’ll find many Python and CLI usage examples, and answers to many common questions.

    If this is a 🐛 Bug Report, please provide a minimum reproducible example to help us investigate.

    If you have a custom training ❓ Question, please share as much relevant information as possible, including dataset image examples and training logs. Also, make sure to review our Tips for Best Training Results.

    You’re welcome to join the Ultralytics community where it fits you best:

    • For real-time chat, join us on Discord 🎧
    • For in-depth discussions, visit Discourse
    • For community sharing, check out our Subreddit

    Upgrade

    Upgrade to the latest ultralytics package and all requirements in a Python>=3.8 environment with PyTorch>=1.8 to ensure you’re on the latest version:

    pip install -U ultralytics

    Environments

    YOLO can be run in any of the following up-to-date verified environments (with all dependencies like CUDA/CUDNN, Python, and PyTorch preinstalled):

    Status

    Ultralytics CI

    If this badge is green, all Ultralytics CI tests are currently passing. These tests confirm correct operation of all YOLO Modes and Tasks on macOS, Windows, and Ubuntu every 24 hours and on every commit.

    This is an automated response 🤖. An Ultralytics engineer will assist you here soon!

    1. Glenn JocherUltralytics

      欢迎来到 Ultralytics 中文文档的 Albumentations 集成讨论区!如果您对使用 Albumentations 来增强 YOLO11 训练数据有任何问题或想法,请在这里提出。

      Albumentations 与 YOLO11 的集成非常简便,只需安装 albumentations 包,就会在训练过程中自动应用多种图像增强技术,如模糊、中值模糊、灰度转换和 CLAHE,帮助您的模型更好地适应各种真实场景。

      您是否在特定项目中使用过 Albumentations?或者您对如何最佳配置这些增强技术有疑问?请随时在这里分享您的经验或提出问题,Ultralytics 团队将很乐意提供帮助!

  3. UltralyticsAssistantGitHubUltralytics

    👋 Hello, thank you for your interest in Ultralytics 🚀! We recommend visiting the Docs for guidance on integrations like Albumentations with YOLO11. You can also review many Python and CLI examples, and frequently asked questions may already be addressed there.

    If this is a 🐛 Bug Report, please include a minimum reproducible example to help us investigate further.

    If you have a custom training ❓ Question, please provide detailed info such as dataset image samples, training logs, and confirm you are following our Tips for Best Training Results.

    Join the Ultralytics community wherever you prefer—real-time chat on Discord 🎧, in-depth discussions on Discourse, or knowledge-sharing on our Subreddit.

    Upgrade

    Upgrade to the latest ultralytics package and all requirements in a Python>=3.8 environment with PyTorch>=1.8 to ensure your issue is not already fixed in the latest version:

    pip install -U ultralytics

    Environments

    YOLO may be run in any of the following verified and up-to-date environments (with all dependencies including CUDA/CUDNN, Python and PyTorch preinstalled):

    Status

    Ultralytics CI

    If this badge is green, all Ultralytics CI tests are currently passing. These tests verify correct operation of all YOLO Modes and Tasks on macOS, Windows, and Ubuntu every 24 hours and on every commit.

    This is an automated response. An Ultralytics engineer will review and assist you soon!

    1. Glenn JocherUltralytics

      Bonjour! N'hésitez pas à poser vos questions sur l'intégration d'Albumentations avec YOLO11 dans cette discussion. Cette intégration vous permet d'améliorer automatiquement votre jeu de données pendant l'entraînement avec diverses transformations comme le flou, le flou médian, la conversion en niveaux de gris et CLAHE.

      L'avantage principal est sa simplicité d'utilisation - il suffit d'installer les packages requis et les augmentations sont appliquées automatiquement pendant l'entraînement:

      pip install albumentations ultralytics

      Si vous rencontrez des difficultés avec cette intégration ou si vous avez des questions sur l'augmentation de données pour améliorer les performances de vos modèles YOLO11, n'hésitez pas à les partager ici!

  4. manuelescobar5036GitHub(modificato)

    Dear Ultralytics team,

    I’m working on a project focused on detecting the behavior of workers in underground mines. The classes and the number of labels per class in the training set are as follows:

    • Sitting → 2500
    • Standing → 9000
    • Operation → 700
    • Lean Against → 4000
    • Tumble → 400

    Since the dataset is imbalanced, I would like to apply data augmentation to avoid overfitting and improve accuracy. While researching YOLO's data augmentation capabilities, a few questions came up:

    1. As far as I understand, YOLO currently supports two methods for performing data augmentation:
    • Modifying individual hyperparameters such as hsv_h, hsv_s, hsv_v, degrees, translate, etc., in the ultralytics/cfg/default.yaml file (does not require the Albumentations Python Library).
    • Using the Albumentations Python Library (previously installed).

    Is this correct? If so, what are the differences between the two methods, and which one is currently recommended?

    1. Considering both options from question 1, does YOLO apply data augmentation only to images from the classes with less labels, or to images from all classes? I ask because if I have an imbalanced dataset and YOLO applies data augmentation to images from all classes, the imbalance would remain, wouldn’t it?

    2. If I choose to use an older YOLO model, such as yolov8n.yaml, and I have Albumentations installed, will Albumentations-based data augmentation be applied during training?

    3. What other suggestions would you recommend for dealing with imbalanced classes?

    1. Glenn JocherUltralytics

      @deox1994 Thanks for your detailed questions about data augmentation in YOLO for handling your imbalanced mining worker dataset. Let me address each point:

      1. Yes, you're correct about the two augmentation approaches:
        • Built-in YOLO augmentations (hsv_h, translate, scale, etc.) which are always available
        • Albumentations integration which activates automatically when the library is installed

      The key difference is that built-in augmentations focus primarily on geometric and color transformations, while Albumentations adds more specialized transformations like blur, grayscale, and CLAHE with carefully tuned probabilities (typically 0.01 as shown in the reference code). Both work together complementarily rather than being exclusive options.

      1. Both augmentation methods apply to all images regardless of class. To address your imbalance specifically, consider:

        • Using a weighted loss function
        • Implementing class-aware sampling during training
        • Creating custom data pipeline that applies additional augmentations to underrepresented classes
      2. Yes, if Albumentations is installed, it will be automatically applied when training YOLOv8 models too. The integration is part of the Ultralytics framework, not specific to YOLO11.

      3. For handling imbalanced classes beyond augmentation:

        • Apply weighted loss based on inverse class frequency
        • Use focal loss which naturally handles class imbalance better
        • Consider different evaluation metrics (precision/recall per class rather than just mAP)
        • Experiment with undersampling majority classes or oversampling minority classes

      You can find implementation details for these approaches in the data augment reference documentation.

    2. safwene-bahrounGitHub

      Good morning ,@glenn-jocher, do you can help me ?

      { "total_images": 39152, "total_detections": 70910, "instances_per_class": { "Dress": 52999, "Skirt": 1259, "Handbag": 2495, "High heels": 3124, "Swimwear": 10079, "Miniskirt": 954 } } i will train this with yolo11n.pt and with albumentation the code : from ultralytics import YOLO import torch

      def main(): # Load a pretrained YOLO model model = YOLO("yolo11n.pt") # Set device device = "cuda" if torch.cuda.is_available() else "cpu" print(f"Using device: {device}")

      if device == "cuda":
          print(f"GPU name: {torch.cuda.get_device_name(0)}")
      
      # Debug: Print dataset configuration
      print("Training with dataset: OpenImagesV7-women.yaml")
      
      # Train the model with enhanced hyperparameters
      results = model.train(
      data="OpenImagesV7-woman.yaml",
      epochs=150,
      imgsz=640,
      device=device,
      batch=16,
      optimizer ="auto"

      )

      Dataset configuration

      path: ../datasets/open-images-v7 train: c:\Users\GIGABYTE\datasets\open-images-v7\train val: C:/Users/GIGABYTE/datasets/open-images-v7/val

      nc: 6 names: 0: Dress 1: High heels 2: Miniskirt 3: Skirt 4: Swimwear 5: Handbag

      Hyperparameters for extreme imbalance

      loss: cls_weight: [0.3, 0.5, 7.0, 5.0, 0.4, 0.6] # Calculated weights below box: 0.05 obj: 1.0 label_smoothing: 0.1

      Strategic augmentation

      augment:

      For rare classes (Miniskirt, Skirt)

      copy_paste: 0.7 # High frequency for rare classes paste_classes: [2, 3] # Only Miniskirt(class2)/Skirt(class3) paste_scale: [0.3, 0.7] # Realistic resizing of pasted objects

      General augmentations (applied to all)

      mosaic: 1.0 # Helps context learning mixup: 0.05 # Reduced to avoid label confusion fliplr: 0.5 hsv_h: 0.015 # Mild color variation degrees: 5.0 # Small rotation for fashion items

      Training parameters

      batch: 16 # Match GPU capacity accumulate: 4 # Simulates batch=64 epochs: 150 # Longer training for rare classes patience: 50 # Early stopping if no improveme

      but i trained untill now :
      Epoch GPU_mem box_loss cls_loss dfl_loss Instances Size 104/150 2.92G 1.026 0.9478 1.206 55 640: 100%|██████████| 2447/2447 [07:51<00:00, Class Images Instances Box(P R mAP50 mAP50-95): 100%|██████████| 32/32 [00:06 all 1016 1987 0.581 0.525 0.536 0.423

      Can you help me please to reach all metrics above 0.8

      THANKS

  5. hillsonghimireGitHub

    Even when I turned off augment=False, albumentation-related operations were still performed in yolo11. How to completely turn it off/disable?

    1. Glenn JocherUltralytics

      @hillsonghimire to completely disable Albumentations augmentations in YOLO11, uninstall the Albumentations package since its presence automatically enables the integration. Run pip uninstall albumentations and verify it's removed from your environment. This will prevent any Albumentations transformations from being applied regardless of other settings. For more details, see the Albumentations integration guide.

  6. DP1701GitHub

    Thanks for this explanation. But if I understand correctly, not all functions of Albuminations are directly supported, or am I misunderstanding?

    The explanation says: The integration includes optimized augmentations like blur, median blur, grayscale conversion, and CLAHE with carefully tuned probabilities to enhance model performance.

    So only blur, median blur, grayscale conversion and CLAHE are applied and the others cannot be individually selected and adjusted?

    1. Glenn JocherUltralytics(modificato)

      The integration with Albumentations in YOLO11 automatically applies specific augmentations like blur, median blur, grayscale conversion, and CLAHE. While these are the default transformations used to enhance model performance, you can pass your own Albumentations transforms to model.train() with the augmentations argument (Python only).