Optimiere deinen Datensatz, um YOLO26 mit Albumentations zu trainieren
Wenn du Computer-Vision-Modelle entwickelst, können Qualität und Vielfalt deiner Trainingsdaten maßgeblich zur Leistung deines Modells beitragen. Albumentations bietet eine schnelle, flexible und effiziente Möglichkeit, vielfältige Bildtransformationen anzuwenden, mit denen sich die Anpassungsfähigkeit deines Modells an reale Szenarien verbessern lässt. Die Bibliothek lässt sich in Ultralytics YOLO26 integrieren und hilft dir, robuste Datensätze für Aufgaben wie Objekterkennung, Instanzsegmentierung, semantische Segmentierung, Tiefenschätzung, Posenschätzung und orientierte Begrenzungsrahmen zu erstellen.
Albumentations ergänzt deine YOLO26-Trainingsdaten um Techniken wie geometrische Transformationen und Farbanpassungen. Diese Anleitung erklärt, wie Albumentations in die Datenerweiterungspipeline von Ultralytics eingebunden ist und wie du sie für deine Projekte anpassen kannst.
Albumentations für die Bildaugmentation#
Albumentations ist eine Open-Source-Bibliothek zur Bildaugmentierung, die im Juni 2018 entwickelt wurde. Sie vereinfacht und beschleunigt die Bildaugmentierung in der Computer Vision. Die Bibliothek wurde auf Leistung und Flexibilität ausgelegt und unterstützt zahlreiche Augmentierungstechniken – von einfachen Transformationen wie Drehungen und Spiegelungen bis hin zu komplexeren Anpassungen wie Änderungen von Helligkeit und Kontrast. Albumentations hilft Entwicklern, vielfältige Datensätze für Aufgaben wie Bildklassifizierung, Objekterkennung und Segmentierung zu erstellen.
Mit Albumentations kannst du Augmentierungen auf Bilder, Segmentierungsmasken, Begrenzungsrahmen und Schlüsselpunkte anwenden und sicherstellen, dass alle Elemente deines Datensatzes gemeinsam transformiert werden. Die Bibliothek funktioniert mit beliebten Deep-Learning-Frameworks wie PyTorch und TensorFlow und eignet sich damit für viele verschiedene Projekte.
Albumentations eignet sich sowohl für kleine Datensätze als auch für umfangreiche Computer-Vision-Aufgaben. Die schnelle Verarbeitung verkürzt den Zeitaufwand für die Datenaufbereitung, und vielfältigere Trainingsdaten können die Modellleistung in realen Anwendungen verbessern.
Wichtige Funktionen von Albumentations#
Albumentations bietet viele nützliche Funktionen, die komplexe Bildaugmentierungen für zahlreiche Computer-Vision-Anwendungen vereinfachen. Hier sind einige der wichtigsten Funktionen:
- Große Auswahl an Transformationen: Albumentations bietet mehr als 70 verschiedene Transformationen, darunter geometrische Veränderungen (z. B. Drehungen und Spiegelungen), Farbanpassungen (z. B. Helligkeit und Kontrast) und das Hinzufügen von Rauschen (z. B. Gaußsches Rauschen). Die Vielzahl an Optionen ermöglicht es, äußerst vielfältige und robuste Trainingsdatensätze zu erstellen.
-
Hohe Verarbeitungsgeschwindigkeit: Albumentations basiert auf OpenCV und NumPy und nutzt fortschrittliche Optimierungstechniken wie SIMD (Einzelinstruktion, mehrere Daten), bei der mehrere Datenpunkte gleichzeitig verarbeitet werden, um die Verarbeitung zu beschleunigen. Die Bibliothek verarbeitet große Datensätze schnell und zählt damit zu den schnellsten verfügbaren Optionen für die Bildaugmentation.
-
Drei Augmentierungsstufen: Albumentations unterstützt drei Augmentierungsstufen: Transformationen auf Pixelebene, räumliche Transformationen und Transformationen auf Mischebene. Transformationen auf Pixelebene verändern nur die Eingabebilder, nicht aber Masken, Begrenzungsrahmen oder Schlüsselpunkte. Räumliche Transformationen verändern sowohl das Bild als auch seine Elemente, etwa Masken und Begrenzungsrahmen. Transformationen auf Mischebene kombinieren mehrere Bilder zu einem.

- Benchmark-Ergebnisse: Die veröffentlichten Benchmarks von Albumentations zeigen, dass die Bibliothek im Geschwindigkeitsvergleich mit anderen Augmentierungsbibliotheken gut abschneidet, insbesondere bei großen Datensätzen.
Warum solltest du Albumentations für deine Vision-KI-Projekte verwenden?#
Bei der Bildaugmentation erweist sich Albumentations als zuverlässiges Werkzeug für Computer-Vision-Aufgaben. Hier sind einige wichtige Gründe, warum du die Bibliothek für deine Vision-KI-Projekte in Betracht ziehen solltest:
-
Einfach zu verwendende API: Albumentations bietet eine einzige, unkomplizierte API, mit der du zahlreiche Augmentierungen auf Bilder, Masken, Begrenzungsrahmen und Schlüsselpunkte anwenden kannst. Die API lässt sich leicht an verschiedene Datensätze anpassen und macht so die Datenaufbereitung einfacher und effizienter.
-
Gründliche Fehlertests: Fehler in der Augmentierungspipeline können Eingabedaten unbemerkt verfälschen und dadurch letztlich die Modellleistung beeinträchtigen. Albumentations wirkt dem mit einer umfassenden Testsuite entgegen, die hilft, Fehler frühzeitig während der Entwicklung zu finden.
-
Erweiterbarkeit: Mit Albumentations kannst du neue Augmentierungen einfach hinzufügen und sie über eine einheitliche Schnittstelle zusammen mit den integrierten Transformationen verwenden.
So augmentierst du Daten mit Albumentations für das Training von YOLO26#
Albumentations ist direkt in den Trainingsmodus von Ultralytics integriert und wird automatisch angewendet, wenn das Albumentations-Paket installiert ist.
Installation#
Um Albumentations mit YOLO26 zu verwenden, installiere zunächst die erforderlichen Pakete. Ist Albumentations nicht installiert, werden die Augmentierungen während des Trainings nicht angewendet. Nach der Installation werden die Transformationen direkt während des Trainings auf die Bilder angewendet.
# Install the required packages
pip install albumentations ultralyticsAusführliche Anweisungen und bewährte Vorgehensweisen zur Installation findest du in unserer Installationsanleitung von Ultralytics. Falls bei der Installation der für YOLO26 erforderlichen Pakete Probleme auftreten, findest du Lösungen und Tipps in unserer Anleitung zu häufigen Problemen.
Für die Beispiele benutzerdefinierter Transformationen auf dieser Seite ist Albumentations 1.4.22 oder neuer und daher Python 3.9 oder neuer erforderlich.
Verwendung#
Nach der Installation der erforderlichen Pakete kannst du Albumentations mit YOLO26 verwenden. Wenn du YOLO26 mit installiertem Albumentations trainierst, wird automatisch eine Standardauswahl an Albumentations-Transformationen angewendet.
from ultralytics import YOLO
# Vortrainiertes Modell laden
model = YOLO("yolo26n.pt")
# Trainiere das Modell mit den Standardaugmentierungen
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)In den folgenden Abschnitten werden die Albumentations-Transformationen beschrieben, die während des Trainings standardmäßig angewendet werden.
Unschärfe#
Die Blur-Transformation in Albumentations erzeugt einen einfachen Unschärfeeffekt, indem sie die Pixelwerte in einem kleinen quadratischen Bereich, dem Kernel, mittelt. Dafür wird die OpenCV-Funktion cv2.blur verwendet. Sie hilft, Bildrauschen zu verringern, reduziert jedoch auch leicht die Bilddetails.
Hier sind die in dieser Integration verwendeten Parameter und Werte:
-
blur_limit: Legt den Größenbereich des Unschärfeeffekts fest. Der Standardbereich ist (3, 7). Das bedeutet, dass die Kernelgröße für die Unschärfe zwischen 3 und 7 Pixeln variieren kann. Damit die Unschärfe zentriert bleibt, sind nur ungerade Zahlen zulässig.
-
p: Gibt die Wahrscheinlichkeit an, mit der die Unschärfe angewendet wird. In der Integration beträgt p=0.01. Somit besteht für jedes Bild eine Wahrscheinlichkeit von 1 %, dass diese Unschärfe angewendet wird. Durch die geringe Wahrscheinlichkeit tritt der Unschärfeeffekt gelegentlich auf und sorgt für etwas Variation, damit das Modell besser generalisiert, ohne die Bilder übermäßig unscharf zu machen.
Medianunschärfe#
Die Transformation MedianBlur in Albumentations wendet einen Medianunschärfeeffekt auf das Bild an. Das ist besonders nützlich, um Rauschen zu reduzieren und dabei Kanten zu erhalten. Im Gegensatz zu herkömmlichen Unschärfemethoden verwendet MedianBlur einen Medianfilter, der sich besonders gut zum Entfernen von Salz-und-Pfeffer-Rauschen eignet und gleichzeitig die Kanten scharf hält.
Hier sind die in dieser Integration verwendeten Parameter und Werte:
-
blur_limit: Dieser Parameter legt die maximale Größe des Unschärfekernels fest. In dieser Integration ist standardmäßig der Bereich (3, 7) eingestellt. Das bedeutet, dass die Kernelgröße für die Unschärfe zufällig zwischen 3 und 7 Pixeln gewählt wird. Für eine korrekte Ausrichtung sind nur ungerade Werte zulässig.
-
p: Legt die Wahrscheinlichkeit fest, mit der die Medianunschärfe angewendet wird. Hier beträgt p=0.01, sodass die Transformation mit einer Wahrscheinlichkeit von 1 % auf jedes Bild angewendet wird. Durch diese geringe Wahrscheinlichkeit wird die Medianunschärfe sparsam eingesetzt. Das hilft dem Modell bei der Generalisierung, da es gelegentlich Bilder mit reduziertem Rauschen und erhaltenen Kanten sieht.
Das folgende Bild zeigt ein Beispiel dafür, wie diese Augmentierung auf ein Bild angewendet wird.
Graustufen#
Die Transformation ToGray in Albumentations wandelt ein Bild in Graustufen um. Dabei wird es auf ein Einkanalformat reduziert und dieser Kanal kann optional so oft vervielfältigt werden, dass eine bestimmte Anzahl an Ausgabekanälen entsteht. Für die Berechnung der Helligkeit in Graustufen stehen verschiedene Methoden zur Verfügung: von einfacher Mittelwertbildung bis hin zu fortschrittlicheren Verfahren, die Kontrast und Helligkeit möglichst wirklichkeitsgetreu abbilden.
Hier sind die in dieser Integration verwendeten Parameter und Werte:
-
num_output_channels: Legt die Anzahl der Kanäle im Ausgabebild fest. Ist dieser Wert größer als 1, wird der einzelne Graustufenkanal vervielfältigt, um ein Graustufenbild mit mehreren Kanälen zu erstellen. Standardmäßig ist der Wert auf 3 gesetzt. Das ergibt ein Graustufenbild mit drei identischen Kanälen.
-
method: Legt die Methode zur Umwandlung in Graustufen fest. Die Standardmethode „weighted_average“ verwendet eine Formel (0.299R + 0.587G + 0.114B), die der menschlichen Wahrnehmung sehr nahekommt und für natürlich wirkende Graustufen sorgt. Weitere Optionen wie „from_lab“, „desaturation“, „average“, „max“ und „pca“ bieten alternative Möglichkeiten, Graustufenbilder zu erstellen, je nachdem, ob Geschwindigkeit, Helligkeitsbetonung oder Detailerhalt wichtig sind.
-
p: Legt fest, wie oft die Graustufentransformation angewendet wird. Bei p=0.01 besteht eine Wahrscheinlichkeit von 1 %, dass jedes Bild in Graustufen umgewandelt wird. So entsteht eine Mischung aus Farb- und Graustufenbildern, die dem Modell bei der Generalisierung helfen kann.
Das folgende Bild zeigt ein Beispiel dafür, wie diese Graustufentransformation angewendet wird.
Kontrastbegrenzte adaptive Histogramm-Equalisierung (CLAHE)#
Die CLAHE-Transformation in Albumentations wendet eine kontrastbegrenzte adaptive Histogramm-Equalisierung (CLAHE) an. Dieses Verfahren verbessert den Bildkontrast, indem es das Histogramm in lokalen Bereichen (Kacheln) statt im gesamten Bild ausgleicht. CLAHE sorgt für eine ausgewogene Verbesserung und vermeidet den übermäßig verstärkten Kontrast, der durch eine herkömmliche Histogramm-Equalisierung entstehen kann, insbesondere in Bereichen mit ursprünglich geringem Kontrast.
Hier sind die in dieser Integration verwendeten Parameter und Werte:
-
clip_limit: Legt den Bereich der Kontrastverstärkung fest. Der Standardbereich von (1, 4) bestimmt den maximal zulässigen Kontrast in jeder Kachel. Höhere Werte ermöglichen mehr Kontrast, können aber auch Rauschen verursachen.
-
tile_grid_size: Legt die Größe des Kachelrasters fest, üblicherweise in der Form (Zeilen, Spalten). Der Standardwert ist (8, 8), das heißt, das Bild wird in ein Raster aus 8x8 Kacheln unterteilt. Kleinere Kacheln ermöglichen lokalere Anpassungen, während größere Kacheln einen Effekt erzeugen, der eher einer globalen Entzerrung entspricht.
-
p: Gibt die Wahrscheinlichkeit an, mit der CLAHE angewendet wird. Hier sorgt p=0.01 dafür, dass der Verbesserungseffekt nur in 1 % der Fälle auftritt. So werden Kontrastanpassungen sparsam eingesetzt und sorgen gelegentlich für Abwechslung in den Trainingsbildern.
Das folgende Bild zeigt ein Beispiel dafür, wie die CLAHE-Transformation angewendet wird.
Benutzerdefinierte Albumentations-Transformationen verwenden#
Die standardmäßige Albumentations-Integration bietet eine solide Auswahl an Augmentierungen. Für spezielle Anwendungsfälle möchtest du die Transformationen möglicherweise anpassen. Mit Ultralytics YOLO26 kannst du über den Python-API-Parameter augmentations eigene Albumentations-Transformationen übergeben. Für die Beispiele in diesem Abschnitt benötigst du Albumentations 1.4.22 oder neuer.
Benutzerdefinierte Transformationen definieren#
Du kannst eine eigene Liste von Albumentations-Transformationen definieren und sie an die Trainingsfunktion übergeben. Dadurch werden die standardmäßigen Albumentations-Transformationen ersetzt, während alle anderen YOLO-Augmentierungen (wie hsv_h, degrees, mosaic usw.) weiterhin aktiv bleiben.
Hier ist ein Beispiel mit fortgeschritteneren Transformationen:
import albumentations as A
from ultralytics import YOLO
# Modell laden
model = YOLO("yolo26n.pt")
# Benutzerdefinierte Transformationen mit verschiedenen Augmentierungstechniken definieren
custom_transforms = [
# Unschärfevarianten
A.OneOf(
[
A.MotionBlur(blur_limit=7, p=1.0),
A.MedianBlur(blur_limit=7, p=1.0),
A.GaussianBlur(blur_limit=7, p=1.0),
],
p=0.3,
),
# Rauschvarianten
A.OneOf(
[
A.GaussNoise(std_range=(0.0124, 0.0277), p=1.0),
A.ISONoise(color_shift=(0.01, 0.05), intensity=(0.1, 0.5), p=1.0),
],
p=0.2,
),
# Farb- und Kontrastanpassungen
A.CLAHE(clip_limit=4.0, tile_grid_size=(8, 8), p=0.5),
A.RandomBrightnessContrast(brightness_limit=0.3, contrast_limit=0.3, p=0.5),
A.HueSaturationValue(hue_shift_limit=20, sat_shift_limit=30, val_shift_limit=20, p=0.5),
# Verdeckungen simulieren
A.CoarseDropout(num_holes_range=(1, 8), hole_height_range=(8, 32), hole_width_range=(8, 32), fill=0, p=0.2),
]
# Mit benutzerdefinierten Transformationen trainieren
results = model.train(
data="coco8.yaml",
epochs=100,
imgsz=640,
augmentations=custom_transforms,
)Wichtige Hinweise#
Beachte bei der Verwendung benutzerdefinierter Albumentations-Transformationen folgende Punkte:
- Konfiguration: Erstelle benutzerdefinierte Transformationsobjekte über die Python-API. Serialisierte Transformationen können auch über CLI- oder YAML-Konfigurationsdateien übergeben werden, auch beim Fortsetzen des Trainings.
- Ersetzt Standardeinstellungen: Deine benutzerdefinierten Transformationen ersetzen die standardmäßigen Albumentations-Transformationen vollständig. Andere YOLO-Augmentierungen bleiben aktiv.
- Umgang mit Labels: Räumliche Transformationen, auch solche, die in
A.OneOfoderA.Composeverschachtelt sind, verschieben Begrenzungsrahmen, Polygone, Keypoints und Tiefen- oder semantische Masken gemeinsam mit dem Bild.A.RandomGridShufflekann die Topologie von Polygonen oder Keypoints nicht erhalten und löst bei Segmentierungs-, Pose- und OBB-Beispielen einen Fehler aus. - Leistung: Einige Transformationen sind rechenintensiv. Überwache die Trainingsgeschwindigkeit und passe sie entsprechend an.
- Aufgabenkompatibilität: Benutzerdefinierte Albumentations-Transformationen funktionieren beim Training für Objekterkennung, Segmentierung, semantische Segmentierung, Tiefe, Pose und OBB, jedoch nicht bei der Klassifizierung (die eine andere Augmentierungspipeline verwendet).
Anwendungsfälle für benutzerdefinierte Transformationen#
Verschiedene Anwendungen profitieren von unterschiedlichen Augmentierungsstrategien:
- Medizinische Bildgebung: Verwende elastische Verformungen, Gitterverzerrungen und spezielle Rauschmuster.
- Luft- und Satellitenbilder: Verwende Transformationen, die unterschiedliche Höhen, Wetterbedingungen und Beleuchtungswinkel simulieren.
- Schlechte Lichtverhältnisse: Verstärke Rauschen und passe die Helligkeit an, um robuste Modelle für schwierige Lichtverhältnisse zu trainieren.
- Industrielle Inspektion: Füge Texturvariationen und simulierte Defekte für Anwendungen der Qualitätskontrolle hinzu.
Eine vollständige Liste der verfügbaren Transformationen und ihrer Parameter findest du in der Albumentations-Dokumentation.
Ausführlichere Beispiele und bewährte Vorgehensweisen zur Verwendung benutzerdefinierter Albumentations-Transformationen mit YOLO26 findest du im Leitfaden zur YOLO-Datenaugmentierung.
Mehr über Albumentations erfahren#
Wenn du mehr über Albumentations erfahren möchtest, findest du in den folgenden Ressourcen ausführlichere Anleitungen und Beispiele:
-
Albumentations-Dokumentation: Die offizielle Dokumentation bietet eine umfassende Übersicht über unterstützte Transformationen und fortgeschrittene Anwendungstechniken.
-
Ultralytics-Albumentations-API-Referenz: Hier findest du Details zur Klasse, die diese Integration implementiert.
-
Albumentations-GitHub-Repository: Das Repository enthält Beispiele, Benchmarks und Diskussionen, die dir den Einstieg in die Anpassung von Augmentierungen erleichtern.
Wichtigste Erkenntnisse#
In dieser Anleitung haben wir die wichtigsten Aspekte von Albumentations behandelt, einer Python-Bibliothek zur Bildaugmentierung. Wir haben uns die vielfältigen Transformationen und die optimierte Leistung angesehen und erläutert, wie du die Bibliothek in deinem nächsten YOLO26-Projekt einsetzen kannst.
Häufig gestellte Fragen#
Albumentations ist in YOLO26 integriert und wird während des Trainings automatisch angewendet, sofern das Paket installiert ist. So legst du los:
# Erforderliche Pakete installieren # !pip install albumentations ultralytics from ultralytics import YOLO # Modell laden und mit automatischen Augmentierungen trainieren model = YOLO("yolo26n.pt") model.train(data="coco8.yaml", epochs=100)Die Standardintegration wendet Unschärfe, Medianunschärfe, Graustufenumwandlung und CLAHE jeweils mit einer geringen Wahrscheinlichkeit von 1 % an. Dadurch sorgen sie gelegentlich für Abwechslung, ohne das Training zu dominieren.
Albumentations zeichnet sich aus mehreren Gründen aus:
- Leistung: Auf OpenCV und NumPy aufgebaut, mit SIMD-Optimierung für hohe Geschwindigkeit
- Flexibilität: Unterstützt mehr als 70 Transformationen für Augmentierungen auf Pixel-, Raum- und Mischungsebene
- Kompatibilität: Funktioniert mit beliebten Frameworks wie PyTorch und TensorFlow
- Zuverlässigkeit: Eine umfangreiche Testsuite verhindert unbemerkte Datenbeschädigungen
- Benutzerfreundlichkeit: Eine einheitliche API für alle Arten von Augmentierungen
Albumentations verbessert verschiedene Computer-Vision-Aufgaben, darunter:
- Objekterkennung: Verbessert die Robustheit des Modells gegenüber Änderungen der Beleuchtung, des Maßstabs und der Ausrichtung
- Instanzsegmentierung: Verbessert die Genauigkeit der Maskenvorhersage durch vielfältige Transformationen
- Posenschätzung: Hilft Modellen, sich an unterschiedliche Blickwinkel und Lichtverhältnisse anzupassen
- Erkennung orientierter Begrenzungsrahmen: Ergänzt Farb- und Rauschvariationen für Luftbilder und Bilder gedrehter Objekte
Die vielfältigen Augmentierungsoptionen der Bibliothek machen sie wertvoll für Vision-Aufgaben, die eine robuste Modellleistung erfordern. Beim Klassifizierungstraining mit Ultralytics YOLO26 kommt eine eigene, auf torchvision basierende Augmentierungspipeline zum Einsatz; Albumentations-Transformationen werden dabei nicht angewendet.
Kommentare19
Stell eine Frage, teile deine Ergebnisse oder hilf jemand anderem.
anushka-kore
Is there a way that we can define more custom albumentations transforms to be applied during model train? If yes, will they also change the bounding box coords accordingly if they are spatial transforms?
manuelescobar5036
The albumentations transforms are defined in the ultralytics/data/augment.py file. There you can find the following function that returns the transforms to be applied to the images, which includes the Albumentations transform.
Then, in the same file you can find the Albumentations class which defines the pipeline. In this pipeline you can add the new transforms that you want.
Bouding boxes are changed accordingly to their spatial transforms. This is done when you pass bbox_params to the Albumentations pipeline.
Glenn JocherUltralytics(bearbeitet)@anushka-kore Yes. Pass your own Albumentations transforms to training with the
augmentationsargument (Python only):import albumentations as A from ultralytics import YOLO model = YOLO("yolo26n.pt") model.train(data="coco8.yaml", augmentations=[A.Blur(p=0.01), A.CLAHE(p=0.01)])Spatial transforms (rotation, flips, perspective, etc.) are applied together with the bounding boxes, which are updated automatically through Albumentations' bbox handling in YOLO format. Non-spatial transforms like color adjustments only change the image. See the Albumentations integration guide for details.
anushka-kore
Thanks a lot for the inputs @deox1994 and @glenn-jocher! I have made it work👍🏻
anushka-kore
Hey @glenn-jocher and @deox1994, I later realised that simply defining my list of custom transform in the augment.py file is not working. This is the part I changed in the augment.py file (original ones are commented out)-
T = [ #A.Blur(p=0.01), #A.MedianBlur(p=0.01), #A.ToGray(p=0.01), #A.CLAHE(p=0.01), A.RandomBrightnessContrast(p=0.2), #A.RandomGamma(p=0.0), #A.ImageCompression(quality_range=(75, 100), p=0.0), A.HorizontalFlip(p=0.5), A.VerticalFlip(p=0.5), A.Rotate(limit=30, p=0.5), A.GaussianBlur(p=0.2), A.GaussNoise(p=0.2), ]For your reference, this is the error I get, you could view the list of albumentation transforms I applied here as well- ..... Transferred 1009/1015 items from pretrained weights Freezing layer 'model.23.dfl.conv.weight' AMP: running Automatic Mixed Precision (AMP) checks... AMP: checks passed ✅ train: Scanning /home/xxx/dataset_MIP_clean/train/labels.cache... 831 images, 73 backgrounds, 0 corrupt: 100%|██████████| 831/831 [00:00<?, ?it/s] albumentations: RandomBrightnessContrast(p=0.2, brightness_by_max=True, brightness_limit=(-0.2, 0.2), contrast_limit=(-0.2, 0.2), ensure_safe_range=False), HorizontalFlip(p=0.5), VerticalFlip(p=0.5), Rotate(p=0.5, border_mode=0, crop_border=False, fill=0.0, fill_mask=0.0, interpolation=1, limit=(-30.0, 30.0), mask_interpolation=0, rotate_method='largest_box'), GaussianBlur(p=0.2, blur_limit=(0, 0), sigma_limit=(0.5, 3.0)), GaussNoise(p=0.2, mean_range=(0.0, 0.0), noise_scale_factor=1.0, per_channel=True, std_range=(0.2, 0.44)) val: Scanning /home/xxx/dataset_MIP_clean/val/labels.cache... 210 images, 13 backgrounds, 0 corrupt: 100%|██████████| 210/210 [00:00<?, ?it/s] Plotting labels to /home/xxx/yolov11_predictions/test4/labels.jpg... optimizer: 'optimizer=auto' found, ignoring 'lr0=0.01' and 'momentum=0.937' and determining best 'optimizer', 'lr0' and 'momentum' automatically... optimizer: AdamW(lr=0.000769, momentum=0.9) with parameter groups 167 weight(decay=0.0), 174 weight(decay=0.0005), 173 bias(decay=0.0) Image sizes 640 train, 640 val Using 8 dataloader workers Logging results to /home/xxx/yolov11_predictions/test4 Starting training for 200 epochs...
Epoch GPU_mem box_loss cls_loss dfl_loss Instances Size 1/200 15.4G 5.502 51.38 2.745 17 640: 10%|▉ | 5/52 [00:02<00:22, 2.07it/s]Traceback (most recent call last): File "/home/xxx/yolo_train.py", line 149, in train_yolo(output_dir) File "/home/xxx/yolo_train.py", line 116, in train_yolo results = model.train( ^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/ultralytics/engine/model.py", line 791, in train self.trainer.train() File "/home/xxx/env/lib/python3.12/site-packages/ultralytics/engine/trainer.py", line 211, in train self._do_train(world_size) File "/home/xxx/env/lib/python3.12/site-packages/ultralytics/engine/trainer.py", line 366, in _do_train for i, batch in pbar: ^^^^ File "/home/xxx/env/lib/python3.12/site-packages/tqdm/std.py", line 1178, in iter for obj in iterable: ^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/ultralytics/data/build.py", line 59, in iter yield next(self.iterator) ^^^^^^^^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/torch/utils/data/dataloader.py", line 708, in next data = self._next_data() ^^^^^^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/torch/utils/data/dataloader.py", line 1455, in _next_data return self._process_data(data) ^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/torch/utils/data/dataloader.py", line 1505, in _process_data data.reraise() File "/home/xxx/env/lib/python3.12/site-packages/torch/_utils.py", line 733, in reraise raise exception RuntimeError: Caught RuntimeError in DataLoader worker process 5. Original Traceback (most recent call last): File "/home/xxx/env/lib/python3.12/site-packages/torch/utils/data/_utils/worker.py", line 349, in _worker_loop data = fetcher.fetch(index) # type: ignore[possibly-undefined] ^^^^^^^^^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/torch/utils/data/_utils/fetch.py", line 55, in fetch return self.collate_fn(data) ^^^^^^^^^^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/ultralytics/data/dataset.py", line 298, in collate_fn value = torch.cat(value, 0) ^^^^^^^^^^^^^^^^^^^ RuntimeError: Tensors must have same number of dimensions: got 1 and 2
All my transforms are correctly defined, and the spatial transforms (horizontalflip, verticalflip and rotate) exist in the spatial_transforms list. Could you please point where this is going wrong?
supriamir
Hi Glen,
I would like to optimize the hyperparameters using model.tune(). My goal is to identify the most important augmentations from Albumentations.
If I am not mistaken, the default hyperparameter optimization only includes a limited set of augmentation parameters, as described in the following link: https://docs.ultralytics.com/integrations/ray-tune/#tune-method-parameters
Could you advise how I can include and optimize additional Albumentations transforms beyond the default settings?
Glenn JocherUltralyticsYes, but not directly through the default
model.tune()search set: custom Albumentations are a Python-onlyaugmentationslist passed tomodel.train(), while the built-in tuner mutates the numericspace, so the usual workflow is to keep one fixedaugmentations=pipeline per tuning run and compare the best result across several candidate pipelines; if you want to search the pipeline itself, use a small custom Ray Tune wrapper aroundmodel.train()instead, and keep the standard YOLO augmentations fixed so you isolate the Albumentations effect—see the hyperparameter tuning guide and the Albumentations integration guide.
UltralyticsAssistantUltralytics
👋 Hello, thank you for your interest in Ultralytics 🚀! We recommend visiting the Docs for guidance—there you’ll find many Python and CLI usage examples, and answers to many common questions.
If this is a 🐛 Bug Report, please provide a minimum reproducible example to help us investigate.
If you have a custom training ❓ Question, please share as much relevant information as possible, including dataset image examples and training logs. Also, make sure to review our Tips for Best Training Results.
You’re welcome to join the Ultralytics community where it fits you best:
- For real-time chat, join us on Discord 🎧
- For in-depth discussions, visit Discourse
- For community sharing, check out our Subreddit
Upgrade
Upgrade to the latest
ultralyticspackage and all requirements in a Python>=3.8 environment with PyTorch>=1.8 to ensure you’re on the latest version:pip install -U ultralyticsEnvironments
YOLO can be run in any of the following up-to-date verified environments (with all dependencies like CUDA/CUDNN, Python, and PyTorch preinstalled):
- Notebooks with free GPU:
- Google Cloud Deep Learning VM. See GCP Quickstart Guide
- Amazon Deep Learning AMI. See AWS Quickstart Guide
- Docker Image. See Docker Quickstart Guide
Status
If this badge is green, all Ultralytics CI tests are currently passing. These tests confirm correct operation of all YOLO Modes and Tasks on macOS, Windows, and Ubuntu every 24 hours and on every commit.
This is an automated response 🤖. An Ultralytics engineer will assist you here soon!
Glenn JocherUltralytics欢迎来到 Ultralytics 中文文档的 Albumentations 集成讨论区!如果您对使用 Albumentations 来增强 YOLO11 训练数据有任何问题或想法,请在这里提出。
Albumentations 与 YOLO11 的集成非常简便,只需安装
albumentations包,就会在训练过程中自动应用多种图像增强技术,如模糊、中值模糊、灰度转换和 CLAHE,帮助您的模型更好地适应各种真实场景。您是否在特定项目中使用过 Albumentations?或者您对如何最佳配置这些增强技术有疑问?请随时在这里分享您的经验或提出问题,Ultralytics 团队将很乐意提供帮助!
UltralyticsAssistantUltralytics
👋 Hello, thank you for your interest in Ultralytics 🚀! We recommend visiting the Docs for guidance on integrations like Albumentations with YOLO11. You can also review many Python and CLI examples, and frequently asked questions may already be addressed there.
If this is a 🐛 Bug Report, please include a minimum reproducible example to help us investigate further.
If you have a custom training ❓ Question, please provide detailed info such as dataset image samples, training logs, and confirm you are following our Tips for Best Training Results.
Join the Ultralytics community wherever you prefer—real-time chat on Discord 🎧, in-depth discussions on Discourse, or knowledge-sharing on our Subreddit.
Upgrade
Upgrade to the latest
ultralyticspackage and all requirements in a Python>=3.8 environment with PyTorch>=1.8 to ensure your issue is not already fixed in the latest version:pip install -U ultralyticsEnvironments
YOLO may be run in any of the following verified and up-to-date environments (with all dependencies including CUDA/CUDNN, Python and PyTorch preinstalled):
- Notebooks with free GPU:
- Google Cloud Deep Learning VM. See GCP Quickstart Guide
- Amazon Deep Learning AMI. See AWS Quickstart Guide
- Docker Image. See Docker Quickstart Guide
Status
If this badge is green, all Ultralytics CI tests are currently passing. These tests verify correct operation of all YOLO Modes and Tasks on macOS, Windows, and Ubuntu every 24 hours and on every commit.
This is an automated response. An Ultralytics engineer will review and assist you soon!
Glenn JocherUltralyticsBonjour! N'hésitez pas à poser vos questions sur l'intégration d'Albumentations avec YOLO11 dans cette discussion. Cette intégration vous permet d'améliorer automatiquement votre jeu de données pendant l'entraînement avec diverses transformations comme le flou, le flou médian, la conversion en niveaux de gris et CLAHE.
L'avantage principal est sa simplicité d'utilisation - il suffit d'installer les packages requis et les augmentations sont appliquées automatiquement pendant l'entraînement:
pip install albumentations ultralyticsSi vous rencontrez des difficultés avec cette intégration ou si vous avez des questions sur l'augmentation de données pour améliorer les performances de vos modèles YOLO11, n'hésitez pas à les partager ici!
- Notebooks with free GPU:
manuelescobar5036(bearbeitet)
Dear Ultralytics team,
I’m working on a project focused on detecting the behavior of workers in underground mines. The classes and the number of labels per class in the training set are as follows:
- Sitting → 2500
- Standing → 9000
- Operation → 700
- Lean Against → 4000
- Tumble → 400
Since the dataset is imbalanced, I would like to apply data augmentation to avoid overfitting and improve accuracy. While researching YOLO's data augmentation capabilities, a few questions came up:
- As far as I understand, YOLO currently supports two methods for performing data augmentation:
- Modifying individual hyperparameters such as hsv_h, hsv_s, hsv_v, degrees, translate, etc., in the ultralytics/cfg/default.yaml file (does not require the Albumentations Python Library).
- Using the Albumentations Python Library (previously installed).
Is this correct? If so, what are the differences between the two methods, and which one is currently recommended?
-
Considering both options from question 1, does YOLO apply data augmentation only to images from the classes with less labels, or to images from all classes? I ask because if I have an imbalanced dataset and YOLO applies data augmentation to images from all classes, the imbalance would remain, wouldn’t it?
-
If I choose to use an older YOLO model, such as yolov8n.yaml, and I have Albumentations installed, will Albumentations-based data augmentation be applied during training?
-
What other suggestions would you recommend for dealing with imbalanced classes?
safwene-bahroun
Hello @glenn-jocher , Do you can , please , answer to these questions , because the same questions and problem.
THANKS
Glenn JocherUltralytics@deox1994 Thanks for your detailed questions about data augmentation in YOLO for handling your imbalanced mining worker dataset. Let me address each point:
- Yes, you're correct about the two augmentation approaches:
- Built-in YOLO augmentations (hsv_h, translate, scale, etc.) which are always available
- Albumentations integration which activates automatically when the library is installed
The key difference is that built-in augmentations focus primarily on geometric and color transformations, while Albumentations adds more specialized transformations like blur, grayscale, and CLAHE with carefully tuned probabilities (typically 0.01 as shown in the reference code). Both work together complementarily rather than being exclusive options.
-
Both augmentation methods apply to all images regardless of class. To address your imbalance specifically, consider:
- Using a weighted loss function
- Implementing class-aware sampling during training
- Creating custom data pipeline that applies additional augmentations to underrepresented classes
-
Yes, if Albumentations is installed, it will be automatically applied when training YOLOv8 models too. The integration is part of the Ultralytics framework, not specific to YOLO11.
-
For handling imbalanced classes beyond augmentation:
- Apply weighted loss based on inverse class frequency
- Use focal loss which naturally handles class imbalance better
- Consider different evaluation metrics (precision/recall per class rather than just mAP)
- Experiment with undersampling majority classes or oversampling minority classes
You can find implementation details for these approaches in the data augment reference documentation.
- Yes, you're correct about the two augmentation approaches:
safwene-bahroun
Good morning ,@glenn-jocher, do you can help me ?
{ "total_images": 39152, "total_detections": 70910, "instances_per_class": { "Dress": 52999, "Skirt": 1259, "Handbag": 2495, "High heels": 3124, "Swimwear": 10079, "Miniskirt": 954 } } i will train this with yolo11n.pt and with albumentation the code : from ultralytics import YOLO import torch
def main(): # Load a pretrained YOLO model model = YOLO("yolo11n.pt") # Set device device = "cuda" if torch.cuda.is_available() else "cpu" print(f"Using device: {device}")
if device == "cuda": print(f"GPU name: {torch.cuda.get_device_name(0)}") # Debug: Print dataset configuration print("Training with dataset: OpenImagesV7-women.yaml") # Train the model with enhanced hyperparameters results = model.train( data="OpenImagesV7-woman.yaml", epochs=150, imgsz=640, device=device, batch=16, optimizer ="auto")
Dataset configuration
path: ../datasets/open-images-v7 train: c:\Users\GIGABYTE\datasets\open-images-v7\train val: C:/Users/GIGABYTE/datasets/open-images-v7/val
nc: 6 names: 0: Dress 1: High heels 2: Miniskirt 3: Skirt 4: Swimwear 5: Handbag
Hyperparameters for extreme imbalance
loss: cls_weight: [0.3, 0.5, 7.0, 5.0, 0.4, 0.6] # Calculated weights below box: 0.05 obj: 1.0 label_smoothing: 0.1
Strategic augmentation
augment:
For rare classes (Miniskirt, Skirt)
copy_paste: 0.7 # High frequency for rare classes paste_classes: [2, 3] # Only Miniskirt(class2)/Skirt(class3) paste_scale: [0.3, 0.7] # Realistic resizing of pasted objects
General augmentations (applied to all)
mosaic: 1.0 # Helps context learning mixup: 0.05 # Reduced to avoid label confusion fliplr: 0.5 hsv_h: 0.015 # Mild color variation degrees: 5.0 # Small rotation for fashion items
Training parameters
batch: 16 # Match GPU capacity accumulate: 4 # Simulates batch=64 epochs: 150 # Longer training for rare classes patience: 50 # Early stopping if no improveme
but i trained untill now :
Epoch GPU_mem box_loss cls_loss dfl_loss Instances Size 104/150 2.92G 1.026 0.9478 1.206 55 640: 100%|██████████| 2447/2447 [07:51<00:00, Class Images Instances Box(P R mAP50 mAP50-95): 100%|██████████| 32/32 [00:06 all 1016 1987 0.581 0.525 0.536 0.423Can you help me please to reach all metrics above 0.8
THANKS
hillsonghimire
Even when I turned off augment=False, albumentation-related operations were still performed in yolo11. How to completely turn it off/disable?
Glenn JocherUltralytics@hillsonghimire to completely disable Albumentations augmentations in YOLO11, uninstall the Albumentations package since its presence automatically enables the integration. Run
pip uninstall albumentationsand verify it's removed from your environment. This will prevent any Albumentations transformations from being applied regardless of other settings. For more details, see the Albumentations integration guide.
DP1701
Thanks for this explanation. But if I understand correctly, not all functions of Albuminations are directly supported, or am I misunderstanding?
The explanation says: The integration includes optimized augmentations like blur, median blur, grayscale conversion, and CLAHE with carefully tuned probabilities to enhance model performance.
So only blur, median blur, grayscale conversion and CLAHE are applied and the others cannot be individually selected and adjusted?
Glenn JocherUltralytics(bearbeitet)The integration with Albumentations in YOLO11 automatically applies specific augmentations like blur, median blur, grayscale conversion, and CLAHE. While these are the default transformations used to enhance model performance, you can pass your own Albumentations transforms to
model.train()with theaugmentationsargument (Python only).