Empezar

Mejora tu conjunto de datos para entrenar YOLO26 con Albumentations

Al crear modelos de visión artificial, la calidad y variedad de tus datos de entrenamiento pueden influir mucho en el rendimiento del modelo. Albumentations ofrece una forma rápida, flexible y eficiente de aplicar una amplia variedad de transformaciones de imagen que pueden mejorar la capacidad del modelo para adaptarse a situaciones del mundo real. Se integra con Ultralytics YOLO26 y puede ayudarte a crear conjuntos de datos robustos para tareas de detección de objetos, segmentación de instancias, segmentación semántica, estimación de profundidad, estimación de pose y cuadros delimitadores orientados.

Albumentations añade técnicas como transformaciones geométricas y ajustes de color a tus datos de entrenamiento de YOLO26. Esta guía explica cómo se integra Albumentations en la canalización de aumento de datos de Ultralytics y cómo puedes personalizarla para tus proyectos.

Albumentations para el aumento de imágenes#

Albumentations es una biblioteca de aumento de imágenes de código abierto creada en junio de 2018. Está diseñada para simplificar y acelerar el proceso de aumento de imágenes en visión artificial. Creada pensando en el rendimiento y la flexibilidad, admite diversas técnicas de aumento, desde transformaciones sencillas como rotaciones y volteos hasta ajustes más complejos como cambios de brillo y contraste. Albumentations ayuda a los desarrolladores a generar conjuntos de datos variados y completos para tareas como la clasificación de imágenes, la detección de objetos y la segmentación.

Puedes usar Albumentations para aplicar fácilmente aumentos a imágenes, máscaras de segmentación, cuadros delimitadores y puntos clave, y asegurarte de que todos los elementos del conjunto de datos se transformen a la vez. Funciona con frameworks populares de aprendizaje profundo como PyTorch y TensorFlow, por lo que se puede usar en una amplia variedad de proyectos.

Albumentations es adecuado tanto para conjuntos de datos pequeños como para tareas de visión artificial a gran escala. Su procesamiento rápido reduce el tiempo dedicado a preparar los datos, y unos datos de entrenamiento más variados pueden mejorar el rendimiento del modelo en aplicaciones del mundo real.

Características principales de Albumentations#

Albumentations ofrece muchas funciones útiles que simplifican los aumentos de imagen complejos para una amplia variedad de aplicaciones de visión artificial. Estas son algunas de sus características principales:

  • Amplia variedad de transformaciones: Albumentations ofrece más de 70 transformaciones distintas, entre ellas cambios geométricos (por ejemplo, rotación y volteo), ajustes de color (por ejemplo, brillo y contraste) y adición de ruido (por ejemplo, ruido gaussiano). Esta variedad de opciones permite crear conjuntos de datos de entrenamiento muy diversos y robustos.

Albumentations augmentation examples

  • Optimización de alto rendimiento: Albumentations, basada en OpenCV y NumPy, utiliza técnicas de optimización avanzadas como SIMD (datos múltiples de instrucción única), que procesa varios puntos de datos a la vez para acelerar el procesamiento. Gestiona rápidamente conjuntos de datos grandes, por lo que es una de las opciones más rápidas disponibles para el aumento de imágenes.

  • Tres niveles de aumento: Albumentations admite tres niveles de aumento: transformaciones a nivel de píxel, transformaciones espaciales y transformaciones de mezcla. Las transformaciones a nivel de píxel solo afectan a las imágenes de entrada, sin alterar las máscaras, los cuadros delimitadores ni los puntos clave. Las transformaciones espaciales modifican tanto la imagen como sus elementos, como las máscaras y los cuadros delimitadores. Las transformaciones de mezcla combinan varias imágenes en una sola.

Ejemplos de aumentos a nivel de píxel, espacial y de mezcla de Albumentations

  • Resultados de las pruebas de rendimiento: Las pruebas de rendimiento publicadas de Albumentations muestran que su velocidad es favorable frente a otras bibliotecas de aumento, especialmente con conjuntos de datos grandes.

¿Por qué deberías usar Albumentations en tus proyectos de IA visual?#

En lo que respecta al aumento de imágenes, Albumentations destaca como una herramienta fiable para tareas de visión artificial. Estas son algunas razones clave para plantearte usarlo en tus proyectos de IA visual:

  • API fácil de usar: Albumentations proporciona una API única y sencilla para aplicar una amplia variedad de aumentos a imágenes, máscaras, cuadros delimitadores y puntos clave. Está diseñada para adaptarse fácilmente a distintos conjuntos de datos, lo que simplifica y agiliza la preparación de datos.

  • Pruebas rigurosas de errores: Los errores en el flujo de aumento pueden corromper silenciosamente los datos de entrada. A menudo pasan desapercibidos, pero acaban reduciendo el rendimiento del modelo. Albumentations aborda este problema con un conjunto exhaustivo de pruebas que ayuda a detectar errores al principio del desarrollo.

  • Extensibilidad: Albumentations facilita añadir nuevos aumentos y usarlos junto con las transformaciones integradas mediante una única interfaz.

Cómo usar Albumentations para aumentar datos en el entrenamiento de YOLO26#

Albumentations se integra directamente en el modo de entrenamiento de Ultralytics y se aplica automáticamente cuando está instalado el paquete Albumentations.

Instalación#

Para usar Albumentations con YOLO26, primero asegúrate de tener instalados los paquetes necesarios. Si Albumentations no está instalado, sus aumentos no se aplicarán durante el entrenamiento. Una vez instalado, las transformaciones se aplican sobre la marcha a las imágenes de entrenamiento.

Instalación
# Install the required packages
pip install albumentations ultralytics

Para obtener instrucciones detalladas y buenas prácticas relacionadas con el proceso de instalación, consulta nuestra guía de instalación de Ultralytics. Si tienes dificultades al instalar los paquetes necesarios para YOLO26, consulta nuestra guía sobre problemas habituales, donde encontrarás soluciones y consejos.

Los ejemplos de transformaciones personalizadas de esta página requieren Albumentations 1.4.22 o posterior y, por tanto, Python 3.9 o posterior.

Uso#

Tras instalar los paquetes necesarios, ya puedes empezar a usar Albumentations con YOLO26. Cuando entrenes YOLO26 con Albumentations instalado, se aplicará automáticamente un conjunto predeterminado de transformaciones de Albumentations.

Uso
from ultralytics import YOLO

# Cargar un modelo preentrenado
model = YOLO("yolo26n.pt")

# Entrena el modelo con los aumentos predeterminados
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

En las secciones siguientes se describen las transformaciones predeterminadas de Albumentations que se aplican durante el entrenamiento.

Desenfoque#

La transformación Blur de Albumentations aplica un sencillo efecto de desenfoque a la imagen al promediar los valores de los píxeles dentro de una pequeña región cuadrada o kernel. Para ello, utiliza la función de OpenCV cv2.blur, que ayuda a reducir el ruido de la imagen, aunque también reduce ligeramente sus detalles.

Estos son los parámetros y valores que se utilizan en esta integración:

  • blur_limit: Controla el intervalo de tamaños del efecto de desenfoque. El intervalo predeterminado es (3, 7), lo que significa que el tamaño del núcleo puede variar entre 3 y 7 píxeles; solo se permiten números impares para mantener el desenfoque centrado.

  • p: La probabilidad de aplicar el desenfoque. En esta integración, p=0.01, por lo que hay un 1 % de probabilidades de que se aplique a cada imagen. Esta probabilidad baja permite aplicar desenfoques de vez en cuando, lo que introduce cierta variación para ayudar al modelo a generalizar sin desenfocar demasiado las imágenes.

Albumentations Blur augmentation result

Desenfoque mediano#

La transformación MedianBlur de Albumentations aplica un desenfoque mediano a la imagen, especialmente útil para reducir el ruido sin perder los bordes. A diferencia de los métodos de desenfoque habituales, MedianBlur utiliza un filtro de mediana, especialmente eficaz para eliminar el ruido de sal y pimienta y mantener la nitidez de los bordes.

Estos son los parámetros y valores que se utilizan en esta integración:

  • blur_limit: Este parámetro controla el tamaño máximo del núcleo de desenfoque. En esta integración, el intervalo predeterminado es (3, 7), por lo que el tamaño del núcleo se elige aleatoriamente entre 3 y 7 píxeles; solo se permiten valores impares para garantizar una alineación correcta.

  • p: Define la probabilidad de aplicar el desenfoque mediano. En este caso, p=0.01, por lo que hay un 1 % de probabilidades de que la transformación se aplique a cada imagen. Esta probabilidad baja garantiza que el desenfoque mediano se use con moderación y ayuda al modelo a generalizar, al mostrarle ocasionalmente imágenes con menos ruido y bordes conservados.

La imagen siguiente muestra un ejemplo de este aumento aplicado a una imagen.

Albumentations MedianBlur augmentation

Escala de grises#

La transformación ToGray de Albumentations convierte una imagen a escala de grises, la reduce a un formato de un solo canal y, de forma opcional, replica ese canal para ajustarlo al número de canales de salida especificado. Se pueden usar distintos métodos para calcular el brillo de la escala de grises, desde un promedio sencillo hasta técnicas más avanzadas que representan de forma realista el contraste y el brillo percibidos.

Estos son los parámetros y valores que se utilizan en esta integración:

  • num_output_channels: Define el número de canales de la imagen de salida. Si este valor es superior a 1, el único canal en escala de grises se replica para crear una imagen multicanal en escala de grises. El valor predeterminado es 3, lo que genera una imagen en escala de grises con tres canales idénticos.

  • method: Define el método de conversión a escala de grises. El método predeterminado, "weighted_average", aplica una fórmula (0.299R + 0.587G + 0.114B) que se ajusta estrechamente a la percepción humana y produce un efecto de escala de grises natural. Otras opciones, como "from_lab", "desaturation", "average", "max" y "pca", ofrecen formas alternativas de crear imágenes en escala de grises según las necesidades de velocidad, énfasis en el brillo o conservación de los detalles.

  • p: Controla la frecuencia con la que se aplica la transformación a escala de grises. Con p=0.01, hay un 1 % de probabilidades de convertir cada imagen a escala de grises, lo que permite combinar imágenes en color y en escala de grises para ayudar al modelo a generalizar mejor.

La imagen siguiente muestra un ejemplo de esta transformación a escala de grises aplicada.

Albumentations grayscale conversion

Ecualización adaptativa del histograma con contraste limitado (CLAHE)#

La transformación CLAHE de Albumentations aplica la ecualización adaptativa del histograma con contraste limitado (CLAHE), una técnica que mejora el contraste de la imagen al ecualizar el histograma en regiones locales (teselas) en lugar de hacerlo en toda la imagen. CLAHE produce una mejora equilibrada y evita el aumento excesivo del contraste que puede provocar la ecualización estándar del histograma, especialmente en zonas cuyo contraste inicial es bajo.

Estos son los parámetros y valores que se utilizan en esta integración:

  • clip_limit: Controla el rango de mejora del contraste. El valor predeterminado es un intervalo de (1, 4), que determina el contraste máximo permitido en cada bloque. Los valores más altos permiten un mayor contraste, pero también pueden introducir ruido.

  • tile_grid_size: Define el tamaño de la cuadrícula de bloques, normalmente como (filas, columnas). El valor predeterminado es (8, 8), lo que significa que la imagen se divide en una cuadrícula de 8x8. Los bloques más pequeños ofrecen ajustes más localizados, mientras que los más grandes producen efectos más parecidos a una ecualización global.

  • p: La probabilidad de aplicar CLAHE. En este caso, p=0.01, por lo que el efecto de mejora se aplica solo el 1 % de las veces. Así, los ajustes de contraste se aplican con moderación y aportan una variación ocasional a las imágenes de entrenamiento.

La imagen siguiente muestra un ejemplo de la transformación CLAHE aplicada.

Albumentations CLAHE contrast enhancement

Uso de transformaciones personalizadas de Albumentations#

Aunque la integración predeterminada de Albumentations ofrece un conjunto sólido de aumentos, quizá quieras personalizar las transformaciones para tu caso de uso específico. Con Ultralytics YOLO26, puedes pasar transformaciones personalizadas de Albumentations mediante la API de Python usando el parámetro augmentations. Los ejemplos de esta sección requieren Albumentations 1.4.22 o una versión posterior.

Cómo definir transformaciones personalizadas#

Puedes definir tu propia lista de transformaciones de Albumentations y pasarla a la función de entrenamiento. Esto sustituye las transformaciones predeterminadas de Albumentations y mantiene activas las demás aumentaciones de YOLO (como hsv_h, degrees, mosaic, etc.).

Aquí tienes un ejemplo con transformaciones más avanzadas:

import albumentations as A

from ultralytics import YOLO

# Cargar el modelo
model = YOLO("yolo26n.pt")

# Definir transformaciones personalizadas con varias técnicas de aumento
custom_transforms = [
    # Variaciones de desenfoque
    A.OneOf(
        [
            A.MotionBlur(blur_limit=7, p=1.0),
            A.MedianBlur(blur_limit=7, p=1.0),
            A.GaussianBlur(blur_limit=7, p=1.0),
        ],
        p=0.3,
    ),
    # Variaciones de ruido
    A.OneOf(
        [
            A.GaussNoise(std_range=(0.0124, 0.0277), p=1.0),
            A.ISONoise(color_shift=(0.01, 0.05), intensity=(0.1, 0.5), p=1.0),
        ],
        p=0.2,
    ),
    # Ajustes de color y contraste
    A.CLAHE(clip_limit=4.0, tile_grid_size=(8, 8), p=0.5),
    A.RandomBrightnessContrast(brightness_limit=0.3, contrast_limit=0.3, p=0.5),
    A.HueSaturationValue(hue_shift_limit=20, sat_shift_limit=30, val_shift_limit=20, p=0.5),
    # Simular oclusiones
    A.CoarseDropout(num_holes_range=(1, 8), hole_height_range=(8, 32), hole_width_range=(8, 32), fill=0, p=0.2),
]

# Entrenar con transformaciones personalizadas
results = model.train(
    data="coco8.yaml",
    epochs=100,
    imgsz=640,
    augmentations=custom_transforms,
)

Consideraciones importantes#

Ten en cuenta estos aspectos al utilizar transformaciones personalizadas de Albumentations:

  • Configuración: Crea objetos de transformación personalizados mediante la API de Python. También puedes pasar transformaciones serializadas a través de la CLI o de archivos de configuración YAML, incluso al reanudar el entrenamiento.
  • Sustituyen los valores predeterminados: Tus transformaciones personalizadas sustituirán por completo las transformaciones predeterminadas de Albumentations. Las demás aumentaciones de YOLO seguirán activas.
  • Gestión de etiquetas: Las transformaciones espaciales, incluidas las anidadas en A.OneOf o A.Compose, desplazan los cuadros delimitadores, los polígonos, los puntos clave y las máscaras de profundidad o semánticas junto con la imagen. A.RandomGridShuffle no puede conservar la topología de polígonos ni de puntos clave y genera un error con muestras de segmentación, pose y OBB.
  • Rendimiento: Algunas transformaciones tienen un coste computacional elevado. Supervisa la velocidad de entrenamiento y ajústala según corresponda.
  • Compatibilidad con tareas: Las transformaciones personalizadas de Albumentations funcionan con el entrenamiento de detección, segmentación, segmentación semántica, profundidad, pose y OBB, pero no con la clasificación (que utiliza una canalización de aumentos distinta).

Casos de uso de las transformaciones personalizadas#

Cada aplicación puede beneficiarse de distintas estrategias de aumento:

  • Imágenes médicas: Utiliza deformaciones elásticas, distorsiones de cuadrícula y patrones de ruido especializados
  • Imágenes aéreas y por satélite: Aplica transformaciones que simulen distintas altitudes, condiciones meteorológicas y ángulos de iluminación
  • Escenarios con poca luz: Da prioridad a la adición de ruido y a los ajustes de brillo para entrenar modelos robustos ante condiciones de iluminación difíciles
  • Inspección industrial: Añade variaciones de textura y defectos simulados para aplicaciones de control de calidad

Para ver la lista completa de transformaciones disponibles y sus parámetros, consulta la documentación de Albumentations.

Para consultar ejemplos más detallados y buenas prácticas sobre el uso de transformaciones personalizadas de Albumentations con YOLO26, consulta la guía de aumento de datos de YOLO.

Sigue aprendiendo sobre Albumentations#

Si quieres aprender más sobre Albumentations, consulta los siguientes recursos para encontrar instrucciones y ejemplos más detallados:

Conclusiones clave#

En esta guía, hemos explorado los aspectos clave de Albumentations, una biblioteca de Python para el aumento de imágenes. Hemos repasado su amplia variedad de transformaciones, su rendimiento optimizado y cómo puedes usarla en tu próximo proyecto con YOLO26.

Preguntas frecuentes#

  • Albumentations se integra con YOLO26 y se aplica automáticamente durante el entrenamiento si tienes el paquete instalado. Así puedes empezar:

    # Instalar los paquetes necesarios
    # !pip install albumentations ultralytics
    from ultralytics import YOLO
    
    # Cargar y entrenar el modelo con aumentos automáticos
    model = YOLO("yolo26n.pt")
    model.train(data="coco8.yaml", epochs=100)

    La integración predeterminada aplica desenfoque, desenfoque mediano, conversión a escala de grises y CLAHE, cada uno con una probabilidad baja del 1 %, para añadir variación ocasional sin dominar el entrenamiento.

  • Albumentations destaca por varios motivos:

    1. Rendimiento: Basado en OpenCV y NumPy, con optimización SIMD para ofrecer alta velocidad
    2. Flexibilidad: Compatible con más de 70 transformaciones de aumento a nivel de píxel, espacial y de mezcla
    3. Compatibilidad: Funciona con frameworks populares como PyTorch y TensorFlow
    4. Fiabilidad: Un amplio conjunto de pruebas evita la corrupción silenciosa de datos
    5. Facilidad de uso: Una API unificada para todos los tipos de aumento
  • Albumentations mejora distintas tareas de visión artificial, entre ellas:

    Las diversas opciones de aumento de la biblioteca la hacen muy útil para tareas de visión que requieren un rendimiento robusto del modelo. En Ultralytics YOLO26, el entrenamiento de clasificación utiliza su propia canalización de aumentos basada en torchvision y no aplica transformaciones de Albumentations.

Comentarios19

Haz una pregunta, comparte tus resultados o ayuda a otra persona.

  1. anushka-koreGitHub

    Is there a way that we can define more custom albumentations transforms to be applied during model train? If yes, will they also change the bounding box coords accordingly if they are spatial transforms?

    1. manuelescobar5036GitHub

      The albumentations transforms are defined in the ultralytics/data/augment.py file. There you can find the following function that returns the transforms to be applied to the images, which includes the Albumentations transform. image

      Then, in the same file you can find the Albumentations class which defines the pipeline. In this pipeline you can add the new transforms that you want. image

      Bouding boxes are changed accordingly to their spatial transforms. This is done when you pass bbox_params to the Albumentations pipeline. image

    2. Glenn JocherUltralytics(editado)

      @anushka-kore Yes. Pass your own Albumentations transforms to training with the augmentations argument (Python only):

      import albumentations as A
      from ultralytics import YOLO
      
      model = YOLO("yolo26n.pt")
      model.train(data="coco8.yaml", augmentations=[A.Blur(p=0.01), A.CLAHE(p=0.01)])

      Spatial transforms (rotation, flips, perspective, etc.) are applied together with the bounding boxes, which are updated automatically through Albumentations' bbox handling in YOLO format. Non-spatial transforms like color adjustments only change the image. See the Albumentations integration guide for details.

    3. anushka-koreGitHub

      Hey @glenn-jocher and @deox1994, I later realised that simply defining my list of custom transform in the augment.py file is not working. This is the part I changed in the augment.py file (original ones are commented out)-

              T = [
                  #A.Blur(p=0.01),
                  #A.MedianBlur(p=0.01),
                  #A.ToGray(p=0.01),
                  #A.CLAHE(p=0.01),
                  A.RandomBrightnessContrast(p=0.2),
                  #A.RandomGamma(p=0.0),
                  #A.ImageCompression(quality_range=(75, 100), p=0.0),
                  A.HorizontalFlip(p=0.5),
                  A.VerticalFlip(p=0.5),
                  A.Rotate(limit=30, p=0.5),
                  A.GaussianBlur(p=0.2),
                  A.GaussNoise(p=0.2),
              ]

      For your reference, this is the error I get, you could view the list of albumentation transforms I applied here as well- ..... Transferred 1009/1015 items from pretrained weights Freezing layer 'model.23.dfl.conv.weight' AMP: running Automatic Mixed Precision (AMP) checks... AMP: checks passed ✅ train: Scanning /home/xxx/dataset_MIP_clean/train/labels.cache... 831 images, 73 backgrounds, 0 corrupt: 100%|██████████| 831/831 [00:00<?, ?it/s] albumentations: RandomBrightnessContrast(p=0.2, brightness_by_max=True, brightness_limit=(-0.2, 0.2), contrast_limit=(-0.2, 0.2), ensure_safe_range=False), HorizontalFlip(p=0.5), VerticalFlip(p=0.5), Rotate(p=0.5, border_mode=0, crop_border=False, fill=0.0, fill_mask=0.0, interpolation=1, limit=(-30.0, 30.0), mask_interpolation=0, rotate_method='largest_box'), GaussianBlur(p=0.2, blur_limit=(0, 0), sigma_limit=(0.5, 3.0)), GaussNoise(p=0.2, mean_range=(0.0, 0.0), noise_scale_factor=1.0, per_channel=True, std_range=(0.2, 0.44)) val: Scanning /home/xxx/dataset_MIP_clean/val/labels.cache... 210 images, 13 backgrounds, 0 corrupt: 100%|██████████| 210/210 [00:00<?, ?it/s] Plotting labels to /home/xxx/yolov11_predictions/test4/labels.jpg... optimizer: 'optimizer=auto' found, ignoring 'lr0=0.01' and 'momentum=0.937' and determining best 'optimizer', 'lr0' and 'momentum' automatically... optimizer: AdamW(lr=0.000769, momentum=0.9) with parameter groups 167 weight(decay=0.0), 174 weight(decay=0.0005), 173 bias(decay=0.0) Image sizes 640 train, 640 val Using 8 dataloader workers Logging results to /home/xxx/yolov11_predictions/test4 Starting training for 200 epochs...

        Epoch    GPU_mem   box_loss   cls_loss   dfl_loss  Instances       Size
        1/200      15.4G      5.502      51.38      2.745         17        640:  10%|▉         | 5/52 [00:02<00:22,  2.07it/s]

      Traceback (most recent call last): File "/home/xxx/yolo_train.py", line 149, in train_yolo(output_dir) File "/home/xxx/yolo_train.py", line 116, in train_yolo results = model.train( ^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/ultralytics/engine/model.py", line 791, in train self.trainer.train() File "/home/xxx/env/lib/python3.12/site-packages/ultralytics/engine/trainer.py", line 211, in train self._do_train(world_size) File "/home/xxx/env/lib/python3.12/site-packages/ultralytics/engine/trainer.py", line 366, in _do_train for i, batch in pbar: ^^^^ File "/home/xxx/env/lib/python3.12/site-packages/tqdm/std.py", line 1178, in iter for obj in iterable: ^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/ultralytics/data/build.py", line 59, in iter yield next(self.iterator) ^^^^^^^^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/torch/utils/data/dataloader.py", line 708, in next data = self._next_data() ^^^^^^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/torch/utils/data/dataloader.py", line 1455, in _next_data return self._process_data(data) ^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/torch/utils/data/dataloader.py", line 1505, in _process_data data.reraise() File "/home/xxx/env/lib/python3.12/site-packages/torch/_utils.py", line 733, in reraise raise exception RuntimeError: Caught RuntimeError in DataLoader worker process 5. Original Traceback (most recent call last): File "/home/xxx/env/lib/python3.12/site-packages/torch/utils/data/_utils/worker.py", line 349, in _worker_loop data = fetcher.fetch(index) # type: ignore[possibly-undefined] ^^^^^^^^^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/torch/utils/data/_utils/fetch.py", line 55, in fetch return self.collate_fn(data) ^^^^^^^^^^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/ultralytics/data/dataset.py", line 298, in collate_fn value = torch.cat(value, 0) ^^^^^^^^^^^^^^^^^^^ RuntimeError: Tensors must have same number of dimensions: got 1 and 2

      All my transforms are correctly defined, and the spatial transforms (horizontalflip, verticalflip and rotate) exist in the spatial_transforms list. Could you please point where this is going wrong?

    4. supriamirGitHub

      Hi Glen,

      I would like to optimize the hyperparameters using model.tune(). My goal is to identify the most important augmentations from Albumentations.

      If I am not mistaken, the default hyperparameter optimization only includes a limited set of augmentation parameters, as described in the following link: https://docs.ultralytics.com/integrations/ray-tune/#tune-method-parameters

      Could you advise how I can include and optimize additional Albumentations transforms beyond the default settings?

    5. Glenn JocherUltralytics

      Yes, but not directly through the default model.tune() search set: custom Albumentations are a Python-only augmentations list passed to model.train(), while the built-in tuner mutates the numeric space, so the usual workflow is to keep one fixed augmentations= pipeline per tuning run and compare the best result across several candidate pipelines; if you want to search the pipeline itself, use a small custom Ray Tune wrapper around model.train() instead, and keep the standard YOLO augmentations fixed so you isolate the Albumentations effect—see the hyperparameter tuning guide and the Albumentations integration guide.

  2. UltralyticsAssistantGitHubUltralytics

    👋 Hello, thank you for your interest in Ultralytics 🚀! We recommend visiting the Docs for guidance—there you’ll find many Python and CLI usage examples, and answers to many common questions.

    If this is a 🐛 Bug Report, please provide a minimum reproducible example to help us investigate.

    If you have a custom training ❓ Question, please share as much relevant information as possible, including dataset image examples and training logs. Also, make sure to review our Tips for Best Training Results.

    You’re welcome to join the Ultralytics community where it fits you best:

    • For real-time chat, join us on Discord 🎧
    • For in-depth discussions, visit Discourse
    • For community sharing, check out our Subreddit

    Upgrade

    Upgrade to the latest ultralytics package and all requirements in a Python>=3.8 environment with PyTorch>=1.8 to ensure you’re on the latest version:

    pip install -U ultralytics

    Environments

    YOLO can be run in any of the following up-to-date verified environments (with all dependencies like CUDA/CUDNN, Python, and PyTorch preinstalled):

    Status

    Ultralytics CI

    If this badge is green, all Ultralytics CI tests are currently passing. These tests confirm correct operation of all YOLO Modes and Tasks on macOS, Windows, and Ubuntu every 24 hours and on every commit.

    This is an automated response 🤖. An Ultralytics engineer will assist you here soon!

    1. Glenn JocherUltralytics

      欢迎来到 Ultralytics 中文文档的 Albumentations 集成讨论区!如果您对使用 Albumentations 来增强 YOLO11 训练数据有任何问题或想法,请在这里提出。

      Albumentations 与 YOLO11 的集成非常简便,只需安装 albumentations 包,就会在训练过程中自动应用多种图像增强技术,如模糊、中值模糊、灰度转换和 CLAHE,帮助您的模型更好地适应各种真实场景。

      您是否在特定项目中使用过 Albumentations?或者您对如何最佳配置这些增强技术有疑问?请随时在这里分享您的经验或提出问题,Ultralytics 团队将很乐意提供帮助!

  3. UltralyticsAssistantGitHubUltralytics

    👋 Hello, thank you for your interest in Ultralytics 🚀! We recommend visiting the Docs for guidance on integrations like Albumentations with YOLO11. You can also review many Python and CLI examples, and frequently asked questions may already be addressed there.

    If this is a 🐛 Bug Report, please include a minimum reproducible example to help us investigate further.

    If you have a custom training ❓ Question, please provide detailed info such as dataset image samples, training logs, and confirm you are following our Tips for Best Training Results.

    Join the Ultralytics community wherever you prefer—real-time chat on Discord 🎧, in-depth discussions on Discourse, or knowledge-sharing on our Subreddit.

    Upgrade

    Upgrade to the latest ultralytics package and all requirements in a Python>=3.8 environment with PyTorch>=1.8 to ensure your issue is not already fixed in the latest version:

    pip install -U ultralytics

    Environments

    YOLO may be run in any of the following verified and up-to-date environments (with all dependencies including CUDA/CUDNN, Python and PyTorch preinstalled):

    Status

    Ultralytics CI

    If this badge is green, all Ultralytics CI tests are currently passing. These tests verify correct operation of all YOLO Modes and Tasks on macOS, Windows, and Ubuntu every 24 hours and on every commit.

    This is an automated response. An Ultralytics engineer will review and assist you soon!

    1. Glenn JocherUltralytics

      Bonjour! N'hésitez pas à poser vos questions sur l'intégration d'Albumentations avec YOLO11 dans cette discussion. Cette intégration vous permet d'améliorer automatiquement votre jeu de données pendant l'entraînement avec diverses transformations comme le flou, le flou médian, la conversion en niveaux de gris et CLAHE.

      L'avantage principal est sa simplicité d'utilisation - il suffit d'installer les packages requis et les augmentations sont appliquées automatiquement pendant l'entraînement:

      pip install albumentations ultralytics

      Si vous rencontrez des difficultés avec cette intégration ou si vous avez des questions sur l'augmentation de données pour améliorer les performances de vos modèles YOLO11, n'hésitez pas à les partager ici!

  4. manuelescobar5036GitHub(editado)

    Dear Ultralytics team,

    I’m working on a project focused on detecting the behavior of workers in underground mines. The classes and the number of labels per class in the training set are as follows:

    • Sitting → 2500
    • Standing → 9000
    • Operation → 700
    • Lean Against → 4000
    • Tumble → 400

    Since the dataset is imbalanced, I would like to apply data augmentation to avoid overfitting and improve accuracy. While researching YOLO's data augmentation capabilities, a few questions came up:

    1. As far as I understand, YOLO currently supports two methods for performing data augmentation:
    • Modifying individual hyperparameters such as hsv_h, hsv_s, hsv_v, degrees, translate, etc., in the ultralytics/cfg/default.yaml file (does not require the Albumentations Python Library).
    • Using the Albumentations Python Library (previously installed).

    Is this correct? If so, what are the differences between the two methods, and which one is currently recommended?

    1. Considering both options from question 1, does YOLO apply data augmentation only to images from the classes with less labels, or to images from all classes? I ask because if I have an imbalanced dataset and YOLO applies data augmentation to images from all classes, the imbalance would remain, wouldn’t it?

    2. If I choose to use an older YOLO model, such as yolov8n.yaml, and I have Albumentations installed, will Albumentations-based data augmentation be applied during training?

    3. What other suggestions would you recommend for dealing with imbalanced classes?

    1. Glenn JocherUltralytics

      @deox1994 Thanks for your detailed questions about data augmentation in YOLO for handling your imbalanced mining worker dataset. Let me address each point:

      1. Yes, you're correct about the two augmentation approaches:
        • Built-in YOLO augmentations (hsv_h, translate, scale, etc.) which are always available
        • Albumentations integration which activates automatically when the library is installed

      The key difference is that built-in augmentations focus primarily on geometric and color transformations, while Albumentations adds more specialized transformations like blur, grayscale, and CLAHE with carefully tuned probabilities (typically 0.01 as shown in the reference code). Both work together complementarily rather than being exclusive options.

      1. Both augmentation methods apply to all images regardless of class. To address your imbalance specifically, consider:

        • Using a weighted loss function
        • Implementing class-aware sampling during training
        • Creating custom data pipeline that applies additional augmentations to underrepresented classes
      2. Yes, if Albumentations is installed, it will be automatically applied when training YOLOv8 models too. The integration is part of the Ultralytics framework, not specific to YOLO11.

      3. For handling imbalanced classes beyond augmentation:

        • Apply weighted loss based on inverse class frequency
        • Use focal loss which naturally handles class imbalance better
        • Consider different evaluation metrics (precision/recall per class rather than just mAP)
        • Experiment with undersampling majority classes or oversampling minority classes

      You can find implementation details for these approaches in the data augment reference documentation.

    2. safwene-bahrounGitHub

      Good morning ,@glenn-jocher, do you can help me ?

      { "total_images": 39152, "total_detections": 70910, "instances_per_class": { "Dress": 52999, "Skirt": 1259, "Handbag": 2495, "High heels": 3124, "Swimwear": 10079, "Miniskirt": 954 } } i will train this with yolo11n.pt and with albumentation the code : from ultralytics import YOLO import torch

      def main(): # Load a pretrained YOLO model model = YOLO("yolo11n.pt") # Set device device = "cuda" if torch.cuda.is_available() else "cpu" print(f"Using device: {device}")

      if device == "cuda":
          print(f"GPU name: {torch.cuda.get_device_name(0)}")
      
      # Debug: Print dataset configuration
      print("Training with dataset: OpenImagesV7-women.yaml")
      
      # Train the model with enhanced hyperparameters
      results = model.train(
      data="OpenImagesV7-woman.yaml",
      epochs=150,
      imgsz=640,
      device=device,
      batch=16,
      optimizer ="auto"

      )

      Dataset configuration

      path: ../datasets/open-images-v7 train: c:\Users\GIGABYTE\datasets\open-images-v7\train val: C:/Users/GIGABYTE/datasets/open-images-v7/val

      nc: 6 names: 0: Dress 1: High heels 2: Miniskirt 3: Skirt 4: Swimwear 5: Handbag

      Hyperparameters for extreme imbalance

      loss: cls_weight: [0.3, 0.5, 7.0, 5.0, 0.4, 0.6] # Calculated weights below box: 0.05 obj: 1.0 label_smoothing: 0.1

      Strategic augmentation

      augment:

      For rare classes (Miniskirt, Skirt)

      copy_paste: 0.7 # High frequency for rare classes paste_classes: [2, 3] # Only Miniskirt(class2)/Skirt(class3) paste_scale: [0.3, 0.7] # Realistic resizing of pasted objects

      General augmentations (applied to all)

      mosaic: 1.0 # Helps context learning mixup: 0.05 # Reduced to avoid label confusion fliplr: 0.5 hsv_h: 0.015 # Mild color variation degrees: 5.0 # Small rotation for fashion items

      Training parameters

      batch: 16 # Match GPU capacity accumulate: 4 # Simulates batch=64 epochs: 150 # Longer training for rare classes patience: 50 # Early stopping if no improveme

      but i trained untill now :
      Epoch GPU_mem box_loss cls_loss dfl_loss Instances Size 104/150 2.92G 1.026 0.9478 1.206 55 640: 100%|██████████| 2447/2447 [07:51<00:00, Class Images Instances Box(P R mAP50 mAP50-95): 100%|██████████| 32/32 [00:06 all 1016 1987 0.581 0.525 0.536 0.423

      Can you help me please to reach all metrics above 0.8

      THANKS

  5. hillsonghimireGitHub

    Even when I turned off augment=False, albumentation-related operations were still performed in yolo11. How to completely turn it off/disable?

    1. Glenn JocherUltralytics

      @hillsonghimire to completely disable Albumentations augmentations in YOLO11, uninstall the Albumentations package since its presence automatically enables the integration. Run pip uninstall albumentations and verify it's removed from your environment. This will prevent any Albumentations transformations from being applied regardless of other settings. For more details, see the Albumentations integration guide.

  6. DP1701GitHub

    Thanks for this explanation. But if I understand correctly, not all functions of Albuminations are directly supported, or am I misunderstanding?

    The explanation says: The integration includes optimized augmentations like blur, median blur, grayscale conversion, and CLAHE with carefully tuned probabilities to enhance model performance.

    So only blur, median blur, grayscale conversion and CLAHE are applied and the others cannot be individually selected and adjusted?

    1. Glenn JocherUltralytics(editado)

      The integration with Albumentations in YOLO11 automatically applies specific augmentations like blur, median blur, grayscale conversion, and CLAHE. While these are the default transformations used to enhance model performance, you can pass your own Albumentations transforms to model.train() with the augmentations argument (Python only).