Начать

Расширь набор данных с помощью Albumentations для обучения YOLO26

При создании моделей компьютерного зрения качество и разнообразие обучающих данных могут существенно повлиять на эффективность модели. Albumentations позволяет быстро, гибко и эффективно применять широкий спектр преобразований изображений, помогающих модели лучше адаптироваться к реальным условиям. Библиотека интегрируется с Ultralytics YOLO26 и помогает создавать надёжные датасеты для задач обнаружения объектов, сегментации экземпляров, семантической сегментации, оценки глубины, оценки позы и ориентированных ограничивающих рамок.

Albumentations добавляет в обучающие данные YOLO26 такие методы, как геометрические преобразования и коррекция цвета. В этом руководстве объясняется, как Albumentations встраивается в конвейер аугментации данных Ultralytics и как настроить библиотеку для своих проектов.

Albumentations для аугментации изображений#

Albumentations — библиотека аугментации изображений с открытым исходным кодом, созданная в июне 2018 года. Она упрощает и ускоряет аугментацию изображений в задачах компьютерного зрения. Библиотека создана с учётом производительности и гибкости и поддерживает множество разнообразных методов аугментации: от простых преобразований, таких как поворот и отражение, до более сложных изменений яркости и контрастности. Albumentations помогает разработчикам создавать насыщенные и разнообразные датасеты для таких задач, как классификация изображений, обнаружение объектов и сегментация.

С помощью Albumentations можно легко применять аугментации к изображениям, маскам сегментации, ограничивающим рамкам и ключевым точкам, синхронно преобразуя все элементы датасета. Библиотека работает с популярными фреймворками глубокого обучения, такими как PyTorch и TensorFlow, поэтому подходит для широкого круга проектов.

Albumentations подходит как для небольших датасетов, так и для масштабных задач компьютерного зрения. Быстрая обработка сокращает время подготовки данных, а более разнообразные обучающие данные могут улучшить эффективность модели в реальных приложениях.

Ключевые возможности Albumentations#

Albumentations предлагает множество полезных функций, упрощающих сложную аугментацию изображений для широкого спектра задач компьютерного зрения. Вот некоторые из ключевых возможностей:

  • Широкий выбор преобразований: Albumentations предлагает более 70 различных преобразований, включая геометрические изменения (например, поворот и отражение), коррекцию цветов (например, яркости и контрастности) и добавление шума (например, гауссовского). Множество вариантов позволяет создавать разнообразные и надежные обучающие наборы данных.

Albumentations augmentation examples

  • Высокая производительность: Albumentations построена на OpenCV и NumPy и использует передовые методы оптимизации, такие как SIMD (одна инструкция, несколько данных), которые позволяют одновременно обрабатывать несколько элементов данных и ускоряют обработку. Библиотека быстро справляется с большими наборами данных, что делает ее одним из самых быстрых решений для аугментации изображений.

  • Три уровня аугментации: Albumentations поддерживает три уровня аугментации: преобразования на уровне пикселей, пространственные преобразования и преобразования смешивания. Преобразования на уровне пикселей затрагивают только входные изображения, не изменяя маски, ограничивающие рамки или ключевые точки. Пространственные преобразования изменяют и изображение, и его элементы, например маски и ограничивающие рамки. Преобразования смешивания объединяют несколько изображений в одно.

Примеры аугментации Albumentations на уровне пикселей, пространственном уровне и уровне смешивания

Зачем использовать Albumentations в проектах Vision AI?#

Для аугментации изображений Albumentations — надежный инструмент для задач компьютерного зрения. Вот несколько причин, по которым стоит рассмотреть его для проектов Vision AI:

  • Простой API: Albumentations предоставляет единый понятный API для применения множества аугментаций к изображениям, маскам, ограничивающим рамкам и ключевым точкам. Библиотека легко адаптируется к разным наборам данных, упрощая и ускоряя подготовку данных.

  • Тщательное тестирование на ошибки: Ошибки в конвейере аугментации могут незаметно повредить входные данные и остаться незамеченными, но в итоге снизить эффективность модели. Albumentations помогает выявлять ошибки на ранних этапах разработки благодаря обширному набору тестов.

  • Расширяемость: Albumentations позволяет легко добавлять новые аугментации и применять их вместе со встроенными преобразованиями через единый интерфейс.

Как использовать Albumentations для аугментации данных при обучении YOLO26#

Albumentations напрямую интегрируется в режим обучения Ultralytics и применяется автоматически, если установлен пакет Albumentations.

Установка#

Чтобы использовать Albumentations с YOLO26, сначала убедись, что установлены необходимые пакеты. Если Albumentations не установлена, её аугментации не будут применяться во время обучения. После установки преобразования будут применяться к обучающим изображениям на лету.

Установка
# Install the required packages
pip install albumentations ultralytics

Подробные инструкции и рекомендации по установке смотри в руководстве по установке Ultralytics. Если при установке пакетов, необходимых для YOLO26, возникнут сложности, решения и советы найдешь в руководстве по распространенным проблемам.

Для примеров пользовательских преобразований на этой странице требуется Albumentations версии 1.4.22 или новее, а значит, и Python версии 3.9 или новее.

Использование#

После установки необходимых пакетов можно начать использовать Albumentations с YOLO26. При обучении YOLO26 с установленной Albumentations набор преобразований Albumentations по умолчанию применяется автоматически.

Использование
from ultralytics import YOLO

# Загрузи предварительно обученную модель
model = YOLO("yolo26n.pt")

# Обучение модели со стандартными аугментациями
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

В следующих разделах описаны преобразования Albumentations, которые применяются по умолчанию во время обучения.

Размытие#

Преобразование Blur в Albumentations размывает изображение, усредняя значения пикселей в небольшой квадратной области — ядре. Для этого используется функция OpenCV cv2.blur, которая помогает уменьшить шум на изображении, хотя и немного снижает детализацию.

Параметры и значения, используемые в этой интеграции:

  • blur_limit: Этот параметр задает диапазон размеров размытия. По умолчанию используется диапазон (3, 7), то есть размер ядра размытия может составлять от 3 до 7 пикселей; допускаются только нечетные значения, чтобы центр размытия оставался посередине.

  • p: Вероятность применения размытия. В этой интеграции p=0.01, поэтому для каждого изображения вероятность применения размытия составляет 1%. Низкая вероятность позволяет изредка размывать изображения, немного повышая разнообразие и помогая модели лучше обобщать, но не допуская чрезмерного размытия.

Albumentations Blur augmentation result

Медианное размытие#

Преобразование MedianBlur в Albumentations применяет к изображению медианное размытие, особенно полезное для уменьшения шума при сохранении границ. В отличие от обычных методов размытия, MedianBlur использует медианный фильтр, который особенно эффективно удаляет импульсный шум, сохраняя четкость границ.

Параметры и значения, используемые в этой интеграции:

  • blur_limit: Этот параметр задает максимальный размер ядра размытия. В этой интеграции по умолчанию используется диапазон (3, 7): размер ядра размытия случайным образом выбирается от 3 до 7 пикселей, причем допускаются только нечетные значения для правильного выравнивания.

  • p: Задает вероятность применения медианного размытия. Здесь p=0.01, поэтому для каждого изображения вероятность применения преобразования составляет 1%. Низкая вероятность обеспечивает редкое применение медианного размытия и помогает модели лучше обобщать за счет периодического использования изображений с уменьшенным шумом и сохраненными границами.

На изображении ниже показан пример применения этой аугментации.

Albumentations MedianBlur augmentation

Оттенки серого#

Преобразование ToGray в Albumentations переводит изображение в оттенки серого, преобразуя его в одноканальный формат и при необходимости копируя этот канал, чтобы получить заданное число выходных каналов. Для расчета яркости в градациях серого можно использовать разные методы: от простого усреднения до более сложных методов, реалистично учитывающих восприятие контрастности и яркости.

Параметры и значения, используемые в этой интеграции:

  • num_output_channels: Задает число каналов выходного изображения. Если значение больше 1, одноканальное изображение в оттенках серого копируется, формируя многоканальное изображение. По умолчанию установлено значение 3, поэтому изображение в оттенках серого содержит три одинаковых канала.

  • method: Определяет метод преобразования в оттенки серого. Метод по умолчанию, "weighted_average", применяет формулу (0.299R + 0.587G + 0.114B), которая хорошо соответствует человеческому восприятию и создает естественный эффект оттенков серого. Другие варианты, например "from_lab", "desaturation", "average", "max" и "pca", позволяют создавать изображения в оттенках серого разными способами — с учетом требований к скорости, акценту на яркости или сохранению деталей.

  • p: Определяет частоту применения преобразования в оттенки серого. При p=0.01 вероятность преобразования каждого изображения составляет 1%, поэтому модель получает смесь цветных изображений и изображений в оттенках серого, что помогает ей лучше обобщать.

На изображении ниже показан пример применения этого преобразования в оттенки серого.

Albumentations grayscale conversion

Адаптивное выравнивание гистограммы с ограничением контрастности (CLAHE)#

Преобразование CLAHE в Albumentations применяет адаптивное выравнивание гистограммы с ограничением контрастности (CLAHE) — метод повышения контрастности изображения путем выравнивания гистограммы в локальных областях (плитках), а не по всему изображению. CLAHE обеспечивает сбалансированное усиление контрастности и позволяет избежать чрезмерного увеличения контраста, которое может возникнуть при стандартном выравнивании гистограммы, особенно в изначально малоконтрастных областях.

Параметры и значения, используемые в этой интеграции:

  • clip_limit: задаёт диапазон усиления контрастности. По умолчанию он равен (1, 4) и определяет максимальную контрастность для каждого блока. Более высокие значения усиливают контрастность, но могут также добавить шум.

  • tile_grid_size: задаёт размер сетки блоков, обычно в формате (строки, столбцы). Значение по умолчанию — (8, 8), то есть изображение делится на сетку 8x8. Меньшие блоки позволяют выполнять более локальную коррекцию, а большие дают эффект, близкий к глобальному выравниванию.

  • p: Вероятность применения CLAHE. Здесь p=0.01: эффект усиления контрастности применяется только в 1% случаев, поэтому коррекция контрастности выполняется редко и лишь изредка разнообразит обучающие изображения.

На изображении ниже показан пример применения преобразования CLAHE.

Albumentations CLAHE contrast enhancement

Использование пользовательских преобразований Albumentations#

Хотя интеграция Albumentations по умолчанию предоставляет хороший набор аугментаций, для конкретного сценария использования может понадобиться настроить преобразования. В Ultralytics YOLO26 можно передавать пользовательские преобразования Albumentations через Python API с помощью параметра augmentations. Для примеров в этом разделе требуется Albumentations версии 1.4.22 или новее.

Как определить пользовательские преобразования#

Ты можешь определить собственный список преобразований Albumentations и передать его функции обучения. Это заменит стандартные преобразования Albumentations, сохранив активными все остальные аугментации YOLO (например, hsv_h, degrees, mosaic и т. д.).

Вот пример с более сложными преобразованиями:

import albumentations as A

from ultralytics import YOLO

# Загрузка модели
model = YOLO("yolo26n.pt")

# Определение пользовательских преобразований с использованием различных методов аугментации
custom_transforms = [
    # Варианты размытия
    A.OneOf(
        [
            A.MotionBlur(blur_limit=7, p=1.0),
            A.MedianBlur(blur_limit=7, p=1.0),
            A.GaussianBlur(blur_limit=7, p=1.0),
        ],
        p=0.3,
    ),
    # Варианты добавления шума
    A.OneOf(
        [
            A.GaussNoise(std_range=(0.0124, 0.0277), p=1.0),
            A.ISONoise(color_shift=(0.01, 0.05), intensity=(0.1, 0.5), p=1.0),
        ],
        p=0.2,
    ),
    # Настройка цвета и контрастности
    A.CLAHE(clip_limit=4.0, tile_grid_size=(8, 8), p=0.5),
    A.RandomBrightnessContrast(brightness_limit=0.3, contrast_limit=0.3, p=0.5),
    A.HueSaturationValue(hue_shift_limit=20, sat_shift_limit=30, val_shift_limit=20, p=0.5),
    # Имитация перекрытий
    A.CoarseDropout(num_holes_range=(1, 8), hole_height_range=(8, 32), hole_width_range=(8, 32), fill=0, p=0.2),
]

# Обучение с пользовательскими преобразованиями
results = model.train(
    data="coco8.yaml",
    epochs=100,
    imgsz=640,
    augmentations=custom_transforms,
)

Важные замечания#

При использовании пользовательских преобразований Albumentations учитывай следующие моменты:

  • Конфигурация: Создавай объекты пользовательских преобразований через Python API. Сериализованные преобразования также можно передавать через CLI или файлы конфигурации YAML, в том числе при возобновлении обучения.
  • Замена стандартных преобразований: Пользовательские преобразования полностью заменят стандартные преобразования Albumentations. Другие аугментации YOLO останутся активными.
  • Обработка разметки: Пространственные преобразования, в том числе вложенные в A.OneOf или A.Compose, перемещают ограничивающие рамки, полигоны, ключевые точки, а также карты глубины или семантические маски вместе с изображением. A.RandomGridShuffle не сохраняет топологию полигонов или ключевых точек и вызывает ошибку для примеров сегментации, оценки позы и OBB.
  • Производительность: Некоторые преобразования требуют больших вычислительных ресурсов. Следи за скоростью обучения и при необходимости корректируй настройки.
  • Совместимость с задачами: Пользовательские преобразования Albumentations подходят для обучения моделей детекции, сегментации, семантической сегментации, оценки глубины, оценки позы и OBB, но не для классификации, где используется другой конвейер аугментации.

Примеры использования пользовательских преобразований#

Для разных приложений подходят разные стратегии аугментации:

  • Медицинская визуализация: Используй эластичные деформации, искажения сетки и специализированные шаблоны шума
  • Аэрофотоснимки и спутниковые снимки: Применяй преобразования, имитирующие разные высоты, погодные условия и углы освещения
  • Условия низкой освещённости: Добавляй шум и меняй яркость, чтобы обучать устойчивые модели для сложных условий освещения
  • Промышленный контроль: Добавляй вариации текстур и имитацию дефектов для контроля качества

Полный список доступных преобразований и их параметров смотри в документации Albumentations.

Подробные примеры и рекомендации по использованию пользовательских преобразований Albumentations с YOLO26 смотри в руководстве по аугментации данных YOLO.

Продолжай изучать Albumentations#

Если хочешь узнать больше об Albumentations, ознакомься со следующими материалами: в них приведены подробные инструкции и примеры.

Основные выводы#

В этом руководстве мы рассмотрели основные возможности Albumentations — библиотеки Python для аугментации изображений. Мы рассказали о широком наборе преобразований, оптимизированной производительности и о том, как использовать библиотеку в следующем проекте YOLO26.

Часто задаваемые вопросы#

  • Albumentations интегрируется с YOLO26 и применяется автоматически во время обучения, если пакет установлен. Вот как начать работу:

    # Установка необходимых пакетов
    # !pip install albumentations ultralytics
    from ultralytics import YOLO
    
    # Загрузка и обучение модели с автоматическими аугментациями
    model = YOLO("yolo26n.pt")
    model.train(data="coco8.yaml", epochs=100)

    Интеграция по умолчанию применяет размытие, медианное размытие, преобразование в оттенки серого и CLAHE — каждое с небольшой вероятностью 1%, чтобы время от времени добавлять разнообразие, не оказывая чрезмерного влияния на обучение.

  • Albumentations выделяется по нескольким причинам:

    1. Производительность: построена на OpenCV и NumPy, использует оптимизацию SIMD для высокой скорости
    2. Гибкость: поддерживает более 70 преобразований для аугментации на уровне пикселей, пространственных данных и смешивания
    3. Совместимость: работает с популярными фреймворками, такими как PyTorch и TensorFlow
    4. Надёжность: обширный набор тестов помогает предотвратить незаметное повреждение данных
    5. Простота использования: единый API для всех типов аугментации
  • Albumentations улучшает различные задачи компьютерного зрения, в том числе:

    Разнообразные варианты аугментации делают библиотеку полезной для задач компьютерного зрения, где важна высокая устойчивость модели. В Ultralytics YOLO26 для обучения классификаторов используется собственный конвейер аугментации на основе torchvision, который не применяет преобразования Albumentations.

Комментарии19

Задай вопрос, поделись результатами или помоги кому-нибудь.

  1. anushka-koreGitHub

    Is there a way that we can define more custom albumentations transforms to be applied during model train? If yes, will they also change the bounding box coords accordingly if they are spatial transforms?

    1. manuelescobar5036GitHub

      The albumentations transforms are defined in the ultralytics/data/augment.py file. There you can find the following function that returns the transforms to be applied to the images, which includes the Albumentations transform. image

      Then, in the same file you can find the Albumentations class which defines the pipeline. In this pipeline you can add the new transforms that you want. image

      Bouding boxes are changed accordingly to their spatial transforms. This is done when you pass bbox_params to the Albumentations pipeline. image

    2. Glenn JocherUltralytics(изменено)

      @anushka-kore Yes. Pass your own Albumentations transforms to training with the augmentations argument (Python only):

      import albumentations as A
      from ultralytics import YOLO
      
      model = YOLO("yolo26n.pt")
      model.train(data="coco8.yaml", augmentations=[A.Blur(p=0.01), A.CLAHE(p=0.01)])

      Spatial transforms (rotation, flips, perspective, etc.) are applied together with the bounding boxes, which are updated automatically through Albumentations' bbox handling in YOLO format. Non-spatial transforms like color adjustments only change the image. See the Albumentations integration guide for details.

    3. anushka-koreGitHub

      Hey @glenn-jocher and @deox1994, I later realised that simply defining my list of custom transform in the augment.py file is not working. This is the part I changed in the augment.py file (original ones are commented out)-

              T = [
                  #A.Blur(p=0.01),
                  #A.MedianBlur(p=0.01),
                  #A.ToGray(p=0.01),
                  #A.CLAHE(p=0.01),
                  A.RandomBrightnessContrast(p=0.2),
                  #A.RandomGamma(p=0.0),
                  #A.ImageCompression(quality_range=(75, 100), p=0.0),
                  A.HorizontalFlip(p=0.5),
                  A.VerticalFlip(p=0.5),
                  A.Rotate(limit=30, p=0.5),
                  A.GaussianBlur(p=0.2),
                  A.GaussNoise(p=0.2),
              ]

      For your reference, this is the error I get, you could view the list of albumentation transforms I applied here as well- ..... Transferred 1009/1015 items from pretrained weights Freezing layer 'model.23.dfl.conv.weight' AMP: running Automatic Mixed Precision (AMP) checks... AMP: checks passed ✅ train: Scanning /home/xxx/dataset_MIP_clean/train/labels.cache... 831 images, 73 backgrounds, 0 corrupt: 100%|██████████| 831/831 [00:00<?, ?it/s] albumentations: RandomBrightnessContrast(p=0.2, brightness_by_max=True, brightness_limit=(-0.2, 0.2), contrast_limit=(-0.2, 0.2), ensure_safe_range=False), HorizontalFlip(p=0.5), VerticalFlip(p=0.5), Rotate(p=0.5, border_mode=0, crop_border=False, fill=0.0, fill_mask=0.0, interpolation=1, limit=(-30.0, 30.0), mask_interpolation=0, rotate_method='largest_box'), GaussianBlur(p=0.2, blur_limit=(0, 0), sigma_limit=(0.5, 3.0)), GaussNoise(p=0.2, mean_range=(0.0, 0.0), noise_scale_factor=1.0, per_channel=True, std_range=(0.2, 0.44)) val: Scanning /home/xxx/dataset_MIP_clean/val/labels.cache... 210 images, 13 backgrounds, 0 corrupt: 100%|██████████| 210/210 [00:00<?, ?it/s] Plotting labels to /home/xxx/yolov11_predictions/test4/labels.jpg... optimizer: 'optimizer=auto' found, ignoring 'lr0=0.01' and 'momentum=0.937' and determining best 'optimizer', 'lr0' and 'momentum' automatically... optimizer: AdamW(lr=0.000769, momentum=0.9) with parameter groups 167 weight(decay=0.0), 174 weight(decay=0.0005), 173 bias(decay=0.0) Image sizes 640 train, 640 val Using 8 dataloader workers Logging results to /home/xxx/yolov11_predictions/test4 Starting training for 200 epochs...

        Epoch    GPU_mem   box_loss   cls_loss   dfl_loss  Instances       Size
        1/200      15.4G      5.502      51.38      2.745         17        640:  10%|▉         | 5/52 [00:02<00:22,  2.07it/s]

      Traceback (most recent call last): File "/home/xxx/yolo_train.py", line 149, in train_yolo(output_dir) File "/home/xxx/yolo_train.py", line 116, in train_yolo results = model.train( ^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/ultralytics/engine/model.py", line 791, in train self.trainer.train() File "/home/xxx/env/lib/python3.12/site-packages/ultralytics/engine/trainer.py", line 211, in train self._do_train(world_size) File "/home/xxx/env/lib/python3.12/site-packages/ultralytics/engine/trainer.py", line 366, in _do_train for i, batch in pbar: ^^^^ File "/home/xxx/env/lib/python3.12/site-packages/tqdm/std.py", line 1178, in iter for obj in iterable: ^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/ultralytics/data/build.py", line 59, in iter yield next(self.iterator) ^^^^^^^^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/torch/utils/data/dataloader.py", line 708, in next data = self._next_data() ^^^^^^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/torch/utils/data/dataloader.py", line 1455, in _next_data return self._process_data(data) ^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/torch/utils/data/dataloader.py", line 1505, in _process_data data.reraise() File "/home/xxx/env/lib/python3.12/site-packages/torch/_utils.py", line 733, in reraise raise exception RuntimeError: Caught RuntimeError in DataLoader worker process 5. Original Traceback (most recent call last): File "/home/xxx/env/lib/python3.12/site-packages/torch/utils/data/_utils/worker.py", line 349, in _worker_loop data = fetcher.fetch(index) # type: ignore[possibly-undefined] ^^^^^^^^^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/torch/utils/data/_utils/fetch.py", line 55, in fetch return self.collate_fn(data) ^^^^^^^^^^^^^^^^^^^^^ File "/home/xxx/env/lib/python3.12/site-packages/ultralytics/data/dataset.py", line 298, in collate_fn value = torch.cat(value, 0) ^^^^^^^^^^^^^^^^^^^ RuntimeError: Tensors must have same number of dimensions: got 1 and 2

      All my transforms are correctly defined, and the spatial transforms (horizontalflip, verticalflip and rotate) exist in the spatial_transforms list. Could you please point where this is going wrong?

    4. supriamirGitHub

      Hi Glen,

      I would like to optimize the hyperparameters using model.tune(). My goal is to identify the most important augmentations from Albumentations.

      If I am not mistaken, the default hyperparameter optimization only includes a limited set of augmentation parameters, as described in the following link: https://docs.ultralytics.com/integrations/ray-tune/#tune-method-parameters

      Could you advise how I can include and optimize additional Albumentations transforms beyond the default settings?

    5. Glenn JocherUltralytics

      Yes, but not directly through the default model.tune() search set: custom Albumentations are a Python-only augmentations list passed to model.train(), while the built-in tuner mutates the numeric space, so the usual workflow is to keep one fixed augmentations= pipeline per tuning run and compare the best result across several candidate pipelines; if you want to search the pipeline itself, use a small custom Ray Tune wrapper around model.train() instead, and keep the standard YOLO augmentations fixed so you isolate the Albumentations effect—see the hyperparameter tuning guide and the Albumentations integration guide.

  2. UltralyticsAssistantGitHubUltralytics

    👋 Hello, thank you for your interest in Ultralytics 🚀! We recommend visiting the Docs for guidance—there you’ll find many Python and CLI usage examples, and answers to many common questions.

    If this is a 🐛 Bug Report, please provide a minimum reproducible example to help us investigate.

    If you have a custom training ❓ Question, please share as much relevant information as possible, including dataset image examples and training logs. Also, make sure to review our Tips for Best Training Results.

    You’re welcome to join the Ultralytics community where it fits you best:

    • For real-time chat, join us on Discord 🎧
    • For in-depth discussions, visit Discourse
    • For community sharing, check out our Subreddit

    Upgrade

    Upgrade to the latest ultralytics package and all requirements in a Python>=3.8 environment with PyTorch>=1.8 to ensure you’re on the latest version:

    pip install -U ultralytics

    Environments

    YOLO can be run in any of the following up-to-date verified environments (with all dependencies like CUDA/CUDNN, Python, and PyTorch preinstalled):

    Status

    Ultralytics CI

    If this badge is green, all Ultralytics CI tests are currently passing. These tests confirm correct operation of all YOLO Modes and Tasks on macOS, Windows, and Ubuntu every 24 hours and on every commit.

    This is an automated response 🤖. An Ultralytics engineer will assist you here soon!

    1. Glenn JocherUltralytics

      欢迎来到 Ultralytics 中文文档的 Albumentations 集成讨论区!如果您对使用 Albumentations 来增强 YOLO11 训练数据有任何问题或想法,请在这里提出。

      Albumentations 与 YOLO11 的集成非常简便,只需安装 albumentations 包,就会在训练过程中自动应用多种图像增强技术,如模糊、中值模糊、灰度转换和 CLAHE,帮助您的模型更好地适应各种真实场景。

      您是否在特定项目中使用过 Albumentations?或者您对如何最佳配置这些增强技术有疑问?请随时在这里分享您的经验或提出问题,Ultralytics 团队将很乐意提供帮助!

  3. UltralyticsAssistantGitHubUltralytics

    👋 Hello, thank you for your interest in Ultralytics 🚀! We recommend visiting the Docs for guidance on integrations like Albumentations with YOLO11. You can also review many Python and CLI examples, and frequently asked questions may already be addressed there.

    If this is a 🐛 Bug Report, please include a minimum reproducible example to help us investigate further.

    If you have a custom training ❓ Question, please provide detailed info such as dataset image samples, training logs, and confirm you are following our Tips for Best Training Results.

    Join the Ultralytics community wherever you prefer—real-time chat on Discord 🎧, in-depth discussions on Discourse, or knowledge-sharing on our Subreddit.

    Upgrade

    Upgrade to the latest ultralytics package and all requirements in a Python>=3.8 environment with PyTorch>=1.8 to ensure your issue is not already fixed in the latest version:

    pip install -U ultralytics

    Environments

    YOLO may be run in any of the following verified and up-to-date environments (with all dependencies including CUDA/CUDNN, Python and PyTorch preinstalled):

    Status

    Ultralytics CI

    If this badge is green, all Ultralytics CI tests are currently passing. These tests verify correct operation of all YOLO Modes and Tasks on macOS, Windows, and Ubuntu every 24 hours and on every commit.

    This is an automated response. An Ultralytics engineer will review and assist you soon!

    1. Glenn JocherUltralytics

      Bonjour! N'hésitez pas à poser vos questions sur l'intégration d'Albumentations avec YOLO11 dans cette discussion. Cette intégration vous permet d'améliorer automatiquement votre jeu de données pendant l'entraînement avec diverses transformations comme le flou, le flou médian, la conversion en niveaux de gris et CLAHE.

      L'avantage principal est sa simplicité d'utilisation - il suffit d'installer les packages requis et les augmentations sont appliquées automatiquement pendant l'entraînement:

      pip install albumentations ultralytics

      Si vous rencontrez des difficultés avec cette intégration ou si vous avez des questions sur l'augmentation de données pour améliorer les performances de vos modèles YOLO11, n'hésitez pas à les partager ici!

  4. manuelescobar5036GitHub(изменено)

    Dear Ultralytics team,

    I’m working on a project focused on detecting the behavior of workers in underground mines. The classes and the number of labels per class in the training set are as follows:

    • Sitting → 2500
    • Standing → 9000
    • Operation → 700
    • Lean Against → 4000
    • Tumble → 400

    Since the dataset is imbalanced, I would like to apply data augmentation to avoid overfitting and improve accuracy. While researching YOLO's data augmentation capabilities, a few questions came up:

    1. As far as I understand, YOLO currently supports two methods for performing data augmentation:
    • Modifying individual hyperparameters such as hsv_h, hsv_s, hsv_v, degrees, translate, etc., in the ultralytics/cfg/default.yaml file (does not require the Albumentations Python Library).
    • Using the Albumentations Python Library (previously installed).

    Is this correct? If so, what are the differences between the two methods, and which one is currently recommended?

    1. Considering both options from question 1, does YOLO apply data augmentation only to images from the classes with less labels, or to images from all classes? I ask because if I have an imbalanced dataset and YOLO applies data augmentation to images from all classes, the imbalance would remain, wouldn’t it?

    2. If I choose to use an older YOLO model, such as yolov8n.yaml, and I have Albumentations installed, will Albumentations-based data augmentation be applied during training?

    3. What other suggestions would you recommend for dealing with imbalanced classes?

    1. Glenn JocherUltralytics

      @deox1994 Thanks for your detailed questions about data augmentation in YOLO for handling your imbalanced mining worker dataset. Let me address each point:

      1. Yes, you're correct about the two augmentation approaches:
        • Built-in YOLO augmentations (hsv_h, translate, scale, etc.) which are always available
        • Albumentations integration which activates automatically when the library is installed

      The key difference is that built-in augmentations focus primarily on geometric and color transformations, while Albumentations adds more specialized transformations like blur, grayscale, and CLAHE with carefully tuned probabilities (typically 0.01 as shown in the reference code). Both work together complementarily rather than being exclusive options.

      1. Both augmentation methods apply to all images regardless of class. To address your imbalance specifically, consider:

        • Using a weighted loss function
        • Implementing class-aware sampling during training
        • Creating custom data pipeline that applies additional augmentations to underrepresented classes
      2. Yes, if Albumentations is installed, it will be automatically applied when training YOLOv8 models too. The integration is part of the Ultralytics framework, not specific to YOLO11.

      3. For handling imbalanced classes beyond augmentation:

        • Apply weighted loss based on inverse class frequency
        • Use focal loss which naturally handles class imbalance better
        • Consider different evaluation metrics (precision/recall per class rather than just mAP)
        • Experiment with undersampling majority classes or oversampling minority classes

      You can find implementation details for these approaches in the data augment reference documentation.

    2. safwene-bahrounGitHub

      Good morning ,@glenn-jocher, do you can help me ?

      { "total_images": 39152, "total_detections": 70910, "instances_per_class": { "Dress": 52999, "Skirt": 1259, "Handbag": 2495, "High heels": 3124, "Swimwear": 10079, "Miniskirt": 954 } } i will train this with yolo11n.pt and with albumentation the code : from ultralytics import YOLO import torch

      def main(): # Load a pretrained YOLO model model = YOLO("yolo11n.pt") # Set device device = "cuda" if torch.cuda.is_available() else "cpu" print(f"Using device: {device}")

      if device == "cuda":
          print(f"GPU name: {torch.cuda.get_device_name(0)}")
      
      # Debug: Print dataset configuration
      print("Training with dataset: OpenImagesV7-women.yaml")
      
      # Train the model with enhanced hyperparameters
      results = model.train(
      data="OpenImagesV7-woman.yaml",
      epochs=150,
      imgsz=640,
      device=device,
      batch=16,
      optimizer ="auto"

      )

      Dataset configuration

      path: ../datasets/open-images-v7 train: c:\Users\GIGABYTE\datasets\open-images-v7\train val: C:/Users/GIGABYTE/datasets/open-images-v7/val

      nc: 6 names: 0: Dress 1: High heels 2: Miniskirt 3: Skirt 4: Swimwear 5: Handbag

      Hyperparameters for extreme imbalance

      loss: cls_weight: [0.3, 0.5, 7.0, 5.0, 0.4, 0.6] # Calculated weights below box: 0.05 obj: 1.0 label_smoothing: 0.1

      Strategic augmentation

      augment:

      For rare classes (Miniskirt, Skirt)

      copy_paste: 0.7 # High frequency for rare classes paste_classes: [2, 3] # Only Miniskirt(class2)/Skirt(class3) paste_scale: [0.3, 0.7] # Realistic resizing of pasted objects

      General augmentations (applied to all)

      mosaic: 1.0 # Helps context learning mixup: 0.05 # Reduced to avoid label confusion fliplr: 0.5 hsv_h: 0.015 # Mild color variation degrees: 5.0 # Small rotation for fashion items

      Training parameters

      batch: 16 # Match GPU capacity accumulate: 4 # Simulates batch=64 epochs: 150 # Longer training for rare classes patience: 50 # Early stopping if no improveme

      but i trained untill now :
      Epoch GPU_mem box_loss cls_loss dfl_loss Instances Size 104/150 2.92G 1.026 0.9478 1.206 55 640: 100%|██████████| 2447/2447 [07:51<00:00, Class Images Instances Box(P R mAP50 mAP50-95): 100%|██████████| 32/32 [00:06 all 1016 1987 0.581 0.525 0.536 0.423

      Can you help me please to reach all metrics above 0.8

      THANKS

  5. hillsonghimireGitHub

    Even when I turned off augment=False, albumentation-related operations were still performed in yolo11. How to completely turn it off/disable?

    1. Glenn JocherUltralytics

      @hillsonghimire to completely disable Albumentations augmentations in YOLO11, uninstall the Albumentations package since its presence automatically enables the integration. Run pip uninstall albumentations and verify it's removed from your environment. This will prevent any Albumentations transformations from being applied regardless of other settings. For more details, see the Albumentations integration guide.

  6. DP1701GitHub

    Thanks for this explanation. But if I understand correctly, not all functions of Albuminations are directly supported, or am I misunderstanding?

    The explanation says: The integration includes optimized augmentations like blur, median blur, grayscale conversion, and CLAHE with carefully tuned probabilities to enhance model performance.

    So only blur, median blur, grayscale conversion and CLAHE are applied and the others cannot be individually selected and adjusted?

    1. Glenn JocherUltralytics(изменено)

      The integration with Albumentations in YOLO11 automatically applies specific augmentations like blur, median blur, grayscale conversion, and CLAHE. While these are the default transformations used to enhance model performance, you can pass your own Albumentations transforms to model.train() with the augmentations argument (Python only).