Ultralytics YOLO27:

Датасет COCO-Seg#

Датасет COCO-Seg предоставляет маски сегментации экземпляров COCO (Объекты в контексте) — 118 287 обучающих и 5 000 валидационных изображений с полигональными масками для 80 категорий объектов — в формате разметки Ultralytics YOLO. В нём используются оригинальные изображения COCO и исходные аннотации сегментации, преобразованные для обучения YOLO, что делает этот датасет важным ресурсом для исследователей и разработчиков, работающих над задачами сегментации экземпляров.

Предобученные модели COCO-Seg#

Модельразмер
(пиксели)
mAPbox
50-95(e2e)
mAPmask
50-95(e2e)
Скорость
CPU ONNX
(мс)
Скорость
T4 TensorRT10
(мс)
параметры
(M)
FLOPs
(B)
YOLO26n-seg64039.633.953.3 ± 0.52.1 ± 0.02.79.3
YOLO26s-seg64047.340.0118.4 ± 0.93.3 ± 0.010.434.5
YOLO26m-seg64052.544.1328.2 ± 2.46.7 ± 0.123.6121.7
YOLO26l-seg64054.445.5387.0 ± 3.78.0 ± 0.128.0140.1
YOLO26x-seg64056.547.0787.0 ± 6.816.4 ± 0.162.8314.0

Ключевые особенности#

  • COCO-Seg предоставляет маски сегментации экземпляров для 123 287 размеченных изображений COCO train2017/val2017 (118 287 train + 5 000 val) из более широкого выпуска COCO, включающего ~330 тыс. изображений.
  • Датасет состоит из тех же 80 категорий объектов, что и оригинальный датасет COCO.
  • Аннотации содержат маски сегментации экземпляров в формате полигональной разметки YOLO.
  • COCO-Seg предоставляет стандартизированные метрики mAP и mAR для оценки качества сегментации экземпляров, обеспечивая эффективное сравнение производительности моделей.
  • Размер загрузки: ~20,3 ГБ при первом использовании (train2017.zip + val2017.zip + labels). Файл test2017.zip размером 7 ГБ не загружается автоматически, поскольку для этих изображений эталонная разметка скрыта и они нужны только для отправки результатов test-dev2017.

Структура датасета#

Датасет COCO-Seg разделён на три подмножества:

  1. Train2017: 118 287 изображений для обучения моделей сегментации экземпляров.
  2. Val2017: 5 000 изображений, используемых для валидации в процессе разработки модели.
  3. Test-dev2017: 20 288 из 40 670 изображений test2017, используемых для сравнительного тестирования. Эталонные аннотации для этого подмножества недоступны публично, поэтому для оценки предсказания необходимо отправить на сервер оценки COCO.

Для экспериментов на небольших объёмах смотри подмножества COCO128-Seg (128 изображений) и COCO8-Seg (8 изображений).

Применения#

COCO-Seg широко используется для обучения и оценки моделей глубокого обучения в задачах сегментации экземпляров, например моделей YOLO. Большое количество размеченных изображений, разнообразие категорий объектов и стандартизированные метрики оценки делают этот датасет незаменимым ресурсом для исследователей и практиков в области компьютерного зрения. Полные аннотации COCO-Seg также можно просматривать и редактировать на платформе Ultralytics.

YAML датасета#

Для определения конфигурации датасета используется YAML-файл. Он содержит информацию о путях к датасету, классах и другие необходимые сведения. Для датасета COCO-Seg файл coco.yaml поддерживается по адресу https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/coco.yaml.

ultralytics/cfg/datasets/coco.yaml
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# COCO 2017 dataset https://cocodataset.org by Microsoft
# Documentation: https://docs.ultralytics.com/datasets/detect/coco
# Example usage: yolo train data=coco.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── coco ← downloads here (20.3 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: coco # dataset root dir
train: train2017.txt # train images (relative to 'path') 118287 images
val: val2017.txt # val images (relative to 'path') 5000 images
test: test-dev2017.txt # 20288 of 40670 images, submit via https://cocodataset.org/#detection-eval

# Classes
names:
  0: person
  1: bicycle
  2: car
  3: motorcycle
  4: airplane
  5: bus
  6: train
  7: truck
  8: boat
  9: traffic light
  10: fire hydrant
  11: stop sign
  12: parking meter
  13: bench
  14: bird
  15: cat
  16: dog
  17: horse
  18: sheep
  19: cow
  20: elephant
  21: bear
  22: zebra
  23: giraffe
  24: backpack
  25: umbrella
  26: handbag
  27: tie
  28: suitcase
  29: frisbee
  30: skis
  31: snowboard
  32: sports ball
  33: kite
  34: baseball bat
  35: baseball glove
  36: skateboard
  37: surfboard
  38: tennis racket
  39: bottle
  40: wine glass
  41: cup
  42: fork
  43: knife
  44: spoon
  45: bowl
  46: banana
  47: apple
  48: sandwich
  49: orange
  50: broccoli
  51: carrot
  52: hot dog
  53: pizza
  54: donut
  55: cake
  56: chair
  57: couch
  58: potted plant
  59: bed
  60: dining table
  61: toilet
  62: tv
  63: laptop
  64: mouse
  65: remote
  66: keyboard
  67: cell phone
  68: microwave
  69: oven
  70: toaster
  71: sink
  72: refrigerator
  73: book
  74: clock
  75: vase
  76: scissors
  77: teddy bear
  78: hair drier
  79: toothbrush

# Download script/URL (optional)
download: |
  from pathlib import Path

  from ultralytics.utils import ASSETS_URL
  from ultralytics.utils.downloads import download

  # Download labels
  segments = True  # segment or box labels
  dir = Path(yaml["path"])  # dataset root dir
  urls = [ASSETS_URL + ("/coco2017labels-segments.zip" if segments else "/coco2017labels.zip")]  # labels
  download(urls, dir=dir.parent)

  # Download data (test2017.zip excluded: ground truth is withheld, only used for the eval-server test-dev split)
  urls = [
      "http://images.cocodataset.org/zips/train2017.zip",  # 19G, 118k images
      "http://images.cocodataset.org/zips/val2017.zip",  # 1G, 5k images
  ]
  download(urls, dir=dir / "images", threads=3)

Использование#

Чтобы обучить модель YOLO26n-seg на датасете COCO-Seg в течение 100 эпох с размером изображения 640, можно использовать следующие фрагменты кода. Полный список доступных аргументов смотри на странице обучения модели.

Пример обучения
from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-seg.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="coco.yaml", epochs=100, imgsz=640)

Примеры изображений и аннотаций#

COCO-Seg содержит такие же разнообразные изображения, категории объектов и сложные сцены, как COCO, а маски сегментации экземпляров представлены в формате разметки YOLO. Ниже приведены примеры изображений из датасета и соответствующих им масок сегментации экземпляров:

Мозаика обучающего батча датасета сегментации COCO

  • Изображение с мозаичной аугментацией: это изображение демонстрирует обучающий батч, составленный из изображений датасета, объединённых методом мозаики. Мозаичная аугментация — это используемый во время обучения метод, который объединяет несколько изображений в одно, чтобы увеличить разнообразие объектов и сцен в каждом обучающем батче. Это помогает модели обобщать данные на объекты разных размеров, с разными соотношениями сторон и в разных контекстах.

Цитирование и благодарности#

Если ты используешь датасет COCO-Seg в исследовательской или разработческой работе, укажи оригинальную статью о COCO и отметь расширение до COCO-Seg:

Цитата
@misc{lin2015microsoft,
      title={Microsoft COCO: Common Objects in Context},
      author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr Dollár},
      year={2015},
      eprint={1405.0312},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Мы выражаем благодарность Консорциуму COCO за создание и поддержку этого бесценного ресурса для сообщества компьютерного зрения. Подробнее о датасете COCO и его создателях смотри на сайте датасета COCO.

Часто задаваемые вопросы#

  • COCO-Seg — это упаковка исходных масок сегментации экземпляров COCO в формате Ultralytics YOLO для тех же 118 287 изображений train2017 и 5 000 изображений val2017. Оригинальные аннотации COCO уже содержат эти полигональные маски для всех 80 категорий объектов; COCO-Seg преобразует их в формат разметки YOLO, используемый для обучения сегментации экземпляров объектов.

  • Чтобы обучить модель YOLO26n-seg на датасете COCO-Seg в течение 100 эпох с размером изображения 640, можно использовать следующие фрагменты кода. Подробный список доступных аргументов обучения смотри на странице обучения модели.

    Пример обучения
    from ultralytics import YOLO
    
    # Load a model
    model = YOLO("yolo26n-seg.pt")  # load a pretrained model (recommended for training)
    
    # Train the model
    results = model.train(data="coco.yaml", epochs=100, imgsz=640)
  • Датасет COCO-Seg включает несколько ключевых особенностей:

    • Предоставляет маски сегментации экземпляров для 123 287 размеченных изображений COCO train2017/val2017 (118 287 train + 5 000 val).
    • Содержит разметку тех же 80 категорий объектов, что и оригинальный COCO.
    • Предоставляет маски сегментации экземпляров в формате полигональной разметки YOLO.
    • Использует стандартизированные метрики оценки, такие как средняя Average точность (mAP) и средняя Average полнота (mAR), для задач сегментации экземпляров.
  • Датасет COCO-Seg поддерживает несколько предобученных моделей сегментации YOLO26 с различными показателями производительности. Ниже приведён обзор доступных моделей и их ключевых метрик:

    Модельразмер
    (пиксели)
    mAPbox
    50-95(e2e)
    mAPmask
    50-95(e2e)
    Скорость
    CPU ONNX
    (мс)
    Скорость
    T4 TensorRT10
    (мс)
    параметры
    (M)
    FLOPs
    (B)
    YOLO26n-seg64039.633.953.3 ± 0.52.1 ± 0.02.79.3
    YOLO26s-seg64047.340.0118.4 ± 0.93.3 ± 0.010.434.5
    YOLO26m-seg64052.544.1328.2 ± 2.46.7 ± 0.123.6121.7
    YOLO26l-seg64054.445.5387.0 ± 3.78.0 ± 0.128.0140.1
    YOLO26x-seg64056.547.0787.0 ± 6.816.4 ± 0.162.8314.0

    Эти модели варьируются от лёгкой YOLO26n-seg до более мощной YOLO26x-seg, предлагая различные компромиссы между скоростью и точностью для удовлетворения разных требований приложений. Подробнее о выборе модели смотри на странице моделей Ultralytics.

  • Датасет COCO-Seg разделён на три подмножества для конкретных задач обучения и оценки:

    1. Train2017: содержит 118 287 изображений, используемых главным образом для обучения моделей сегментации экземпляров.
    2. Val2017: включает 5 000 изображений, используемых для валидации в процессе обучения.
    3. Test-dev2017: включает 20 288 из 40 670 изображений test2017, предназначенных для тестирования и сравнительного анализа обученных моделей. Обрати внимание, что эталонные аннотации для этого подмножества недоступны публично, а результаты передаются на сервер оценки COCO.

    Для экспериментов на небольших объёмах можно также использовать датасет COCO128-Seg (128 изображений) или датасет COCO8-Seg — компактную версию, содержащую всего 8 изображений из набора COCO train 2017.

Комментарии