Saltar al contenido

Conjunto de datos COCO-Seg

El conjunto de datos COCO-Seg, una ampliaci贸n del conjunto de datos COCO (Objetos Comunes en Contexto), est谩 especialmente dise帽ado para ayudar a la investigaci贸n en la segmentaci贸n de instancias de objetos. Utiliza las mismas im谩genes que COCO, pero introduce anotaciones de segmentaci贸n m谩s detalladas. Este conjunto de datos es un recurso crucial para los investigadores y desarrolladores que trabajan en tareas de segmentaci贸n de instancias, especialmente para entrenar modelos YOLO .

Modelos preentrenados COCO-Seg

Modelo tama帽o
(p铆xeles)
mAPbox
50-95
mAPmask
50-95
Velocidad
CPU ONNX
(ms)
Velocidad
A100 TensorRT
(ms)
par谩metros
(M)
FLOPs
(B)
YOLOv8n-seg 640 36.7 30.5 96.1 1.21 3.4 12.6
YOLOv8s-seg 640 44.6 36.8 155.7 1.47 11.8 42.6
YOLOv8m-seg 640 49.9 40.8 317.0 2.18 27.3 110.2
YOLOv8l-seg 640 52.3 42.6 572.4 2.79 46.0 220.5
YOLOv8x-seg 640 53.4 43.4 712.1 4.02 71.8 344.1

Caracter铆sticas principales

  • COCO-Seg conserva las 330.000 im谩genes originales de COCO.
  • El conjunto de datos consta de las mismas 80 categor铆as de objetos que el conjunto de datos COCO original.
  • Las anotaciones incluyen ahora m谩scaras de segmentaci贸n de instancias m谩s detalladas para cada objeto de las im谩genes.
  • COCO-Seg proporciona m茅tricas de evaluaci贸n estandarizadas, como la Precisi贸n Media Media (mAP) para la detecci贸n de objetos, y la Recuperaci贸n Media (mAR) para las tareas de segmentaci贸n de instancias, lo que permite comparar eficazmente el rendimiento de los modelos.

Estructura del conjunto de datos

El conjunto de datos COCO-Seg se divide en tres subconjuntos:

  1. Entrenar2017: Este subconjunto contiene 118K im谩genes para entrenar modelos de segmentaci贸n de instancias.
  2. Val2017: Este subconjunto incluye 5K im谩genes utilizadas con fines de validaci贸n durante el entrenamiento del modelo.
  3. Prueba2017: Este subconjunto abarca 20.000 im谩genes utilizadas para probar y evaluar comparativamente los modelos entrenados. Las anotaciones de la verdad sobre el terreno para este subconjunto no est谩n disponibles p煤blicamente, y los resultados se env铆an al servidor de evaluaci贸n COCO para evaluar el rendimiento.

Aplicaciones

COCO-Seg se utiliza ampliamente para entrenar y evaluar modelos de aprendizaje profundo en segmentaci贸n de instancias, como los modelos YOLO . El gran n煤mero de im谩genes anotadas, la diversidad de categor铆as de objetos y las m茅tricas de evaluaci贸n estandarizadas lo convierten en un recurso indispensable para los investigadores y profesionales de la visi贸n por ordenador.

Conjunto de datos YAML

Se utiliza un archivo YAML (Yet Another Markup Language) para definir la configuraci贸n del conjunto de datos. Contiene informaci贸n sobre las rutas del conjunto de datos, las clases y otra informaci贸n relevante. En el caso del conjunto de datos COCO-Seg, el archivo coco.yaml se mantiene en https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/coco.yaml.

ultralytics/cfg/datasets/coco.yaml

# Ultralytics YOLO 馃殌, AGPL-3.0 license
# COCO 2017 dataset https://cocodataset.org by Microsoft
# Documentation: https://docs.ultralytics.com/datasets/detect/coco/
# Example usage: yolo train data=coco.yaml
# parent
# 鈹溾攢鈹 ultralytics
# 鈹斺攢鈹 datasets
#     鈹斺攢鈹 coco  鈫 downloads here (20.1 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/coco # dataset root dir
train: train2017.txt # train images (relative to 'path') 118287 images
val: val2017.txt # val images (relative to 'path') 5000 images
test: test-dev2017.txt # 20288 of 40670 images, submit to https://competitions.codalab.org/competitions/20794

# Classes
names:
  0: person
  1: bicycle
  2: car
  3: motorcycle
  4: airplane
  5: bus
  6: train
  7: truck
  8: boat
  9: traffic light
  10: fire hydrant
  11: stop sign
  12: parking meter
  13: bench
  14: bird
  15: cat
  16: dog
  17: horse
  18: sheep
  19: cow
  20: elephant
  21: bear
  22: zebra
  23: giraffe
  24: backpack
  25: umbrella
  26: handbag
  27: tie
  28: suitcase
  29: frisbee
  30: skis
  31: snowboard
  32: sports ball
  33: kite
  34: baseball bat
  35: baseball glove
  36: skateboard
  37: surfboard
  38: tennis racket
  39: bottle
  40: wine glass
  41: cup
  42: fork
  43: knife
  44: spoon
  45: bowl
  46: banana
  47: apple
  48: sandwich
  49: orange
  50: broccoli
  51: carrot
  52: hot dog
  53: pizza
  54: donut
  55: cake
  56: chair
  57: couch
  58: potted plant
  59: bed
  60: dining table
  61: toilet
  62: tv
  63: laptop
  64: mouse
  65: remote
  66: keyboard
  67: cell phone
  68: microwave
  69: oven
  70: toaster
  71: sink
  72: refrigerator
  73: book
  74: clock
  75: vase
  76: scissors
  77: teddy bear
  78: hair drier
  79: toothbrush

# Download script/URL (optional)
download: |
  from ultralytics.utils.downloads import download
  from pathlib import Path

  # Download labels
  segments = True  # segment or box labels
  dir = Path(yaml['path'])  # dataset root dir
  url = 'https://github.com/ultralytics/yolov5/releases/download/v1.0/'
  urls = [url + ('coco2017labels-segments.zip' if segments else 'coco2017labels.zip')]  # labels
  download(urls, dir=dir.parent)
  # Download data
  urls = ['http://images.cocodataset.org/zips/train2017.zip',  # 19G, 118k images
          'http://images.cocodataset.org/zips/val2017.zip',  # 1G, 5k images
          'http://images.cocodataset.org/zips/test2017.zip']  # 7G, 41k images (optional)
  download(urls, dir=dir / 'images', threads=3)

Utilizaci贸n

Para entrenar un modelo YOLOv8n-seg en el conjunto de datos COCO-Seg durante 100 茅pocas con un tama帽o de imagen de 640, puedes utilizar los siguientes fragmentos de c贸digo. Para obtener una lista completa de los argumentos disponibles, consulta la p谩gina Entrenamiento del modelo.

Ejemplo de tren

from ultralytics import YOLO

# Load a model
model = YOLO("yolov8n-seg.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="coco-seg.yaml", epochs=100, imgsz=640)
# Start training from a pretrained *.pt model
yolo detect train data=coco-seg.yaml model=yolov8n.pt epochs=100 imgsz=640

Ejemplos de im谩genes y anotaciones

COCO-Seg, al igual que su predecesor COCO, contiene un conjunto diverso de im谩genes con varias categor铆as de objetos y escenas complejas. Sin embargo, COCO-Seg introduce m谩scaras de segmentaci贸n de instancias m谩s detalladas para cada objeto de las im谩genes. Aqu铆 tienes algunos ejemplos de im谩genes del conjunto de datos, junto con sus correspondientes m谩scaras de segmentaci贸n de instancias:

Imagen de muestra del conjunto de datos

  • Imagen en mosaico: Esta imagen muestra un lote de entrenamiento compuesto por im谩genes del conjunto de datos en mosaico. El mosaico es una t茅cnica utilizada durante el entrenamiento que combina varias im谩genes en una sola para aumentar la variedad de objetos y escenas dentro de cada lote de entrenamiento. Esto ayuda a la capacidad del modelo para generalizarse a diferentes tama帽os de objetos, relaciones de aspecto y contextos.

El ejemplo muestra la variedad y complejidad de las im谩genes del conjunto de datos COCO-Seg y las ventajas de utilizar mosaicos durante el proceso de entrenamiento.

Citas y agradecimientos

Si utilizas el conjunto de datos COCO-Seg en tu trabajo de investigaci贸n o desarrollo, cita el documento original de COCO y reconoce la ampliaci贸n a COCO-Seg:

@misc{lin2015microsoft,
      title={Microsoft COCO: Common Objects in Context},
      author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr Doll谩r},
      year={2015},
      eprint={1405.0312},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Extendemos nuestro agradecimiento al Consorcio COCO por crear y mantener este recurso inestimable para la comunidad de visi贸n por ordenador. Para m谩s informaci贸n sobre el conjunto de datos COCO y sus creadores, visita el sitio web del conjunto de datos COCO.



Creado 2023-11-12, Actualizado 2024-05-18
Autores: glenn-jocher (5), RizwanMunawar (1), Laughing-q (1)

Comentarios