Conjunto de datos COCO-Seg
El conjunto de datos COCO-Seg, una extensión del conjunto de datos COCO (Objetos Comunes en Contexto), está especialmente diseñado para ayudar a la investigación en la segmentación de instancias de objetos. Utiliza las mismas imágenes que COCO pero introduce anotaciones de segmentación más detalladas. Este conjunto de datos es un recurso crucial para los investigadores y desarrolladores que trabajan en tareas de segmentación de instancias, especialmente para entrenar modelos Ultralytics YOLO.
Modelos preentrenados COCO-Seg
Modelo | tamaño (píxeles) |
mAPbox 50-95 |
mAPmask 50-95 |
Velocidad CPU ONNX (ms) |
Velocidad T4 TensorRT10 (ms) |
parámetros (M) |
FLOPs (B) |
---|---|---|---|---|---|---|---|
YOLO11n-seg | 640 | 38.9 | 32.0 | 65.9 ± 1.1 | 1.8 ± 0.0 | 2.9 | 10.4 |
YOLO11s-seg | 640 | 46.6 | 37.8 | 117.6 ± 4.9 | 2.9 ± 0.0 | 10.1 | 35.5 |
YOLO11m-seg | 640 | 51.5 | 41.5 | 281.6 ± 1.2 | 6.3 ± 0.1 | 22.4 | 123.3 |
YOLO11l-seg | 640 | 53.4 | 42.9 | 344.2 ± 3.2 | 7.8 ± 0.2 | 27.6 | 142.2 |
YOLO11x-seg | 640 | 54.7 | 43.8 | 664.5 ± 3.2 | 15.8 ± 0.7 | 62.1 | 319.0 |
Características clave
- COCO-Seg conserva las 330.000 imágenes originales de COCO.
- El conjunto de datos consta de las mismas 80 categorías de objetos que se encuentran en el conjunto de datos COCO original.
- Las anotaciones ahora incluyen máscaras de segmentación de instancias más detalladas para cada objeto en las imágenes.
- COCO-Seg proporciona métricas de evaluación estandarizadas como la precisión media promedio (mAP) para la detección de objetos, y la recuperación media promedio (mAR) para tareas de segmentación de instancias, lo que permite una comparación eficaz del rendimiento del modelo.
Estructura del conjunto de datos
El conjunto de datos COCO-Seg se divide en tres subconjuntos:
- Train2017: Este subconjunto contiene 118K imágenes para entrenar modelos de segmentación de instancias.
- Val2017: Este subconjunto incluye 5000 imágenes utilizadas para fines de validación durante el entrenamiento del modelo.
- Test2017: Este subconjunto abarca 20.000 imágenes utilizadas para probar y evaluar los modelos entrenados. Las anotaciones ground truth para este subconjunto no están disponibles públicamente, y los resultados se envían al servidor de evaluación COCO para la evaluación del rendimiento.
Aplicaciones
COCO-Seg se utiliza ampliamente para entrenar y evaluar modelos de aprendizaje profundo en la segmentación de instancias, como los modelos YOLO. El gran número de imágenes anotadas, la diversidad de categorías de objetos y las métricas de evaluación estandarizadas lo convierten en un recurso indispensable para los investigadores y profesionales de la visión artificial.
YAML del conjunto de datos
Se utiliza un archivo YAML (Yet Another Markup Language) para definir la configuración del conjunto de datos. Contiene información sobre las rutas, las clases y otra información relevante del conjunto de datos. En el caso del conjunto de datos COCO-Seg, el coco.yaml
archivo se mantiene en https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/coco.yaml.
ultralytics/cfg/datasets/coco.yaml
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license
# COCO 2017 dataset https://cocodataset.org by Microsoft
# Documentation: https://docs.ultralytics.com/datasets/detect/coco/
# Example usage: yolo train data=coco.yaml
# parent
# ├── ultralytics
# └── datasets
# └── coco ← downloads here (20.1 GB)
# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: coco # dataset root dir
train: train2017.txt # train images (relative to 'path') 118287 images
val: val2017.txt # val images (relative to 'path') 5000 images
test: test-dev2017.txt # 20288 of 40670 images, submit to https://competitions.codalab.org/competitions/20794
# Classes
names:
0: person
1: bicycle
2: car
3: motorcycle
4: airplane
5: bus
6: train
7: truck
8: boat
9: traffic light
10: fire hydrant
11: stop sign
12: parking meter
13: bench
14: bird
15: cat
16: dog
17: horse
18: sheep
19: cow
20: elephant
21: bear
22: zebra
23: giraffe
24: backpack
25: umbrella
26: handbag
27: tie
28: suitcase
29: frisbee
30: skis
31: snowboard
32: sports ball
33: kite
34: baseball bat
35: baseball glove
36: skateboard
37: surfboard
38: tennis racket
39: bottle
40: wine glass
41: cup
42: fork
43: knife
44: spoon
45: bowl
46: banana
47: apple
48: sandwich
49: orange
50: broccoli
51: carrot
52: hot dog
53: pizza
54: donut
55: cake
56: chair
57: couch
58: potted plant
59: bed
60: dining table
61: toilet
62: tv
63: laptop
64: mouse
65: remote
66: keyboard
67: cell phone
68: microwave
69: oven
70: toaster
71: sink
72: refrigerator
73: book
74: clock
75: vase
76: scissors
77: teddy bear
78: hair drier
79: toothbrush
# Download script/URL (optional)
download: |
from pathlib import Path
from ultralytics.utils.downloads import download
# Download labels
segments = True # segment or box labels
dir = Path(yaml["path"]) # dataset root dir
url = "https://github.com/ultralytics/assets/releases/download/v0.0.0/"
urls = [url + ("coco2017labels-segments.zip" if segments else "coco2017labels.zip")] # labels
download(urls, dir=dir.parent)
# Download data
urls = [
"http://images.cocodataset.org/zips/train2017.zip", # 19G, 118k images
"http://images.cocodataset.org/zips/val2017.zip", # 1G, 5k images
"http://images.cocodataset.org/zips/test2017.zip", # 7G, 41k images (optional)
]
download(urls, dir=dir / "images", threads=3)
Uso
Para entrenar un modelo YOLO11n-seg en el conjunto de datos COCO-Seg durante 100 épocas con un tamaño de imagen de 640, puede utilizar los siguientes fragmentos de código. Para obtener una lista completa de los argumentos disponibles, consulte la página de Entrenamiento del modelo.
Ejemplo de entrenamiento
from ultralytics import YOLO
# Load a model
model = YOLO("yolo11n-seg.pt") # load a pretrained model (recommended for training)
# Train the model
results = model.train(data="coco.yaml", epochs=100, imgsz=640)
# Start training from a pretrained *.pt model
yolo segment train data=coco.yaml model=yolo11n-seg.pt epochs=100 imgsz=640
sample_images y anotaciones
COCO-Seg, al igual que su predecesor COCO, contiene un conjunto diverso de imágenes con varias categorías de objetos y escenas complejas. Sin embargo, COCO-Seg introduce máscaras de segmentación de instancias más detalladas para cada objeto en las imágenes. Aquí hay algunos ejemplos de imágenes del conjunto de datos, junto con sus correspondientes máscaras de segmentación de instancias:
- Imagen en mosaico: Esta imagen muestra un lote de entrenamiento compuesto por imágenes de conjuntos de datos en mosaico. El mosaico es una técnica utilizada durante el entrenamiento que combina varias imágenes en una sola imagen para aumentar la variedad de objetos y escenas dentro de cada lote de entrenamiento. Esto ayuda a la capacidad del modelo para generalizar a diferentes tamaños de objeto, relaciones de aspecto y contextos.
El ejemplo muestra la variedad y complejidad de las imágenes en el conjunto de datos COCO-Seg y los beneficios de usar mosaicos durante el proceso de entrenamiento.
Citas y agradecimientos
Si utiliza el conjunto de datos COCO-Seg en su trabajo de investigación o desarrollo, cite el artículo original de COCO y reconozca la extensión a COCO-Seg:
@misc{lin2015microsoft,
title={Microsoft COCO: Common Objects in Context},
author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr Dollár},
year={2015},
eprint={1405.0312},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
Extendemos nuestro agradecimiento al Consorcio COCO por crear y mantener este valioso recurso para la comunidad de visión artificial. Para obtener más información sobre el conjunto de datos COCO y sus creadores, visite el sitio web del conjunto de datos COCO.
Preguntas frecuentes
¿Qué es el conjunto de datos COCO-Seg y en qué se diferencia del conjunto de datos COCO original?
El conjunto de datos COCO-Seg es una extensión del conjunto de datos original COCO (Objetos Comunes en Contexto), diseñado específicamente para tareas de segmentación de instancias. Si bien utiliza las mismas imágenes que el conjunto de datos COCO, COCO-Seg incluye anotaciones de segmentación más detalladas, lo que lo convierte en un recurso poderoso para investigadores y desarrolladores que se centran en la segmentación de instancias de objetos.
¿Cómo puedo entrenar un modelo YOLO11 usando el conjunto de datos COCO-Seg?
Para entrenar un modelo YOLO11n-seg en el conjunto de datos COCO-Seg durante 100 épocas con un tamaño de imagen de 640, puede utilizar los siguientes fragmentos de código. Para obtener una lista detallada de los argumentos disponibles, consulte la página de Entrenamiento del modelo.
Ejemplo de entrenamiento
from ultralytics import YOLO
# Load a model
model = YOLO("yolo11n-seg.pt") # load a pretrained model (recommended for training)
# Train the model
results = model.train(data="coco.yaml", epochs=100, imgsz=640)
# Start training from a pretrained *.pt model
yolo segment train data=coco.yaml model=yolo11n-seg.pt epochs=100 imgsz=640
¿Cuáles son las principales características del conjunto de datos COCO-Seg?
El conjunto de datos COCO-Seg incluye varias características clave:
- Conserva las 330.000 imágenes originales del conjunto de datos COCO.
- Anota las mismas 80 categorías de objetos que se encuentran en el COCO original.
- Proporciona máscaras de segmentación de instancias más detalladas para cada objeto.
- Utiliza métricas de evaluación estandarizadas como la Precisión Media Promedio (mAP) para la detección de objetos y el Recall Medio Promedio (mAR) para las tareas de segmentación de instancias.
¿Qué modelos preentrenados están disponibles para COCO-Seg y cuáles son sus métricas de rendimiento?
El conjunto de datos COCO-Seg admite múltiples modelos de segmentación YOLO11 preentrenados con diversas métricas de rendimiento. Aquí tienes un resumen de los modelos disponibles y sus métricas clave:
Modelo | tamaño (píxeles) |
mAPbox 50-95 |
mAPmask 50-95 |
Velocidad CPU ONNX (ms) |
Velocidad T4 TensorRT10 (ms) |
parámetros (M) |
FLOPs (B) |
---|---|---|---|---|---|---|---|
YOLO11n-seg | 640 | 38.9 | 32.0 | 65.9 ± 1.1 | 1.8 ± 0.0 | 2.9 | 10.4 |
YOLO11s-seg | 640 | 46.6 | 37.8 | 117.6 ± 4.9 | 2.9 ± 0.0 | 10.1 | 35.5 |
YOLO11m-seg | 640 | 51.5 | 41.5 | 281.6 ± 1.2 | 6.3 ± 0.1 | 22.4 | 123.3 |
YOLO11l-seg | 640 | 53.4 | 42.9 | 344.2 ± 3.2 | 7.8 ± 0.2 | 27.6 | 142.2 |
YOLO11x-seg | 640 | 54.7 | 43.8 | 664.5 ± 3.2 | 15.8 ± 0.7 | 62.1 | 319.0 |
Estos modelos van desde el ligero YOLO11n-seg hasta el más potente YOLO11x-seg, ofreciendo diferentes equilibrios entre velocidad y precisión para adaptarse a los diversos requisitos de la aplicación. Para obtener más información sobre la selección de modelos, visite la página de modelos de Ultralytics.
¿Cómo está estructurado el conjunto de datos COCO-Seg y qué subconjuntos contiene?
El conjunto de datos COCO-Seg se divide en tres subconjuntos para necesidades específicas de entrenamiento y evaluación:
- Train2017: Contiene 118K imágenes utilizadas principalmente para entrenar modelos de segmentación de instancias.
- Val2017: Comprende 5000 imágenes utilizadas para la validación durante el proceso de entrenamiento.
- Test2017: Abarca 20 000 imágenes reservadas para probar y evaluar los modelos entrenados. Tenga en cuenta que las anotaciones de referencia para este subconjunto no están disponibles públicamente y los resultados de rendimiento se envían al servidor de evaluación COCO para su evaluación.
Para necesidades de experimentación más pequeñas, también podrías considerar el uso del conjunto de datos COCO8-seg, que es una versión compacta que contiene solo 8 imágenes del conjunto de entrenamiento COCO 2017.