COCO-Seg ๋ฐ์ดํฐ ์ธํธ
COCO-Seg ๋ฐ์ดํฐ ์ธํธ๋ COCO(Common Objects in Context) ๋ฐ์ดํฐ ์ธํธ์ ํ์ฅํ์ผ๋ก, ๊ฐ์ฒด ์ธ์คํด์ค ๋ถํ ์ฐ๊ตฌ๋ฅผ ๋๊ธฐ ์ํด ํน๋ณํ ๊ณ ์๋์์ต๋๋ค. COCO์ ๋์ผํ ์ด๋ฏธ์ง๋ฅผ ์ฌ์ฉํ์ง๋ง ๋ ์์ธํ ์ธ๋ถํ ์ฃผ์์ ๋์ ํ์ต๋๋ค. ์ด ๋ฐ์ดํฐ ์ธํธ๋ ์ธ์คํด์ค ์ธ๋ถํ ์์ ์ ์ํํ๋ ์ฐ๊ตฌ์์ ๊ฐ๋ฐ์์๊ฒ ์ค์ํ ๋ฆฌ์์ค์ด๋ฉฐ, ํนํ YOLO ๋ชจ๋ธ์ ํ๋ จํ๋ ๋ฐ ์ ์ฉํฉ๋๋ค.
COCO-Seg ์ฌ์ ํ์ต ๋ชจ๋ธ
๋ชจ๋ธ | ํฌ๊ธฐ (ํฝ์ ) |
mAPbox 50-95 |
mAPmask 50-95 |
์๋ CPU ONNX (ms) |
์๋ T4TensorRT10 (ms) |
๋งค๊ฐ๋ณ์ (M) |
FLOPs (B) |
---|---|---|---|---|---|---|---|
YOLO11n-seg | 640 | 38.9 | 32.0 | 65.9 ยฑ 1.1 | 1.8 ยฑ 0.0 | 2.9 | 10.4 |
YOLO11s-seg | 640 | 46.6 | 37.8 | 117.6 ยฑ 4.9 | 2.9 ยฑ 0.0 | 10.1 | 35.5 |
YOLO11m-seg | 640 | 51.5 | 41.5 | 281.6 ยฑ 1.2 | 6.3 ยฑ 0.1 | 22.4 | 123.3 |
YOLO11l-seg | 640 | 53.4 | 42.9 | 344.2 ยฑ 3.2 | 7.8 ยฑ 0.2 | 27.6 | 142.2 |
YOLO11x-seg | 640 | 54.7 | 43.8 | 664.5 ยฑ 3.2 | 15.8 ยฑ 0.7 | 62.1 | 319.0 |
์ฃผ์ ๊ธฐ๋ฅ
- COCO-Seg๋ COCO์ ์๋ณธ 330K ์ด๋ฏธ์ง๋ฅผ ์ ์งํฉ๋๋ค.
- ์ด ๋ฐ์ดํฐ ์ธํธ๋ ์๋ COCO ๋ฐ์ดํฐ ์ธํธ์ ์๋ ๊ฒ๊ณผ ๋์ผํ 80๊ฐ์ ๊ฐ์ฒด ์นดํ ๊ณ ๋ฆฌ๋ก ๊ตฌ์ฑ๋์ด ์์ต๋๋ค.
- ์ด์ ์ฃผ์์ ์ด๋ฏธ์ง์ ๊ฐ ๊ฐ์ฒด์ ๋ํ ๋ ์์ธํ ์ธ์คํด์ค ๋ถํ ๋ง์คํฌ๊ฐ ํฌํจ๋ฉ๋๋ค.
- COCO-Seg๋ ๊ฐ์ฒด ๊ฐ์ง๋ฅผ ์ํ ํ๊ท ํ๊ท ์ ๋ฐ๋ (mAP), ์ธ์คํด์ค ์ธ๋ถํ ์์ ์ ์ํ ํ๊ท ํ๊ท ์ ํ๋ (mAR) ๋ฑ ํ์คํ๋ ํ๊ฐ ์งํ๋ฅผ ์ ๊ณตํ์ฌ ๋ชจ๋ธ ์ฑ๋ฅ์ ํจ๊ณผ์ ์ผ๋ก ๋น๊ตํ ์ ์์ต๋๋ค.
๋ฐ์ดํฐ ์ธํธ ๊ตฌ์กฐ
COCO-Seg ๋ฐ์ดํฐ ์ธํธ๋ ์ธ ๊ฐ์ ํ์ ์งํฉ์ผ๋ก ๋ถํ ๋ฉ๋๋ค:
- Train2017: ์ด ํ์ ์งํฉ์๋ ์ธ์คํด์ค ๋ถํ ๋ชจ๋ธ ํ์ต์ ์ํ 118๋ง ๊ฐ์ ์ด๋ฏธ์ง๊ฐ ํฌํจ๋์ด ์์ต๋๋ค.
- Val2017: ์ด ํ์ ์งํฉ์๋ ๋ชจ๋ธ ํ์ต ์ค ์ ํจ์ฑ ๊ฒ์ฌ ๋ชฉ์ ์ผ๋ก ์ฌ์ฉ๋๋ 5K ์ด๋ฏธ์ง๊ฐ ํฌํจ๋ฉ๋๋ค.
- Test2017: ์ด ํ์ ์งํฉ์๋ ํ์ต๋ ๋ชจ๋ธ์ ํ ์คํธํ๊ณ ๋ฒค์น๋งํนํ๋ ๋ฐ ์ฌ์ฉ๋๋ 20K ์ด๋ฏธ์ง๊ฐ ํฌํจ๋ฉ๋๋ค. ์ด ํ์ ์งํฉ์ ๋ํ ์ค์ธก ๋ฐ์ดํฐ ์ฃผ์์ ๊ณต๊ฐ๋์ง ์์ผ๋ฉฐ, ๊ฒฐ๊ณผ๋ ์ฑ๋ฅ ํ๊ฐ๋ฅผ ์ํด COCO ํ๊ฐ ์๋ฒ์ ์ ์ถ๋ฉ๋๋ค.
์ ํ๋ฆฌ์ผ์ด์
COCO-Seg๋ YOLO ๋ชจ๋ธ๊ณผ ๊ฐ์ ์ธ์คํด์ค ์ธ๋ถํ์์ ๋ฅ ๋ฌ๋ ๋ชจ๋ธ์ ํ๋ จํ๊ณ ํ๊ฐํ๋ ๋ฐ ๋๋ฆฌ ์ฌ์ฉ๋ฉ๋๋ค. ์๋ง์ ์ฃผ์์ด ๋ฌ๋ฆฐ ์ด๋ฏธ์ง, ๋ค์ํ ๊ฐ์ฒด ๋ฒ์ฃผ, ํ์คํ๋ ํ๊ฐ ๋ฉํธ๋ฆญ์ ์ปดํจํฐ ๋น์ ์ฐ๊ตฌ์์ ์ค๋ฌด์์๊ฒ ์์ด์๋ ์ ๋ ๋ฆฌ์์ค์ ๋๋ค.
๋ฐ์ดํฐ ์ธํธ YAML
๋ฐ์ดํฐ ์ธํธ ๊ตฌ์ฑ์ ์ ์ํ๋ ๋ฐ๋ YAML(๋ ๋ค๋ฅธ ๋งํฌ์
์ธ์ด) ํ์ผ์ด ์ฌ์ฉ๋ฉ๋๋ค. ์ฌ๊ธฐ์๋ ๋ฐ์ดํฐ ์ธํธ์ ๊ฒฝ๋ก, ํด๋์ค ๋ฐ ๊ธฐํ ๊ด๋ จ ์ ๋ณด์ ๋ํ ์ ๋ณด๊ฐ ํฌํจ๋์ด ์์ต๋๋ค. COCO-Seg ๋ฐ์ดํฐ ์ธํธ์ ๊ฒฝ์ฐ, ๋ฐ์ดํฐ ์ธํธ์ coco.yaml
ํ์ผ์ ๋ค์ ์์น์์ ์ ์ง๋ฉ๋๋ค. https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/coco.yaml.
ultralytics/cfg/datasets/coco.yaml
# Ultralytics YOLO ๐, AGPL-3.0 license
# COCO 2017 dataset https://cocodataset.org by Microsoft
# Documentation: https://docs.ultralytics.com/datasets/detect/coco/
# Example usage: yolo train data=coco.yaml
# parent
# โโโ ultralytics
# โโโ datasets
# โโโ coco โ downloads here (20.1 GB)
# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/coco # dataset root dir
train: train2017.txt # train images (relative to 'path') 118287 images
val: val2017.txt # val images (relative to 'path') 5000 images
test: test-dev2017.txt # 20288 of 40670 images, submit to https://competitions.codalab.org/competitions/20794
# Classes
names:
0: person
1: bicycle
2: car
3: motorcycle
4: airplane
5: bus
6: train
7: truck
8: boat
9: traffic light
10: fire hydrant
11: stop sign
12: parking meter
13: bench
14: bird
15: cat
16: dog
17: horse
18: sheep
19: cow
20: elephant
21: bear
22: zebra
23: giraffe
24: backpack
25: umbrella
26: handbag
27: tie
28: suitcase
29: frisbee
30: skis
31: snowboard
32: sports ball
33: kite
34: baseball bat
35: baseball glove
36: skateboard
37: surfboard
38: tennis racket
39: bottle
40: wine glass
41: cup
42: fork
43: knife
44: spoon
45: bowl
46: banana
47: apple
48: sandwich
49: orange
50: broccoli
51: carrot
52: hot dog
53: pizza
54: donut
55: cake
56: chair
57: couch
58: potted plant
59: bed
60: dining table
61: toilet
62: tv
63: laptop
64: mouse
65: remote
66: keyboard
67: cell phone
68: microwave
69: oven
70: toaster
71: sink
72: refrigerator
73: book
74: clock
75: vase
76: scissors
77: teddy bear
78: hair drier
79: toothbrush
# Download script/URL (optional)
download: |
from ultralytics.utils.downloads import download
from pathlib import Path
# Download labels
segments = True # segment or box labels
dir = Path(yaml['path']) # dataset root dir
url = 'https://github.com/ultralytics/assets/releases/download/v0.0.0/'
urls = [url + ('coco2017labels-segments.zip' if segments else 'coco2017labels.zip')] # labels
download(urls, dir=dir.parent)
# Download data
urls = ['http://images.cocodataset.org/zips/train2017.zip', # 19G, 118k images
'http://images.cocodataset.org/zips/val2017.zip', # 1G, 5k images
'http://images.cocodataset.org/zips/test2017.zip'] # 7G, 41k images (optional)
download(urls, dir=dir / 'images', threads=3)
์ฌ์ฉ๋ฒ
์ด๋ฏธ์ง ํฌ๊ธฐ๊ฐ 640์ธ 100๊ฐ์ ์ํฌํฌ์ ๋ํด COCO-Seg ๋ฐ์ดํฐ ์ธํธ์์ YOLO11n-seg ๋ชจ๋ธ์ ํ๋ จํ๋ ค๋ฉด ๋ค์ ์ฝ๋ ์กฐ๊ฐ์ ์ฌ์ฉํ ์ ์์ต๋๋ค. ์ฌ์ฉ ๊ฐ๋ฅํ ์ธ์์ ์ ์ฒด ๋ชฉ๋ก์ ๋ชจ๋ธ ํ์ต ํ์ด์ง๋ฅผ ์ฐธ์กฐํ์ธ์.
์ด์ฐจ ์์
์ํ ์ด๋ฏธ์ง ๋ฐ ์ฃผ์
COCO-Seg๋ ์ด์ ๋ฒ์ ์ธ COCO์ ๋ง์ฐฌ๊ฐ์ง๋ก ๋ค์ํ ๊ฐ์ฒด ๋ฒ์ฃผ์ ๋ณต์กํ ์ฅ๋ฉด์ด ํฌํจ๋ ๋ค์ํ ์ด๋ฏธ์ง ์ธํธ๋ฅผ ํฌํจํฉ๋๋ค. ๊ทธ๋ฌ๋ COCO-Seg๋ ์ด๋ฏธ์ง์ ๊ฐ ๊ฐ์ฒด์ ๋ํด ๋ณด๋ค ์์ธํ ์ธ์คํด์ค ๋ถํ ๋ง์คํฌ๋ฅผ ๋์ ํ์ต๋๋ค. ๋ค์์ ๋ฐ์ดํฐ ์ธํธ์ ์ด๋ฏธ์ง์ ํด๋น ์ธ์คํด์ค ๋ถํ ๋ง์คํฌ์ ๋ช ๊ฐ์ง ์์์ ๋๋ค:
- ๋ชจ์์ดํฌ ์ด๋ฏธ์ง: ์ด ์ด๋ฏธ์ง๋ ๋ชจ์์ดํฌ๋ ๋ฐ์ดํฐ ์ธํธ ์ด๋ฏธ์ง๋ก ๊ตฌ์ฑ๋ ํ๋ จ ๋ฐฐ์น์ ์์์ ๋๋ค. ๋ชจ์์ดํฌ๋ ํ๋ จ ์ค์ ์ฌ๋ฌ ์ด๋ฏธ์ง๋ฅผ ํ๋์ ์ด๋ฏธ์ง๋ก ๊ฒฐํฉํ์ฌ ๊ฐ ํ๋ จ ๋ฐฐ์น ๋ด์์ ๋ค์ํ ๊ฐ์ฒด์ ์ฅ๋ฉด์ ๋๋ฆฌ๋ ๋ฐ ์ฌ์ฉ๋๋ ๊ธฐ๋ฒ์ ๋๋ค. ์ด๋ ๋ชจ๋ธ์ด ๋ค์ํ ๊ฐ์ฒด ํฌ๊ธฐ, ์ข ํก๋น ๋ฐ ์ปจํ ์คํธ์ ์ผ๋ฐํํ ์ ์๋ ๋ฅ๋ ฅ์ ํฅ์์ํค๋ ๋ฐ ๋์์ด ๋ฉ๋๋ค.
์ด ์๋ COCO-Seg ๋ฐ์ดํฐ ์ธํธ์ ํฌํจ๋ ์ด๋ฏธ์ง์ ๋ค์์ฑ๊ณผ ๋ณต์ก์ฑ, ๊ทธ๋ฆฌ๊ณ ํ๋ จ ๊ณผ์ ์์ ๋ชจ์์ดํฌ ์ฌ์ฉ์ ์ด์ ์ ๋ณด์ฌ์ค๋๋ค.
์ธ์ฉ ๋ฐ ๊ฐ์ฌ
์ฐ๊ตฌ ๋๋ ๊ฐ๋ฐ ์์ ์ COCO-Seg ๋ฐ์ดํฐ์ธํธ๋ฅผ ์ฌ์ฉํ๋ ๊ฒฝ์ฐ, ์๋ณธ COCO ๋ ผ๋ฌธ์ ์ธ์ฉํ๊ณ COCO-Seg์ ๋ํ ํ์ฅ์ฑ์ ์ธ์ ํด ์ฃผ์ธ์:
@misc{lin2015microsoft,
title={Microsoft COCO: Common Objects in Context},
author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr Dollรกr},
year={2015},
eprint={1405.0312},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
์ปดํจํฐ ๋น์ ์ปค๋ฎค๋ํฐ๋ฅผ ์ํด ์ด ๊ท์คํ ๋ฆฌ์์ค๋ฅผ ๋ง๋ค๊ณ ์ ์ง ๊ด๋ฆฌํด ์ฃผ์ COCO ์ปจ์์์์ ๊ฐ์ฌ์ ๋ง์์ ์ ํฉ๋๋ค. COCO ๋ฐ์ดํฐ ์ธํธ ๋ฐ ์ ์์์ ๋ํ ์์ธํ ๋ด์ฉ์ COCO ๋ฐ์ดํฐ ์ธํธ ์น์ฌ์ดํธ๋ฅผ ์ฐธ์กฐํ์ธ์.
์์ฃผ ๋ฌป๋ ์ง๋ฌธ
COCO-Seg ๋ฐ์ดํฐ ์ธํธ๋ ๋ฌด์์ด๋ฉฐ ๊ธฐ์กด COCO ๋ฐ์ดํฐ ์ธํธ์ ์ด๋ป๊ฒ ๋ค๋ฅธ๊ฐ์?
COCO-Seg ๋ฐ์ดํฐ ์ธํธ๋ ์ธ์คํด์ค ์ธ๋ถํ ์์ ์ ์ํด ํน๋ณํ ์ค๊ณ๋ ๊ธฐ์กด COCO(Common Objects in Context) ๋ฐ์ดํฐ ์ธํธ์ ํ์ฅํ์ ๋๋ค. COCO ๋ฐ์ดํฐ ์ธํธ์ ๋์ผํ ์ด๋ฏธ์ง๋ฅผ ์ฌ์ฉํ์ง๋ง COCO-Seg์๋ ๋ ์์ธํ ์ธ๋ถํ ์ฃผ์์ด ํฌํจ๋์ด ์์ด ๊ฐ์ฒด ์ธ์คํด์ค ์ธ๋ถํ์ ์ค์ ์ ๋ ์ฐ๊ตฌ์์ ๊ฐ๋ฐ์๋ฅผ ์ํ ๊ฐ๋ ฅํ ๋ฆฌ์์ค์ ๋๋ค.
COCO-Seg ๋ฐ์ดํฐ ์ธํธ๋ฅผ ์ฌ์ฉํ์ฌ YOLO11 ๋ชจ๋ธ์ ํ๋ จํ๋ ค๋ฉด ์ด๋ป๊ฒ ํด์ผ ํ๋์?
์ด๋ฏธ์ง ํฌ๊ธฐ๊ฐ 640์ธ 100๊ฐ์ ์ํฌํฌ์ ๋ํด COCO-Seg ๋ฐ์ดํฐ ์ธํธ์์ YOLO11n-seg ๋ชจ๋ธ์ ํ๋ จํ๋ ค๋ฉด ๋ค์ ์ฝ๋ ์กฐ๊ฐ์ ์ฌ์ฉํ ์ ์์ต๋๋ค. ์ฌ์ฉ ๊ฐ๋ฅํ ์ธ์์ ์์ธํ ๋ชฉ๋ก์ ๋ชจ๋ธ ํ๋ จ ํ์ด์ง๋ฅผ ์ฐธ์กฐํ์ธ์.
์ด์ฐจ ์์
COCO-Seg ๋ฐ์ดํฐ ์ธํธ์ ์ฃผ์ ํน์ง์ ๋ฌด์์ธ๊ฐ์?
COCO-Seg ๋ฐ์ดํฐ ์ธํธ์๋ ๋ช ๊ฐ์ง ์ฃผ์ ๊ธฐ๋ฅ์ด ํฌํจ๋์ด ์์ต๋๋ค:
- COCO ๋ฐ์ดํฐ ์ธํธ์ ์๋ณธ 330K ์ด๋ฏธ์ง๋ฅผ ์ ์งํฉ๋๋ค.
- ์๋ COCO์ ์๋ ๊ฒ๊ณผ ๋์ผํ 80๊ฐ์ ๊ฐ์ฒด ์นดํ ๊ณ ๋ฆฌ์ ์ฃผ์์ ๋ฌ ์ ์์ต๋๋ค.
- ๊ฐ ์ค๋ธ์ ํธ์ ๋ํด ๋ ์์ธํ ์ธ์คํด์ค ์ธ๋ถํ ๋ง์คํฌ๋ฅผ ์ ๊ณตํฉ๋๋ค.
- ๊ฐ์ฒด ๊ฐ์ง์๋ ํ๊ท ํ๊ท ์ ๋ฐ๋ (mAP), ์ธ์คํด์ค ์ธ๋ถํ ์์ ์๋ ํ๊ท ํ๊ท ํ์์จ(mAR)๊ณผ ๊ฐ์ ํ์คํ๋ ํ๊ฐ ์งํ๋ฅผ ์ฌ์ฉํฉ๋๋ค.
COCO-Seg์ ์ฌ์ฉํ ์ ์๋ ์ฌ์ ํ์ต๋ ๋ชจ๋ธ์ ๋ฌด์์ด๋ฉฐ, ์ฑ๋ฅ ์งํ๋ ๋ฌด์์ธ๊ฐ์?
COCO-Seg ๋ฐ์ดํฐ ์ธํธ๋ ๋ค์ํ ์ฑ๋ฅ ๋ฉํธ๋ฆญ์ผ๋ก ์ฌ์ ํ์ต๋ ์ฌ๋ฌ ์ธ๋ถํ ๋ชจ๋ธ( YOLO11 )์ ์ง์ํฉ๋๋ค. ๋ค์์ ์ฌ์ฉ ๊ฐ๋ฅํ ๋ชจ๋ธ๊ณผ ์ฃผ์ ๋ฉํธ๋ฆญ์ ๋ํ ์์ฝ์ ๋๋ค:
๋ชจ๋ธ | ํฌ๊ธฐ (ํฝ์ ) |
mAPbox 50-95 |
mAPmask 50-95 |
์๋ CPU ONNX (ms) |
์๋ T4TensorRT10 (ms) |
๋งค๊ฐ๋ณ์ (M) |
FLOPs (B) |
---|---|---|---|---|---|---|---|
YOLO11n-seg | 640 | 38.9 | 32.0 | 65.9 ยฑ 1.1 | 1.8 ยฑ 0.0 | 2.9 | 10.4 |
YOLO11s-seg | 640 | 46.6 | 37.8 | 117.6 ยฑ 4.9 | 2.9 ยฑ 0.0 | 10.1 | 35.5 |
YOLO11m-seg | 640 | 51.5 | 41.5 | 281.6 ยฑ 1.2 | 6.3 ยฑ 0.1 | 22.4 | 123.3 |
YOLO11l-seg | 640 | 53.4 | 42.9 | 344.2 ยฑ 3.2 | 7.8 ยฑ 0.2 | 27.6 | 142.2 |
YOLO11x-seg | 640 | 54.7 | 43.8 | 664.5 ยฑ 3.2 | 15.8 ยฑ 0.7 | 62.1 | 319.0 |
COCO-Seg ๋ฐ์ดํฐ ์ธํธ๋ ์ด๋ป๊ฒ ๊ตฌ์ฑ๋๋ฉฐ ์ด๋ค ํ์ ์งํฉ์ ํฌํจํ๋์?
COCO-Seg ๋ฐ์ดํฐ ์ธํธ๋ ํน์ ๊ต์ก ๋ฐ ํ๊ฐ ์๊ตฌ์ ๋ฐ๋ผ ์ธ ๊ฐ์ ํ์ ์งํฉ์ผ๋ก ๋๋ฉ๋๋ค:
- Train2017: ์ฃผ๋ก ์ธ์คํด์ค ์ธ๋ถํ ๋ชจ๋ธ ํ๋ จ์ ์ฌ์ฉ๋๋ 118๋ง ๊ฐ์ ์ด๋ฏธ์ง๊ฐ ํฌํจ๋์ด ์์ต๋๋ค.
- Val2017: ํ๋ จ ๊ณผ์ ์ค ๊ฒ์ฆ์ ํ์ฉ๋๋ 5K ์ด๋ฏธ์ง๋ก ๊ตฌ์ฑ๋ฉ๋๋ค.
- Test2017: ํ์ต๋ ๋ชจ๋ธ์ ํ ์คํธํ๊ณ ๋ฒค์น๋งํนํ๊ธฐ ์ํด ์์ฝ๋ 20K ์ด๋ฏธ์ง๋ฅผ ํฌํจํฉ๋๋ค. ์ด ํ์ ์งํฉ์ ๋ํ ์ค์ธก ๋ฐ์ดํฐ ์ฃผ์์ ๊ณต๊ฐ๋์ง ์์ผ๋ฉฐ, ์ฑ๋ฅ ๊ฒฐ๊ณผ๋ ํ๊ฐ๋ฅผ ์ํด COCO ํ๊ฐ ์๋ฒ์ ์ ์ถ๋ฉ๋๋ค.