Tổng quan về tập dữ liệu Instance Segmentation
Instance segmentation là một tác vụ thị giác máy tính liên quan đến việc xác định và phân tách các đối tượng riêng lẻ trong một hình ảnh. Hướng dẫn này cung cấp tổng quan về các định dạng tập dữ liệu được hỗ trợ bởi Ultralytics YOLO cho các tác vụ instance segmentation, cùng với các hướng dẫn về cách chuẩn bị, chuyển đổi và sử dụng các tập dữ liệu này để huấn luyện model của bạn.
Các định dạng tập dữ liệu được hỗ trợ
Định dạng Ultralytics YOLO
Định dạng nhãn tập dữ liệu được sử dụng để huấn luyện các model segmentation YOLO như sau:
- Một tệp văn bản cho mỗi hình ảnh: Mỗi hình ảnh trong tập dữ liệu có một tệp văn bản tương ứng với cùng tên với tệp hình ảnh và phần mở rộng ".txt".
- Một dòng cho mỗi đối tượng: Mỗi dòng trong tệp văn bản tương ứng với một instance đối tượng trong hình ảnh.
- Thông tin đối tượng trên mỗi dòng: Mỗi dòng chứa các thông tin sau về instance đối tượng:
- Chỉ mục lớp đối tượng: Một số nguyên đại diện cho lớp của đối tượng (ví dụ: 0 cho người, 1 cho ô tô, v.v.).
- Tọa độ bao đối tượng: Các tọa độ bao quanh vùng mask, được chuẩn hóa để nằm trong khoảng từ 0 đến 1.
Định dạng cho một dòng đơn trong tệp tập dữ liệu segmentation như sau:
<class-index> <x1> <y1> <x2> <y2> ... <xn> <yn>
Trong định dạng này, <class-index> là chỉ mục của lớp cho đối tượng, và <x1> <y1> <x2> <y2> ... <xn> <yn> là các tọa độ đa giác đã chuẩn hóa của mask segmentation của đối tượng (các giá trị nằm trong [0, 1] so với chiều rộng và chiều cao của hình ảnh). Các tọa độ được phân tách bằng dấu cách.
Đây là một ví dụ về định dạng tập dữ liệu YOLO cho một hình ảnh đơn có hai đối tượng bao gồm một đoạn 3 điểm và một đoạn 5 điểm.
0 0.681 0.485 0.670 0.487 0.676 0.487
1 0.504 0.000 0.501 0.004 0.498 0.004 0.493 0.010 0.492 0.0104- Độ dài của mỗi dòng không nhất thiết phải bằng nhau.
- Mỗi nhãn segmentation phải có tối thiểu 3 điểm
(x, y):<class-index> <x1> <y1> <x2> <y2> <x3> <y3>
Định dạng YAML của tập dữ liệu
Framework Ultralytics sử dụng định dạng tệp YAML để định nghĩa tập dữ liệu và cấu hình model cho việc huấn luyện Segmentation Models. Đây là một ví dụ về định dạng YAML được sử dụng để định nghĩa một tập dữ liệu segmentation:
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license
# COCO8-seg dataset (first 8 images from COCO train2017) by Ultralytics
# Documentation: https://docs.ultralytics.com/datasets/segment/coco8-seg/
# Example usage: yolo train data=coco8-seg.yaml
# parent
# ├── ultralytics
# └── datasets
# └── coco8-seg ← downloads here (1 MB)
# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: coco8-seg # dataset root dir
train: images/train # train images (relative to 'path') 4 images
val: images/val # val images (relative to 'path') 4 images
test: # test images (optional)
# Classes
names:
0: person
1: bicycle
2: car
3: motorcycle
4: airplane
5: bus
6: train
7: truck
8: boat
9: traffic light
10: fire hydrant
11: stop sign
12: parking meter
13: bench
14: bird
15: cat
16: dog
17: horse
18: sheep
19: cow
20: elephant
21: bear
22: zebra
23: giraffe
24: backpack
25: umbrella
26: handbag
27: tie
28: suitcase
29: frisbee
30: skis
31: snowboard
32: sports ball
33: kite
34: baseball bat
35: baseball glove
36: skateboard
37: surfboard
38: tennis racket
39: bottle
40: wine glass
41: cup
42: fork
43: knife
44: spoon
45: bowl
46: banana
47: apple
48: sandwich
49: orange
50: broccoli
51: carrot
52: hot dog
53: pizza
54: donut
55: cake
56: chair
57: couch
58: potted plant
59: bed
60: dining table
61: toilet
62: tv
63: laptop
64: mouse
65: remote
66: keyboard
67: cell phone
68: microwave
69: oven
70: toaster
71: sink
72: refrigerator
73: book
74: clock
75: vase
76: scissors
77: teddy bear
78: hair drier
79: toothbrush
# Download script/URL (optional)
download: https://github.com/ultralytics/assets/releases/download/v0.0.0/coco8-seg.zipCác trường train và val chỉ định đường dẫn đến các thư mục chứa hình ảnh huấn luyện và kiểm thử tương ứng.
names là một từ điển gồm các tên lớp. Thứ tự của các tên phải khớp với thứ tự của các chỉ mục lớp đối tượng trong các tệp tập dữ liệu YOLO.
Cách sử dụng
from ultralytics import YOLO
# Load a model
model = YOLO("yolo26n-seg.pt") # load a pretrained model (recommended for training)
# Train the model
results = model.train(data="coco8-seg.yaml", epochs=100, imgsz=640)Các tập dữ liệu được hỗ trợ
Ultralytics YOLO hỗ trợ nhiều tập dữ liệu khác nhau cho các tác vụ instance segmentation. Dưới đây là danh sách các tập dữ liệu thường được sử dụng nhất:
- Carparts-seg: Một tập dữ liệu chuyên biệt tập trung vào việc segmentation các bộ phận ô tô, lý tưởng cho các ứng dụng ô tô. Nó bao gồm nhiều loại phương tiện với các chú thích chi tiết về từng thành phần ô tô.
- COCO: Một tập dữ liệu toàn diện cho object detection, segmentation và chú thích, bao gồm hơn 200K hình ảnh có nhãn trên nhiều danh mục khác nhau.
- COCO8-seg: Một tập con nhỏ gọn gồm 8 hình ảnh của COCO được thiết kế để kiểm tra nhanh việc huấn luyện model segmentation, lý tưởng cho các kiểm tra CI và xác thực quy trình làm việc trong kho lưu trữ
ultralytics. - COCO128-seg: Một tập dữ liệu nhỏ hơn cho các tác vụ instance segmentation, chứa một tập con gồm 128 hình ảnh COCO với các chú thích segmentation.
- Crack-seg: Một tập dữ liệu được tùy chỉnh để segmentation các vết nứt trên các bề mặt khác nhau. Cần thiết cho việc bảo trì cơ sở hạ tầng và kiểm soát chất lượng, nó cung cấp hình ảnh chi tiết để huấn luyện các model nhận diện các điểm yếu về cấu trúc.
- Package-seg: Một tập dữ liệu chuyên dụng cho việc segmentation các loại vật liệu và hình dạng đóng gói khác nhau. Nó đặc biệt hữu ích cho logistics và tự động hóa kho bãi, hỗ trợ phát triển các hệ thống xử lý và phân loại gói hàng.
Thêm tập dữ liệu của riêng bạn
Nếu bạn có tập dữ liệu riêng và muốn sử dụng nó để huấn luyện các model segmentation với định dạng Ultralytics YOLO, hãy đảm bảo nó tuân thủ định dạng được chỉ định ở trên trong mục "Ultralytics YOLO format". Chuyển đổi các chú thích của bạn sang định dạng yêu cầu và chỉ định đường dẫn, số lượng lớp và tên lớp trong tệp cấu hình YAML. Giữ images/ và labels/ dưới dạng các thư mục riêng biệt ở cùng cấp, với cấu trúc thư mục con khớp nhau; việc đặt các tệp .txt nhãn trong thư mục hình ảnh có thể khiến model bỏ sót nhãn.
Chuyển đổi định dạng nhãn
Định dạng tập dữ liệu COCO sang định dạng YOLO
Bạn có thể dễ dàng chuyển đổi nhãn từ định dạng tập dữ liệu COCO phổ biến sang định dạng YOLO bằng cách sử dụng đoạn mã sau:
from ultralytics.data.converter import convert_coco
convert_coco(labels_dir="path/to/coco/annotations/", use_segments=True)Công cụ chuyển đổi này có thể được sử dụng để chuyển đổi tập dữ liệu COCO hoặc bất kỳ tập dữ liệu nào ở định dạng COCO sang định dạng Ultralytics YOLO.
Hãy nhớ kiểm tra kỹ xem tập dữ liệu bạn muốn sử dụng có tương thích với model của bạn hay không và tuân thủ các quy ước định dạng cần thiết. Các tập dữ liệu được định dạng đúng cách là rất quan trọng để huấn luyện các model segmentation thành công.
Auto-Annotation
Auto-annotation là một tính năng thiết yếu cho phép bạn tạo tập dữ liệu segmentation bằng model detection đã được huấn luyện trước. Nó cho phép bạn chú thích nhanh chóng và chính xác một số lượng lớn hình ảnh mà không cần dán nhãn thủ công, giúp tiết kiệm thời gian và công sức.
Tạo tập dữ liệu Segmentation bằng Model Detection
Để tự động chú thích tập dữ liệu của bạn bằng framework Ultralytics, bạn có thể sử dụng hàm auto_annotate như hiển thị bên dưới:
from ultralytics.data.annotator import auto_annotate
auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="sam_b.pt")| Đối số | Loại | Mặc định | Mô tả |
|---|---|---|---|
data | str | bắt buộc | Đường dẫn đến thư mục chứa các hình ảnh mục tiêu để gán nhãn hoặc phân đoạn. |
det_model | str | 'yolo26x.pt' | Đường dẫn model phát hiện YOLO cho phát hiện đối tượng ban đầu. |
sam_model | str | 'sam_b.pt' | Đường dẫn model SAM cho phân đoạn (hỗ trợ SAM, các biến thể SAM2, và các model MobileSAM). |
device | str | '' | Thiết bị tính toán (ví dụ: 'cuda:0', 'cpu', hoặc '' để tự động phát hiện thiết bị). |
conf | float | 0.25 | Ngưỡng tin cậy phát hiện YOLO để lọc các kết quả phát hiện yếu. |
iou | float | 0.45 | Ngưỡng IoU cho NMS để lọc các hộp chồng chéo. |
imgsz | int | 640 | Kích thước đầu vào để thay đổi kích thước hình ảnh (phải là bội số của 32). |
max_det | int | 300 | Số lượng phát hiện tối đa trên mỗi hình ảnh để tối ưu hóa bộ nhớ. |
classes | list[int] | None | Danh sách các chỉ số lớp để phát hiện (ví dụ: [0, 1] cho người & xe đạp). |
output_dir | str | None | Thư mục lưu cho các nhãn (mặc định là './labels' tương đối với đường dẫn dữ liệu). |
Hàm auto_annotate lấy đường dẫn đến hình ảnh của bạn, cùng với các đối số tùy chọn để chỉ định các model detection đã huấn luyện trước, ví dụ: YOLO26, YOLO11 hoặc các models khác và các model segmentation, ví dụ: SAM, SAM2 hoặc MobileSAM, thiết bị để chạy các model đó và thư mục đầu ra để lưu kết quả đã chú thích.
Bằng cách tận dụng sức mạnh của các model đã huấn luyện trước, auto-annotation có thể giảm đáng kể thời gian và công sức cần thiết để tạo các tập dữ liệu segmentation chất lượng cao. Tính năng này đặc biệt hữu ích cho các nhà nghiên cứu và nhà phát triển làm việc với các bộ sưu tập hình ảnh lớn, vì nó cho phép họ tập trung vào phát triển và đánh giá model thay vì chú thích thủ công.
Trực quan hóa Chú thích Tập dữ liệu
Trước khi huấn luyện model của bạn, thường rất hữu ích khi trực quan hóa các chú thích tập dữ liệu để đảm bảo chúng chính xác. Ultralytics cung cấp một hàm tiện ích cho mục đích này:
from ultralytics.data.utils import visualize_image_annotations
label_map = { # Define the label map with all annotated class labels.
0: "person",
1: "car",
}
# Visualize
visualize_image_annotations(
"path/to/image.jpg", # Input image path.
"path/to/annotations.txt", # Annotation file path for the image.
label_map,
)Hàm này vẽ các bounding box, dán nhãn các đối tượng bằng tên lớp và điều chỉnh màu văn bản để dễ đọc hơn, giúp bạn xác định và sửa bất kỳ lỗi chú thích nào trước khi huấn luyện.
Chuyển đổi Mask Segmentation sang định dạng YOLO
Nếu bạn có các mask segmentation ở định dạng nhị phân, bạn có thể chuyển đổi chúng sang định dạng segmentation YOLO bằng cách sử dụng:
from ultralytics.data.converter import convert_segment_masks_to_yolo_seg
# For datasets like COCO with 80 classes
convert_segment_masks_to_yolo_seg(masks_dir="path/to/masks_dir", output_dir="path/to/output_dir", classes=80)Tiện ích này chuyển đổi các hình ảnh mask nhị phân sang định dạng segmentation YOLO và lưu chúng vào thư mục đầu ra đã chỉ định.
Câu hỏi thường gặp (FAQ)
Ultralytics YOLO hỗ trợ những định dạng tập dữ liệu nào cho instance segmentation?
Ultralytics YOLO hỗ trợ một số định dạng tập dữ liệu cho instance segmentation, với định dạng chính là định dạng Ultralytics YOLO của riêng nó. Mỗi hình ảnh trong tập dữ liệu của bạn cần một tệp văn bản tương ứng với thông tin đối tượng được phân đoạn thành nhiều dòng (một dòng cho mỗi đối tượng), liệt kê chỉ mục lớp và các tọa độ bao được chuẩn hóa. Để biết thêm hướng dẫn chi tiết về định dạng tập dữ liệu YOLO, hãy truy cập Instance Segmentation Datasets Overview.
Làm thế nào tôi có thể chuyển đổi các chú thích tập dữ liệu COCO sang định dạng YOLO?
Việc chuyển đổi các chú thích định dạng COCO sang định dạng YOLO rất đơn giản bằng cách sử dụng các công cụ của Ultralytics. Bạn có thể sử dụng hàm convert_coco từ module ultralytics.data.converter:
from ultralytics.data.converter import convert_coco
convert_coco(labels_dir="path/to/coco/annotations/", use_segments=True)Tập lệnh này chuyển đổi các chú thích tập dữ liệu COCO của bạn sang định dạng YOLO yêu cầu, giúp nó phù hợp để huấn luyện các model YOLO của bạn. Để biết thêm chi tiết, hãy tham khảo Port or Convert Label Formats.
Làm cách nào để tôi chuẩn bị tệp YAML để huấn luyện các model Ultralytics YOLO?
Để chuẩn bị tệp YAML cho việc huấn luyện các model YOLO với Ultralytics, bạn cần xác định đường dẫn tập dữ liệu và tên lớp. Đây là một ví dụ về cấu hình YAML:
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license
# COCO8-seg dataset (first 8 images from COCO train2017) by Ultralytics
# Documentation: https://docs.ultralytics.com/datasets/segment/coco8-seg/
# Example usage: yolo train data=coco8-seg.yaml
# parent
# ├── ultralytics
# └── datasets
# └── coco8-seg ← downloads here (1 MB)
# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: coco8-seg # dataset root dir
train: images/train # train images (relative to 'path') 4 images
val: images/val # val images (relative to 'path') 4 images
test: # test images (optional)
# Classes
names:
0: person
1: bicycle
2: car
3: motorcycle
4: airplane
5: bus
6: train
7: truck
8: boat
9: traffic light
10: fire hydrant
11: stop sign
12: parking meter
13: bench
14: bird
15: cat
16: dog
17: horse
18: sheep
19: cow
20: elephant
21: bear
22: zebra
23: giraffe
24: backpack
25: umbrella
26: handbag
27: tie
28: suitcase
29: frisbee
30: skis
31: snowboard
32: sports ball
33: kite
34: baseball bat
35: baseball glove
36: skateboard
37: surfboard
38: tennis racket
39: bottle
40: wine glass
41: cup
42: fork
43: knife
44: spoon
45: bowl
46: banana
47: apple
48: sandwich
49: orange
50: broccoli
51: carrot
52: hot dog
53: pizza
54: donut
55: cake
56: chair
57: couch
58: potted plant
59: bed
60: dining table
61: toilet
62: tv
63: laptop
64: mouse
65: remote
66: keyboard
67: cell phone
68: microwave
69: oven
70: toaster
71: sink
72: refrigerator
73: book
74: clock
75: vase
76: scissors
77: teddy bear
78: hair drier
79: toothbrush
# Download script/URL (optional)
download: https://github.com/ultralytics/assets/releases/download/v0.0.0/coco8-seg.zipĐảm bảo bạn cập nhật đường dẫn và tên lớp theo tập dữ liệu của mình. Để biết thêm thông tin, hãy xem phần Dataset YAML Format.
Tính năng auto-annotation trong Ultralytics YOLO là gì?
Auto-annotation trong Ultralytics YOLO cho phép bạn tạo các chú thích segmentation cho tập dữ liệu của mình bằng model detection đã được huấn luyện trước. Điều này làm giảm đáng kể nhu cầu dán nhãn thủ công. Bạn có thể sử dụng hàm auto_annotate như sau:
from ultralytics.data.annotator import auto_annotate
auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="sam_b.pt") # or sam_model="mobile_sam.pt"Hàm này tự động hóa quy trình chú thích, giúp quy trình nhanh hơn và hiệu quả hơn. Để biết thêm chi tiết, hãy khám phá Auto-Annotate Reference.