Phân đoạn thực thể với Ultralytics YOLO#

Instance segmentation tiến xa hơn một bước so với object detection và liên quan đến việc xác định các đối tượng riêng lẻ trong một hình ảnh và phân đoạn chúng khỏi phần còn lại của hình ảnh.

Đầu ra của một mô hình phân đoạn thực thể là tập hợp các mask (mặt nạ) hoặc đường bao phác thảo từng vật thể trong hình ảnh, cùng với nhãn lớp và điểm tin cậy cho mỗi vật thể. Phân đoạn thực thể rất hữu ích khi bạn không chỉ cần biết vật thể ở đâu trong hình ảnh mà còn cần biết hình dạng chính xác của chúng.

Models#

Các model Segment được huấn luyện trước của YOLO26 được hiển thị ở đây. Các model Detect, Segment và Pose được huấn luyện trước trên tập dữ liệu COCO, các model Semantic được huấn luyện trước trên tập dữ liệu Cityscapes, và các model Classify được huấn luyện trước trên tập dữ liệu ImageNet.

Models được tải xuống tự động từ bản release Ultralytics mới nhất trong lần sử dụng đầu tiên.

• Các giá trị mAP^val dành cho mô hình đơn lẻ trên một tỷ lệ duy nhất trên tập dữ liệu COCO val2017.
  Tái tạo bằng yolo val segment data=coco.yaml device=0
• Tốc độ được tính trung bình trên các hình ảnh COCO val bằng cách sử dụng một instance Amazon EC2 P4d.
  Tái tạo bằng yolo val segment data=coco.yaml batch=1 device=0|cpu
• Giá trị Params và FLOPs dành cho model đã hợp nhất sau model.fuse(), thao tác này gộp các lớp Conv và BatchNorm lại và, đối với các model end2end, loại bỏ phần đầu phát hiện một-sang-nhiều phụ trợ. Các checkpoint đã huấn luyện trước giữ nguyên kiến trúc huấn luyện đầy đủ và có thể hiển thị số lượng cao hơn.

Huấn luyện (Train)#

Huấn luyện YOLO26n-seg trên tập dữ liệu COCO8-seg trong 100 epochs ở kích thước ảnh 640. Để có danh sách đầy đủ các tham số có sẵn, hãy xem trang Configuration.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-seg.yaml")  # build a new model from YAML
model = YOLO("yolo26n-seg.pt")  # load a pretrained model (recommended for training)
model = YOLO("yolo26n-seg.yaml").load("yolo26n-seg.pt")  # build from YAML and transfer weights

# Train the model
results = model.train(data="coco8-seg.yaml", epochs=100, imgsz=640)

Xem chi tiết đầy đủ về mode train trong trang Train. Các model segmentation cũng có thể được huấn luyện với Ultralytics Platform cloud training.

Định dạng tập dữ liệu#

Định dạng tập dữ liệu YOLO segmentation có thể được tìm thấy chi tiết trong Dataset Guide. Để chuyển đổi tập dữ liệu hiện có của bạn từ các định dạng khác (như COCO v.v.) sang định dạng YOLO, vui lòng sử dụng công cụ JSON2YOLO bởi Ultralytics. Bạn cũng có thể tạo các mặt nạ segmentation với Ultralytics Platform annotation sử dụng các công cụ đa giác và tính năng chú thích thông minh hỗ trợ bởi SAM.

Val#

Xác thực accuracy của model YOLO26n-seg đã được huấn luyện trên tập dữ liệu COCO8-seg. Không cần thêm tham số nào vì model giữ lại data huấn luyện và các tham số của nó dưới dạng các thuộc tính của model.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-seg.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Validate the model
metrics = model.val()  # no arguments needed, dataset and settings remembered
metrics.box.map  # map50-95(B)
metrics.box.map50  # map50(B)
metrics.box.map75  # map75(B)
metrics.box.maps  # a list containing mAP50-95(B) for each category
metrics.box.image_metrics  # per-image metrics dictionary for det with precision, recall, F1, TP, FP, and FN
metrics.seg.map  # map50-95(M)
metrics.seg.map50  # map50(M)
metrics.seg.map75  # map75(M)
metrics.seg.maps  # a list containing mAP50-95(M) for each category
metrics.seg.image_metrics  # per-image metrics dictionary for seg with precision, recall, F1, TP, FP, and FN

Dự đoán (Predict)#

Sử dụng mô hình YOLO26n-seg đã huấn luyện để chạy dự đoán trên hình ảnh.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-seg.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    xy = result.masks.xy  # mask polygons in pixel coordinates
    xyn = result.masks.xyn  # normalized mask polygons
    masks = result.masks.data  # binary masks, shape (N,H,W), dtype torch.uint8

Xem chi tiết đầy đủ về chế độ predict tại trang Predict.

Đầu ra kết quả#

YOLO instance segmentation trả về một đối tượng Results cho mỗi hình ảnh. Mỗi kết quả lưu trữ các dự đoán ở cấp độ đối tượng, trong đó mỗi instance được phát hiện có mặt nạ nhị phân, class, độ tin cậy (confidence) và hộp (box) của riêng nó.

Đối với các trường Results dành riêng cho từng tác vụ trên mọi tác vụ, hãy xem phần Predict Results by Task.

Điều này khác biệt như thế nào so với Phân đoạn ngữ nghĩa (Semantic Segmentation)#

Instance segmentation là segmentation ở cấp độ đối tượng: hai chiếc ô tô tạo ra hai mặt nạ, hai hộp và hai điểm số tin cậy. Semantic segmentation là phân loại ở cấp độ pixel: những chiếc ô tô đó trở thành các pixel có cùng class ID trong một bản đồ class có kích thước bằng hình ảnh, không có hộp theo từng đối tượng, độ tin cậy hoặc danh sách đa giác mặc định.

Xuất (Export)#

Xuất mô hình YOLO26n-seg sang một định dạng khác như ONNX, CoreML, v.v.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-seg.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom-trained model

# Export the model
model.export(format="onnx")

Các định dạng xuất YOLO26-seg có sẵn nằm trong bảng dưới đây. Bạn có thể xuất sang bất kỳ định dạng nào bằng cách sử dụng tham số format, tức là format='onnx' hoặc format='engine'. Bạn có thể dự đoán hoặc xác thực trực tiếp trên các model đã xuất, tức là yolo predict model=yolo26n-seg.onnx. Các ví dụ sử dụng được hiển thị cho model của bạn sau khi quá trình xuất hoàn tất.

Xem chi tiết đầy đủ về export tại trang Export.

Câu hỏi thường gặp#