Phân đoạn ngữ nghĩa (Semantic Segmentation)#

Semantic segmentation gán nhãn lớp cho mọi pixel trong ảnh, tạo ra một bản đồ lớp dày đặc bao phủ toàn bộ khung cảnh. Khác với instance segmentation dùng để tách biệt các đối tượng riêng lẻ, semantic segmentation nhóm tất cả các pixel có cùng lớp lại với nhau bất kể có bao nhiêu đối tượng khác nhau hiện diện.

Đầu ra của một mô hình phân đoạn ngữ nghĩa là một bản đồ lớp đơn lẻ có kích thước chiều cao nhân chiều rộng, trong đó mỗi giá trị pixel tương ứng với một ID lớp được dự đoán. Điều này làm cho phân đoạn ngữ nghĩa trở nên lý tưởng cho các tác vụ phân tích cảnh như lái xe tự động, hình ảnh y tế và lập bản đồ che phủ đất.

Models#

Các model semantic segmentation YOLO26 được huấn luyện trước trên tập dữ liệu Cityscapes được hiển thị bên dưới.

Models được tải xuống tự động từ bản release Ultralytics mới nhất trong lần sử dụng đầu tiên.

• Các giá trị mIoU^val dành cho model đơn, quy mô đơn trên tập xác thực Cityscapes.
  Tái tạo lại bằng yolo semantic val data=cityscapes.yaml device=0 imgsz=2048
• Các chỉ số Speed được tính trung bình trên các ảnh xác thực Cityscapes sử dụng một instance RTX3090.
  Tái tạo lại bằng yolo semantic val data=cityscapes.yaml batch=1 device=0|cpu imgsz=2048
• Các giá trị Params và FLOPs dành cho model đã được hợp nhất sau model.fuse(), thao tác hợp nhất các lớp Conv và BatchNorm. Các checkpoint huấn luyện trước giữ nguyên toàn bộ kiến trúc huấn luyện và có thể hiển thị số lượng lớn hơn.

Các model semantic segmentation YOLO26 được huấn luyện trước trên tập dữ liệu ADE20K được hiển thị bên dưới.

Models được tải xuống tự động từ bản release Ultralytics mới nhất trong lần sử dụng đầu tiên.

• Các giá trị mIoU^val dành cho model đơn, quy mô đơn trên tập xác thực ADE20K.
  Tái tạo lại bằng yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml device=0 imgsz=640, thay thế yolo26n-sem-ade20k.pt bằng checkpoint yolo26*-sem-ade20k.pt mong muốn.
• Các chỉ số Speed được tính trung bình trên các ảnh xác thực ADE20K sử dụng một instance RTX3090.
  Tái tạo lại bằng yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml batch=1 device=0|cpu imgsz=640, thay thế yolo26n-sem-ade20k.pt bằng checkpoint yolo26*-sem-ade20k.pt mong muốn.
• Các giá trị Params và FLOPs dành cho model đã được hợp nhất sau model.fuse(), thao tác hợp nhất các lớp Conv và BatchNorm. Các checkpoint huấn luyện trước giữ nguyên toàn bộ kiến trúc huấn luyện và có thể hiển thị số lượng lớn hơn.

Huấn luyện (Train)#

Huấn luyện YOLO26n-sem trên tập dữ liệu Cityscapes8 trong 100 epochs với kích thước ảnh 1024. Để có danh sách đầy đủ các tham số khả dụng, hãy xem trang Configuration.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.yaml")  # build a new model from YAML
model = YOLO("yolo26n-sem.pt")  # load a pretrained model (recommended for training)
model = YOLO("yolo26n-sem.yaml").load("yolo26n-sem.pt")  # build from YAML and transfer weights

# Train the model
results = model.train(data="cityscapes8.yaml", epochs=100, imgsz=1024)

Xem chi tiết chế độ train đầy đủ trong trang Train. Các model semantic segmentation cũng có thể được huấn luyện bằng Ultralytics Platform cloud training.

Định dạng tập dữ liệu#

Các tập dữ liệu semantic segmentation sử dụng hình ảnh mặt nạ (mask) đơn kênh, thường là định dạng PNG, trong đó mỗi giá trị pixel đại diện cho một ID lớp. Các pixel có giá trị 255 được coi là "bỏ qua" và bị loại trừ khỏi quá trình tính toán mất mát (loss). Tệp YAML của tập dữ liệu phải chỉ định đường dẫn đến hình ảnh và thư mục mặt nạ tương ứng của chúng. Xem Semantic Segmentation Dataset Guide để biết chi tiết về định dạng. Các tập dữ liệu được hỗ trợ bao gồm Cityscapes và ADE20K. Bạn có thể quản lý và gán nhãn các tập dữ liệu ngữ nghĩa bằng Ultralytics Platform annotation.

Val#

Xác thực accuracy của model YOLO26n-sem đã huấn luyện trên một tập dữ liệu semantic segmentation. Truyền rõ ràng data để quá trình xác thực sử dụng đúng tệp YAML tập dữ liệu dự định.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Validate the model
metrics = model.val(data="cityscapes.yaml")
metrics.miou  # mean Intersection over Union
metrics.pixel_accuracy  # overall pixel accuracy

Dự đoán (Predict)#

Sử dụng mô hình YOLO26n-sem đã huấn luyện để thực hiện dự đoán trên hình ảnh.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    semantic_mask = result.semantic_mask.data  # class map, shape (H,W), integer dtype selected by class count

Xem chi tiết đầy đủ về chế độ predict tại trang Predict.

Đầu ra kết quả#

YOLO semantic segmentation trả về một đối tượng Results cho mỗi hình ảnh. Mỗi kết quả lưu trữ một bản đồ lớp dày đặc cho toàn bộ hình ảnh thay vì danh sách các mặt nạ đối tượng. Các pixel có cùng lớp dự đoán sẽ chia sẻ chung một ID lớp, ngay cả khi chúng thuộc các đối tượng riêng biệt.

Đối với các trường Results dành riêng cho từng tác vụ trên mọi tác vụ, hãy xem phần Predict Results by Task.

Phân đoạn Cá thể so với Phân đoạn Ngữ nghĩa#

Xuất (Export)#

Xuất mô hình YOLO26n-sem sang một định dạng khác như ONNX, CoreML, v.v.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Export the model
model.export(format="onnx")

Các định dạng xuất semantic segmentation YOLO26 khả dụng được liệt kê trong bảng bên dưới. Bạn có thể xuất sang bất kỳ định dạng nào bằng cách sử dụng tham số format, tức là format='onnx' hoặc format='engine'. Bạn có thể dự đoán hoặc xác thực trực tiếp trên các model đã xuất, tức là yolo predict model=yolo26n-sem.onnx. Các ví dụ sử dụng được hiển thị cho model của bạn sau khi quá trình xuất hoàn tất.

Xem chi tiết đầy đủ về export tại trang Export.

Câu hỏi thường gặp#