Phân đoạn ngữ nghĩa với Ultralytics YOLO#

Phân đoạn ngữ nghĩa gán nhãn lớp cho mọi pixel trong một hình ảnh, tạo ra bản đồ lớp dày đặc bao phủ toàn bộ cảnh. Không giống phân đoạn đối tượng, vốn phân tách từng đối tượng riêng lẻ, phân đoạn ngữ nghĩa nhóm tất cả pixel cùng lớp lại với nhau bất kể có bao nhiêu đối tượng riêng biệt hiện diện.

Đầu ra của model phân đoạn ngữ nghĩa là một bản đồ lớp có kích thước bằng chiều cao × chiều rộng, trong đó giá trị của mỗi pixel tương ứng với ID lớp được dự đoán. Điều này khiến phân đoạn ngữ nghĩa phù hợp với các tác vụ phân tích cảnh như lái xe tự động, chụp ảnh y tế và lập bản đồ lớp phủ mặt đất.

Models#

Các model phân đoạn ngữ nghĩa YOLO26 được pretrained trên dataset Cityscapes được hiển thị bên dưới.

Models được tự động tải xuống từ bản phát hành mới nhất của Ultralytics trong lần sử dụng đầu tiên.

• Các giá trị mIoU^val là kết quả của một model, một scale trên tập validation Cityscapes.
  Tái hiện bằng yolo semantic val data=cityscapes.yaml device=0 imgsz=2048
• Các chỉ số Speed được tính trung bình trên các ảnh validation của Cityscapes bằng một instance RTX3090.
  Tái hiện bằng yolo semantic val data=cityscapes.yaml batch=1 device=0|cpu imgsz=2048
• Các giá trị Params và FLOPs áp dụng cho model đã fuse sau model.fuse(), trong đó các layer Conv và BatchNorm được hợp nhất. Các checkpoint pretrained giữ nguyên kiến trúc training đầy đủ và có thể hiển thị số lượng cao hơn.

Các model phân đoạn ngữ nghĩa YOLO26 được pretrained trên dataset ADE20K được hiển thị bên dưới.

Models được tự động tải xuống từ bản phát hành mới nhất của Ultralytics trong lần sử dụng đầu tiên.

• Các giá trị mIoU^val là kết quả của một model, một scale trên tập validation ADE20K.
  Tái hiện bằng yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml device=0 imgsz=640, thay yolo26n-sem-ade20k.pt bằng checkpoint yolo26*-sem-ade20k.pt mong muốn.
• Các chỉ số Speed được tính trung bình trên các ảnh validation của ADE20K bằng một instance RTX3090.
  Tái hiện bằng yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml batch=1 device=0|cpu imgsz=640, thay yolo26n-sem-ade20k.pt bằng checkpoint yolo26*-sem-ade20k.pt mong muốn.
• Các giá trị Params và FLOPs áp dụng cho model đã fuse sau model.fuse(), trong đó các layer Conv và BatchNorm được hợp nhất. Các checkpoint pretrained giữ nguyên kiến trúc training đầy đủ và có thể hiển thị số lượng cao hơn.

Xem bản xem trước YOLO27 chưa phát hành để biết kết quả mIoU sơ bộ trên Cityscapes.

Huấn luyện#

Train YOLO26n-sem trên dataset Cityscapes8 trong 100 epoch với kích thước ảnh là 1024. Xem danh sách đầy đủ các đối số hiện có trên trang Configuration.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.yaml")  # build a new model from YAML
model = YOLO("yolo26n-sem.pt")  # load a pretrained model (recommended for training)
model = YOLO("yolo26n-sem.yaml").load("yolo26n-sem.pt")  # build from YAML and transfer weights

# Train the model
results = model.train(data="cityscapes8.yaml", epochs=100, imgsz=1024)

Xem thông tin đầy đủ về chế độ train trên trang Train. Các model phân đoạn ngữ nghĩa cũng có thể được train bằng Ultralytics Platform cloud training.

Định dạng dataset#

Dataset phân đoạn ngữ nghĩa sử dụng ảnh mask một kênh, thường ở định dạng PNG, trong đó giá trị của mỗi pixel biểu thị một ID lớp. Các pixel có giá trị 255 được xem là "ignore" và bị loại khỏi phép tính loss. YAML của dataset cần chỉ định đường dẫn đến các thư mục ảnh và mask tương ứng. Xem Semantic Segmentation Dataset Guide để biết chi tiết về định dạng. Các dataset được hỗ trợ gồm Cityscapes và ADE20K. Bạn có thể quản lý và gán nhãn dataset ngữ nghĩa bằng Ultralytics Platform annotation.

Val#

Validate độ chính xác của model YOLO26n-sem đã train trên dataset phân đoạn ngữ nghĩa. Truyền tường minh data để validation sử dụng đúng YAML của dataset.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Validate the model
metrics = model.val(data="cityscapes.yaml")
metrics.miou  # mean Intersection over Union
metrics.pixel_accuracy  # overall pixel accuracy

Predict#

Sử dụng model YOLO26n-sem đã train để chạy dự đoán trên các ảnh.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    semantic_mask = result.semantic_mask.data  # class map, shape (H,W), integer dtype selected by class count

Xem đầy đủ chi tiết về mode predict trên trang Predict.

Output kết quả#

Phân đoạn ngữ nghĩa YOLO trả về một đối tượng Results cho mỗi ảnh. Mỗi result lưu một bản đồ lớp dày đặc cho toàn bộ ảnh thay vì một danh sách các mask đối tượng. Các pixel có cùng lớp được dự đoán sẽ dùng chung một ID lớp, ngay cả khi chúng thuộc về các đối tượng riêng biệt.

Để xem các field Results dành riêng cho từng task trên mọi task, hãy xem phần Predict Results by Task.

Phân đoạn đối tượng và Phân đoạn ngữ nghĩa#

Export#

Export model YOLO26n-sem sang định dạng khác như ONNX, CoreML, v.v.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Export the model
model.export(format="onnx")

Các định dạng export phân đoạn ngữ nghĩa YOLO26 hiện có được liệt kê trong bảng bên dưới. Bạn có thể export sang bất kỳ định dạng nào bằng đối số format, tức là format='onnx' hoặc format='engine'. Bạn có thể dự đoán hoặc validate trực tiếp trên các model đã export, tức là yolo predict model=yolo26n-sem.onnx. Các ví dụ sử dụng cho model của bạn sẽ được hiển thị sau khi quá trình export hoàn tất.

nms=None mặc định sử dụng đầu ra thô cho NMS bên ngoài. Thiết lập nms=False để chọn phần đầu không có NMS khả dụng; các định dạng không được hỗ trợ sẽ quay lại đường dẫn đầu ra gốc của chúng. Các mục nms ở trên xác định các định dạng có thể nhúng NMS bằng nms=True.

Xem đầy đủ chi tiết về export trên trang Export.

FAQ#