Link to this sectionPhân đoạn ngữ nghĩa (Semantic Segmentation)#
Phân đoạn ngữ nghĩa gán nhãn lớp cho mọi pixel trong ảnh, tạo ra một bản đồ lớp dày đặc bao phủ toàn bộ khung cảnh. Khác với phân đoạn cá thể, vốn tách biệt các đối tượng riêng lẻ, phân đoạn ngữ nghĩa nhóm tất cả các pixel cùng lớp lại với nhau bất kể có bao nhiêu đối tượng riêng biệt hiện diện.
Watch: Semantic Segmentation with Ultralytics YOLO26 | Quickstart Tutorial
Đầu ra của một mô hình phân đoạn ngữ nghĩa là một bản đồ lớp đơn lẻ có kích thước chiều cao nhân chiều rộng, trong đó mỗi giá trị pixel tương ứng với một ID lớp được dự đoán. Điều này làm cho phân đoạn ngữ nghĩa trở nên lý tưởng cho các tác vụ phân tích cảnh như lái xe tự động, hình ảnh y tế và lập bản đồ che phủ đất.
Sử dụng task=semantic hoặc tác vụ CLI yolo semantic cho phân đoạn ngữ nghĩa. Các tệp mô hình phân đoạn ngữ nghĩa YOLO26 sử dụng hậu tố -sem, ví dụ: yolo26n-sem.pt.
Link to this sectionModel#
Các mô hình phân đoạn ngữ nghĩa YOLO26 được huấn luyện trước trên tập dữ liệu Cityscapes được hiển thị bên dưới.
Các Models sẽ tự động tải xuống từ release mới nhất của Ultralytics ngay lần đầu sử dụng.
| Mô hình | kích thước (pixel) | mIoUval | Tốc độ RTX3090 PyTorch (ms) | params (M) | FLOPs (B) |
|---|---|---|---|---|---|
| YOLO26n-sem | 1024 × 2048 | 78.3 | 4.4 ± 0.0 | 1.6 | 22.7 |
| YOLO26s-sem | 1024 × 2048 | 80.8 | 8.4 ± 0.0 | 6.5 | 88.8 |
| YOLO26m-sem | 1024 × 2048 | 82.0 | 19.9 ± 0.1 | 14.3 | 304.5 |
| YOLO26l-sem | 1024 × 2048 | 82.9 | 26.5 ± 0.1 | 17.9 | 384.7 |
| YOLO26x-sem | 1024 × 2048 | 83.6 | 48.9 ± 0.2 | 40.2 | 861.7 |
- Các giá trị mIoUval dành cho mô hình đơn lẻ quy mô đơn trên tập xác thực Cityscapes.
Tái tạo vớiyolo semantic val data=cityscapes.yaml device=0 imgsz=2048 - Các chỉ số Tốc độ được tính trung bình trên các ảnh xác thực Cityscapes sử dụng instance RTX3090.
Tái tạo vớiyolo semantic val data=cityscapes.yaml batch=1 device=0|cpu imgsz=2048 - Các giá trị Params và FLOPs dành cho model đã được hợp nhất sau
model.fuse(), giúp gộp các lớp Conv và BatchNorm. Các checkpoint đã được huấn luyện trước vẫn giữ nguyên kiến trúc huấn luyện đầy đủ và có thể hiển thị số lượng cao hơn.
Các model semantic segmentation YOLO26 được huấn luyện trước trên tập dữ liệu ADE20K được hiển thị dưới đây.
Các Models sẽ tự động tải xuống từ release mới nhất của Ultralytics ngay lần đầu sử dụng.
| Mô hình | kích thước (pixel) | mIoUval | Tốc độ RTX3090 PyTorch (ms) | params (M) | FLOPs (B) |
|---|---|---|---|---|---|
| YOLO26n-sem-ade20k | 640 | 38.8 | 3.9 ± 0.2 | 1.6 | 4.4 |
| YOLO26s-sem-ade20k | 640 | 45.6 | 4.2 ± 0.3 | 6.5 | 17.4 |
| YOLO26m-sem-ade20k | 640 | 47.4 | 4.7 ± 0.3 | 14.3 | 59.5 |
| YOLO26l-sem-ade20k | 640 | 49.7 | 8.3 ± 0.2 | 17.9 | 75.0 |
| YOLO26x-sem-ade20k | 640 | 51.5 | 9.9 ± 0.3 | 40.2 | 168.1 |
- Các giá trị mIoUval dành cho single-model single-scale trên tập validation ADE20K.
Tái lập bằng lệnhyolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml device=0 imgsz=640, thay thếyolo26n-sem-ade20k.ptbằng checkpointyolo26*-sem-ade20k.ptmong muốn. - Các chỉ số Speed được tính trung bình trên các ảnh validation của ADE20K sử dụng instance RTX3090.
Tái lập bằng lệnhyolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml batch=1 device=0|cpu imgsz=640, thay thếyolo26n-sem-ade20k.ptbằng checkpointyolo26*-sem-ade20k.ptmong muốn. - Các giá trị Params và FLOPs dành cho model đã được hợp nhất sau
model.fuse(), giúp gộp các lớp Conv và BatchNorm. Các checkpoint đã được huấn luyện trước vẫn giữ nguyên kiến trúc huấn luyện đầy đủ và có thể hiển thị số lượng cao hơn.
Link to this sectionHuấn luyện (Train)#
Huấn luyện YOLO26n-sem trên tập dữ liệu Cityscapes8 trong 100 epoch ở kích thước ảnh 1024. Để có danh sách đầy đủ các tham số khả dụng, hãy xem trang Cấu hình.
from ultralytics import YOLO
# Load a model
model = YOLO("yolo26n-sem.yaml") # build a new model from YAML
model = YOLO("yolo26n-sem.pt") # load a pretrained model (recommended for training)
model = YOLO("yolo26n-sem.yaml").load("yolo26n-sem.pt") # build from YAML and transfer weights
# Train the model
results = model.train(data="cityscapes8.yaml", epochs=100, imgsz=1024)Xem chi tiết chế độ train đầy đủ trong trang Train. Các model phân đoạn ngữ nghĩa (semantic segmentation) cũng có thể được huấn luyện với Ultralytics Platform cloud training.
Link to this sectionĐịnh dạng tập dữ liệu#
Các tập dữ liệu phân đoạn ngữ nghĩa sử dụng ảnh mặt nạ (mask) đơn kênh, thường là PNG, trong đó mỗi giá trị pixel đại diện cho một class ID. Các pixel có giá trị 255 được coi là "ignore" và bị loại trừ khỏi quá trình tính toán loss. Tệp YAML của tập dữ liệu cần chỉ định đường dẫn đến ảnh và thư mục mặt nạ tương ứng. Xem Semantic Segmentation Dataset Guide để biết chi tiết về định dạng. Các tập dữ liệu được hỗ trợ bao gồm Cityscapes và ADE20K. Bạn có thể quản lý và gán nhãn các tập dữ liệu ngữ nghĩa với Ultralytics Platform annotation.
Link to this sectionVal#
Xác thực độ chính xác của mô hình YOLO26n-sem đã huấn luyện trên tập dữ liệu phân đoạn ngữ nghĩa. Hãy truyền data một cách rõ ràng để quá trình xác thực sử dụng đúng tệp YAML của tập dữ liệu mong muốn.
from ultralytics import YOLO
# Load a model
model = YOLO("yolo26n-sem.pt") # load an official model
model = YOLO("path/to/best.pt") # load a custom model
# Validate the model
metrics = model.val(data="cityscapes.yaml")
metrics.miou # mean Intersection over Union
metrics.pixel_accuracy # overall pixel accuracyLink to this sectionDự đoán (Predict)#
Sử dụng mô hình YOLO26n-sem đã huấn luyện để thực hiện dự đoán trên hình ảnh.
from ultralytics import YOLO
# Load a model
model = YOLO("yolo26n-sem.pt") # load an official model
model = YOLO("path/to/best.pt") # load a custom model
# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg") # predict on an image
# Access the results
for result in results:
semantic_mask = result.semantic_mask.data # class map, shape (H,W), integer dtype selected by class countXem chi tiết đầy đủ về chế độ predict trong trang Dự đoán.
Link to this sectionĐầu ra kết quả#
Phân đoạn ngữ nghĩa YOLO trả về một đối tượng Results cho mỗi hình ảnh. Mỗi kết quả lưu trữ một bản đồ lớp dày đặc cho toàn bộ hình ảnh thay vì danh sách các mặt nạ đối tượng. Các pixel có cùng lớp dự đoán sẽ chia sẻ cùng một ID lớp, ngay cả khi chúng thuộc về các đối tượng riêng biệt.
| Thuộc tính | Loại | Kích thước | Mô tả |
|---|---|---|---|
result.semantic_mask | SemanticMask | (H,W) | Bản đồ lớp dày đặc. |
result.semantic_mask.data | torch.uint8torch.int16torch.int32 | (H,W) | ID lớp; dtype được chọn dựa trên số lượng lớp. |
result.masks | - | - | Không có mask thực thể. |
result.boxes | - | - | Không có khung bao/độ tin cậy thực thể. |
result.masks.xy | - | - | Không có đa giác mặc định. |
Để biết các trường Results cụ thể cho từng tác vụ, hãy xem phần Dự đoán kết quả theo tác vụ.
Semantic segmentation dự đoán một bản đồ lớp dày đặc, sau đó thay đổi kích thước bản đồ đó về hình dạng ảnh gốc để trực quan hóa và sử dụng cho các tác vụ tiếp theo. Do đó, các cấu trúc rất mỏng như vạch kẻ làn đường, đường kẻ sân, cột hoặc dây điện có thể trông giống như bậc thang khi quá trình inference chạy ở imgsz thấp hơn nhiều so với độ phân giải ảnh gốc. Nếu các đường biên xuất hiện răng cưa, trước tiên hãy kiểm tra lại model PyTorch .pt gốc với imgsz lớn hơn, chẳng hạn như 1024, 1280 hoặc giá trị thực tế gần nhất với kích thước ảnh nguồn. Chỉ sử dụng các model đã export sau khi xác nhận kết quả đầu ra .pt là chấp nhận được, vì các đầu vào độ phân giải thấp hơn không thể khôi phục các chi tiết nhỏ vốn không có trong bản đồ lớp được dự đoán.
Link to this sectionPhân đoạn Cá thể so với Phân đoạn Ngữ nghĩa#
| Khía cạnh | Phân đoạn Cá thể (task="segment") | Phân đoạn Ngữ nghĩa (task="semantic") |
|---|---|---|
| Mục tiêu dự đoán | Phân đoạn riêng biệt từng đối tượng được phát hiện | Gán một ID lớp cho mọi pixel |
| Trường đầu ra | result.masks | result.semantic_mask |
| Dữ liệu chính | result.masks.data | result.semantic_mask.data |
| Kích thước | (N,H,W) | (H,W) |
| Giá trị pixel | Giá trị mặt nạ nhị phân: 0 hoặc 1 | ID lớp: 0, 1, 2, ... |
| Dtype | torch.uint8 | torch.uint8torch.int16torch.int32 |
| Các đối tượng cùng lớp | Được giữ nguyên dưới dạng các cá thể riêng biệt | Hợp nhất thành cùng một vùng lớp |
| Đa giác (Polygons) | Có, thông qua result.masks.xy và result.masks.xyn | Không có đầu ra đa giác theo mặc định |
| Hộp bao (Boxes) và độ tin cậy | Có, thông qua result.boxes | Không có hộp bao hoặc điểm tin cậy cho từng cá thể |
| Sử dụng điển hình | Đếm, theo dõi, cắt, đo lường cấp độ đối tượng | Gán nhãn cảnh dày đặc, khu vực có thể lái xe, che phủ đất, vùng y tế |
Link to this sectionXuất (Export)#
Xuất mô hình YOLO26n-sem sang một định dạng khác như ONNX, CoreML, v.v.
from ultralytics import YOLO
# Load a model
model = YOLO("yolo26n-sem.pt") # load an official model
model = YOLO("path/to/best.pt") # load a custom model
# Export the model
model.export(format="onnx")Các định dạng xuất phân đoạn ngữ nghĩa YOLO26 khả dụng có trong bảng dưới đây. Bạn có thể xuất sang bất kỳ định dạng nào bằng cách sử dụng tham số format, ví dụ: format='onnx' hoặc format='engine'. Bạn có thể dự đoán hoặc xác thực trực tiếp trên các mô hình đã xuất, ví dụ: yolo predict model=yolo26n-sem.onnx. Các ví dụ sử dụng được hiển thị cho mô hình của bạn sau khi quá trình xuất hoàn tất.
| Định dạng | Tham số format | Mô hình | Metadata | Tham số |
|---|---|---|---|---|
| PyTorch | - | yolo26n-sem.pt | ✅ | - |
| TorchScript | torchscript | yolo26n-sem.torchscript | ✅ | imgsz, quantize, dynamic, nms, batch, device |
| ONNX | onnx | yolo26n-sem.onnx | ✅ | imgsz, quantize, dynamic, simplify, opset, nms, batch, data, fraction, device |
| OpenVINO | openvino | yolo26n-sem_openvino_model/ | ✅ | imgsz, quantize, dynamic, nms, batch, data, fraction, device |
| TensorRT | engine | yolo26n-sem.engine | ✅ | imgsz, quantize, dynamic, simplify, workspace, nms, batch, data, fraction, device |
| CoreML | coreml | yolo26n-sem.mlpackage | ✅ | imgsz, dynamic, quantize, nms, batch, device |
| TF SavedModel | saved_model | yolo26n-sem_saved_model/ | ✅ | imgsz, keras, quantize, nms, batch, data, fraction, device |
| TF GraphDef | pb | yolo26n-sem.pb | ❌ | imgsz, batch, device |
| TF Edge TPU | edgetpu | yolo26n-sem_edgetpu.tflite | ✅ | imgsz, quantize, data, fraction, device |
| PaddlePaddle | paddle | yolo26n-sem_paddle_model/ | ✅ | imgsz, batch, device |
| MNN | mnn | yolo26n-sem.mnn | ✅ | imgsz, batch, dynamic, quantize, nms, device |
| NCNN | ncnn | yolo26n-sem_ncnn_model/ | ✅ | imgsz, quantize, batch, device |
| IMX500 | imx | yolo26n-sem_imx_model/ | ✅ | imgsz, quantize, data, fraction, nms, device |
| RKNN | rknn | yolo26n-sem_rknn_model/ | ✅ | imgsz, batch, name, quantize, data, fraction, device |
| ExecuTorch | executorch | yolo26n-sem_executorch_model/ | ✅ | imgsz, batch, device |
| Axelera | axelera | yolo26n-sem_axelera_model/ | ✅ | imgsz, batch, quantize, data, fraction, device |
| DEEPX | deepx | yolo26n-sem_deepx_model/ | ✅ | imgsz, quantize, data, optimize, device |
| Qualcomm QNN | qnn | yolo26n-sem_qnn.onnx | ✅ | imgsz, batch, name, quantize, data, fraction, device |
| LiteRT | litert | yolo26n-sem.tflite | ✅ | imgsz, quantize, batch, data, fraction, device |
| Hailo | hailo | yolo26n-sem_hailo_model/ | ✅ | imgsz, name, quantize, data, fraction, opset, simplify, conf, iou |
Xem chi tiết export đầy đủ trong trang Export.
Link to this sectionCâu hỏi thường gặp#
Link to this sectionLàm cách nào để huấn luyện mô hình phân đoạn ngữ nghĩa YOLO26 trên tập dữ liệu tùy chỉnh?#
Để huấn luyện mô hình phân đoạn ngữ nghĩa YOLO26 trên tập dữ liệu tùy chỉnh, bạn cần chuẩn bị các ảnh mặt nạ PNG trong đó mỗi giá trị pixel đại diện cho một ID lớp (0, 1, 2, ...) và các pixel có giá trị 255 sẽ bị bỏ qua trong quá trình huấn luyện. Tạo một tệp YAML tập dữ liệu trỏ đến các thư mục ảnh và mặt nạ của bạn, sau đó huấn luyện mô hình:
from ultralytics import YOLO
# Load a pretrained YOLO26 semantic segmentation model
model = YOLO("yolo26n-sem.pt")
# Train the model
results = model.train(data="path/to/your_dataset.yaml", epochs=100, imgsz=512)Kiểm tra trang Configuration để biết thêm các tham số khả dụng.
Link to this sectionSự khác biệt giữa phân đoạn cá thể và phân đoạn ngữ nghĩa là gì?#
Phân đoạn cá thể và phân đoạn ngữ nghĩa đều là các tác vụ ở cấp độ pixel nhưng khác nhau ở một điểm chính:
- Phân đoạn ngữ nghĩa gán một nhãn lớp cho mọi pixel nhưng không phân biệt giữa các đối tượng riêng lẻ cùng lớp. Ví dụ, tất cả xe hơi trong một cảnh đều chia sẻ cùng một nhãn lớp.
- Phân đoạn cá thể xác định từng đối tượng riêng lẻ một cách tách biệt, tạo ra các mặt nạ riêng biệt cho mỗi đối tượng ngay cả khi chúng thuộc cùng một lớp.
Phân đoạn ngữ nghĩa phù hợp nhất cho các tác vụ hiểu cảnh như lái xe tự động và lập bản đồ che phủ đất, trong khi phân đoạn cá thể được ưu tiên khi việc đếm hoặc theo dõi từng đối tượng riêng lẻ là quan trọng.
Link to this sectionTôi có thể sử dụng dữ liệu phân đoạn cá thể để huấn luyện phân đoạn ngữ nghĩa không?#
Có. Nếu tập dữ liệu của bạn sử dụng nhãn đa giác Ultralytics YOLO (một tệp .txt cho mỗi ảnh), hãy bỏ qua masks_dir trong file YAML của tập dữ liệu, và đảm bảo rằng không có thư mục masks/ nào nằm cạnh các hình ảnh tại thư mục gốc của tập dữ liệu (sự hiện diện của nó sẽ kích hoạt chế độ mặt nạ PNG ngay cả khi chưa thiết lập masks_dir). Trình tải sau đó sẽ tự động chuyển đổi các đa giác thành mặt nạ ngữ nghĩa cho từng ảnh trong quá trình chạy. Đối với các tập dữ liệu đa lớp (N > 1), một lớp background bổ sung sẽ được tự động thêm vào names. Đối với các tập dữ liệu đơn lớp (N == 1), quá trình huấn luyện vẫn giữ ở mức 1 lớp — lớp bạn đã khai báo sẽ trở thành 1 trong mặt nạ và các pixel không được che phủ sẽ trở thành 0. Xem Hướng dẫn về Tập dữ liệu Phân đoạn Ngữ nghĩa để biết chi tiết.
Link to this sectionNhững tập dữ liệu nào được hỗ trợ cho phân đoạn ngữ nghĩa?#
Ultralytics YOLO26 cung cấp các cấu hình có sẵn cho một số tập dữ liệu phân đoạn ngữ nghĩa:
- Cityscapes: Các cảnh đường phố đô thị với 19 lớp, được sử dụng rộng rãi cho nghiên cứu lái xe tự động.
- ADE20K: Một tập dữ liệu phân tích cảnh quy mô lớn với 150 lớp.
Bạn cũng có thể sử dụng bất kỳ tập dữ liệu tùy chỉnh nào cung cấp chú thích mặt nạ PNG trong đó các giá trị pixel tương ứng với các ID lớp.
Link to this sectionLàm cách nào để xác thực một mô hình phân đoạn ngữ nghĩa YOLO26 đã huấn luyện trước?#
Xác thực một mô hình phân đoạn ngữ nghĩa YOLO26 đã huấn luyện trước với tệp YAML tập dữ liệu được sử dụng để đánh giá:
from ultralytics import YOLO
# Load a pretrained model
model = YOLO("yolo26n-sem.pt")
# Validate the model
metrics = model.val(data="cityscapes.yaml")
print("Mean IoU:", metrics.miou)
print("Pixel Accuracy:", metrics.pixel_accuracy)Các bước này sẽ cung cấp cho bạn các chỉ số xác thực như Intersection over Union trung bình (mIoU) và độ chính xác pixel, đây là các thước đo tiêu chuẩn để đánh giá hiệu suất phân đoạn ngữ nghĩa.
Link to this sectionLàm thế nào tôi có thể xuất mô hình phân đoạn ngữ nghĩa YOLO26 sang định dạng ONNX?#
Xuất mô hình phân đoạn ngữ nghĩa YOLO26 sang định dạng ONNX bằng Python hoặc lệnh CLI:
from ultralytics import YOLO
# Load a pretrained model
model = YOLO("yolo26n-sem.pt")
# Export the model to ONNX format
model.export(format="onnx")Để biết thêm chi tiết về việc xuất sang các định dạng khác nhau, hãy tham khảo trang Export.