语义分割#

Semantic segmentation 会为图像中的每个像素分配一个类别标签，生成覆盖整个场景的密集类别图。与分离单个对象的 instance segmentation 不同，语义分割会将同一类别的所有像素归为一组，无论存在多少个不同的对象。

语义分割模型的输出是一个单一的宽高类映射，其中每个像素值对应一个预测的类 ID。这使得语义分割非常适合场景解析任务，如自动驾驶、医学成像和土地覆盖映射。

模型#

在 Cityscapes 数据集上预训练的 YOLO26 语义分割模型如下所示。

模型会在首次使用时从最新的 Ultralytics 发布版本中自动下载。

• mIoU^val 值是在 Cityscapes 验证集上使用单模型单尺度测得的。
  使用 yolo semantic val data=cityscapes.yaml device=0 imgsz=2048 复现
• Speed 指标使用 RTX3090 实例在 Cityscapes 验证集图像上取平均值。
  使用 yolo semantic val data=cityscapes.yaml batch=1 device=0|cpu imgsz=2048 复现
• Params 和 FLOPs 值适用于经过 model.fuse() 处理后的融合模型，该操作会合并 Conv 和 BatchNorm 层。预训练检查点保留了完整的训练架构，可能会显示更高的数值。

在 ADE20K 数据集上预训练的 YOLO26 语义分割模型如下所示。

模型会在首次使用时从最新的 Ultralytics 发布版本中自动下载。

• mIoU^val 值是在 ADE20K 验证集上使用单模型单尺度测得的。
  使用 yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml device=0 imgsz=640 复现，并将 yolo26n-sem-ade20k.pt 替换所需的 yolo26*-sem-ade20k.pt 检查点。
• Speed 指标使用 RTX3090 实例在 ADE20K 验证集图像上取平均值。
  使用 yolo semantic val model=yolo26n-sem-ade20k.pt data=ade20k.yaml batch=1 device=0|cpu imgsz=640 复现，并将 yolo26n-sem-ade20k.pt 替换为所需的 yolo26*-sem-ade20k.pt 检查点。
• Params 和 FLOPs 值适用于经过 model.fuse() 处理后的融合模型，该操作会合并 Conv 和 BatchNorm 层。预训练检查点保留了完整的训练架构，可能会显示更高的数值。

训练#

在 Cityscapes8 数据集上以图像尺寸 1024 训练 YOLO26n-sem 100 个 epochs。有关可用参数的完整列表，请参阅 Configuration 页面。

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.yaml")  # build a new model from YAML
model = YOLO("yolo26n-sem.pt")  # load a pretrained model (recommended for training)
model = YOLO("yolo26n-sem.yaml").load("yolo26n-sem.pt")  # build from YAML and transfer weights

# Train the model
results = model.train(data="cityscapes8.yaml", epochs=100, imgsz=1024)

查看完整的 train 模式详情，请访问 Train 页面。语义分割模型也可以通过 Ultralytics Platform cloud training 进行训练。

数据集格式#

语义分割数据集使用单通道掩码图像（通常为 PNG），其中每个像素值代表一个类别 ID。值为 255 的像素会被视为“忽略”并在损失计算中被排除。数据集 YAML 应指定图像及其对应的掩码目录的路径。有关格式详细信息，请参阅 Semantic Segmentation Dataset Guide。支持的数据集包括 Cityscapes 和 ADE20K。你可以使用 Ultralytics Platform annotation 管理和标注语义数据集。

验证#

在语义分割数据集上验证已训练的 YOLO26n-sem 模型 accuracy。显式传递 data，以便验证使用预期的目标数据集 YAML。

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Validate the model
metrics = model.val(data="cityscapes.yaml")
metrics.miou  # mean Intersection over Union
metrics.pixel_accuracy  # overall pixel accuracy

预测#

使用训练好的 YOLO26n-sem 模型在图像上运行预测。

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    semantic_mask = result.semantic_mask.data  # class map, shape (H,W), integer dtype selected by class count

查看完整的 predict 模式详情，请访问 Predict 页面。

结果输出#

YOLO 语义分割为每张图像返回一个 Results 对象。每个结果为整张图像存储一个密集类别图，而不是对象掩码列表。具有相同预测类别的像素共享相同的类别 ID，即使它们属于不同的对象也是如此。

有关所有任务特定于任务的 Results 字段，请参阅按任务划分的预测结果部分。

实例分割与语义分割#

导出#

将 YOLO26n-sem 模型导出为其他格式，如 ONNX、CoreML 等。

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-sem.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Export the model
model.export(format="onnx")

可用的 YOLO26 语义分割导出格式如下表所示。你可以使用 format 参数导出到任何格式，即 format='onnx' 或 format='engine'。你可以直接在导出的模型上进行预测或验证，即 yolo predict model=yolo26n-sem.onnx。导出完成后，将显示针对你的模型的使用示例。

查看完整的 export 详情，请访问 Export 页面。

常见问题解答#

如何训练自定义数据集上的 YOLO26 语义分割模型？#

要在自定义数据集上训练 YOLO26 语义分割模型，您需要准备 PNG 掩码图像，其中每个像素值代表一个类 ID (0, 1, 2, ...)，值为 255 的像素在训练过程中会被忽略。创建一个指向您的图像和掩码目录的数据集 YAML 文件，然后进行训练：

from ultralytics import YOLO

# Load a pretrained YOLO26 semantic segmentation model
model = YOLO("yolo26n-sem.pt")

# Train the model
results = model.train(data="path/to/your_dataset.yaml", epochs=100, imgsz=512)

查看配置页面以获取更多可用参数。

实例分割和语义分割有什么区别？#

实例分割和语义分割都是像素级任务，但在关键方面有所不同：

• Semantic segmentation 会为每个像素分配一个类别标签，但不区分同一类别的各个独立对象。例如，场景中的所有汽车共享相同的类别标签。
• Instance segmentation 会分别识别每个独立对象，为每个对象生成不同的掩码，即使它们属于同一类别。

语义分割最适合自动驾驶和土地覆盖映射等场景理解任务，而当需要计数或跟踪单个对象时，则首选实例分割。

我可以使用实例分割数据来训练语义分割吗？#

可以。如果你的数据集使用 Ultralytics YOLO 多边形标签（每张图片一个 .txt），请从数据集 YAML 中省略 masks_dir，并确保数据集根目录下你的图片旁没有 masks/ 文件夹（仅凭它的存在就会触发 PNG 掩码模式，即使未设置 masks_dir）。加载器随后会在运行中将多边形转换为逐图语义掩码。对于多类数据集（N > 1），一个额外的 background 类别会自动追加到 names。对于单类数据集（N == 1），训练保持为 1 个类——你声明的类在掩码中变为 1，未覆盖的像素变为 0。详情请参阅语义分割数据集指南。

语义分割支持哪些数据集？#

Ultralytics YOLO26 为多个语义分割数据集提供了内置配置：

• Cityscapes: 包含 19 个类别的城市场景，广泛用于自动驾驶研究。
• ADE20K: 一个包含 150 个类别的大规模场景解析数据集。

您也可以使用任何提供 PNG 掩码标注的自定义数据集，其中像素值对应于类 ID。

如何验证预训练的 YOLO26 语义分割模型？#

使用用于评估的数据集 YAML 验证预训练的 YOLO26 语义分割模型：

from ultralytics import YOLO

# Load a pretrained model
model = YOLO("yolo26n-sem.pt")

# Validate the model
metrics = model.val(data="cityscapes.yaml")
print("Mean IoU:", metrics.miou)
print("Pixel Accuracy:", metrics.pixel_accuracy)

这些步骤将为您提供诸如平均交并比 (mIoU) 和像素准确度等验证指标，这些是评估语义分割性能的标准衡量指标。

如何将 YOLO26 语义分割模型导出为 ONNX 格式？#

使用 Python 或 CLI 命令将 YOLO26 语义分割模型导出为 ONNX 格式：

from ultralytics import YOLO

# Load a pretrained model
model = YOLO("yolo26n-sem.pt")

# Export the model to ONNX format
model.export(format="onnx")

有关导出到各种格式的更多详情，请参考导出页面。