深度估计数据集概览#

单目深度估计为图像中的每个像素分配一个以米为单位的深度值。深度目标使用经过缩放的 16 位灰度 PNG 或以米为单位的浮点 NPY 数组。

本指南介绍 Ultralytics YOLO 深度估计模型使用的数据集格式，并列出可用于训练和验证的内置数据集配置。

支持的数据集格式#

深度图格式#

每个训练样本由一张 RGB 图像和一个配套的深度文件组成。PNG 值会除以可选的数据集级 depth_scale，以得到米为单位的值。默认值为 1000，因此 1500 的值表示 1.5 米。代码 0 表示无效；PNG 不需要嵌入元数据。

• 深度文件使用 .png（首选）或 .npy。PNG 深度图必须是二维 uint16 灰度图像。NPY 数组必须是二维浮点数组，且值以米为单位。
• 仅当 PNG 不使用默认的毫米约定时，才设置 depth_scale。例如，KITTI 使用 256，而 Virtual KITTI 2 使用 100。
• 每个深度文件应与其匹配的图像文件具有相同的文件名主干（例如，scene_001.png 与 scene_001.jpg 配对）。
• 只要宽高比匹配，深度图可以小于其 RGB 图像；训练时会在内存中调整其大小。
• 数据集加载器通过将 images 目录组件替换为 depth 来查找深度文件，优先使用 .png，并回退到 .npy。
• 深度为 ≤ 0 的像素会被视为无效，并从损失和指标计算中排除。

由于代码 0 保留用于表示无效像素，uint16 PNG 可提供 65,535 个正深度值。缩放比例同时控制精度和范围：

这些是存储限制，而不是建议的训练上限。数据集可以独立设置更小的 max_depth，用于损失校准或评估。

标准目录结构将图像和深度图放在相互对应的文件夹中：

dataset/
├── images/
│   ├── train/
│   └── val/
└── depth/
    ├── train/
    └── val/

例如，images/train/scene_001.jpg 中的图像与 depth/train/scene_001.png 中的深度图配对。

数据集 YAML 格式#

深度估计数据集通过 YAML 文件进行配置。主要字段包括：

# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# NYU Depth V2 dataset for monocular depth estimation
# Documentation: https://cs.nyu.edu/~fergus/datasets/nyu_depth_v2.html
# 795 train + 654 val (Eigen test split) images, 480x640, indoor scenes, depth in meters
# Example usage: yolo depth train data=nyu-depth.yaml model=yolo26n-depth.pt
# parent
# ├── ultralytics
# └── datasets
#     └── nyu-depth-png  ← downloads here (≈1.5 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: nyu-depth-png # dataset root dir (relative to Ultralytics settings 'datasets_dir')
train: images/train # train images (relative to 'path') 795 images
val: images/val # val images (relative to 'path') 654 images

# Depth maps are paired uint16 millimeter PNGs under depth/<split>/, resolved by
# swapping '/images/' -> '/depth/' on each image path.

# Classes
nc: 1
names:
  0: depth

channels: 3
depth_scale: 1000

# Download script/URL (optional)
download: https://github.com/ultralytics/assets/releases/download/v0.0.0/nyu-depth-png.zip

使用方法#

使用 Python 或 CLI 训练 YOLO26 深度估计模型：

from ultralytics import YOLO

# Load a pretrained depth model
model = YOLO("yolo26n-depth.pt")

# Train on the NYU Depth V2 dataset
results = model.train(data="nyu-depth.yaml", epochs=100, imgsz=640)

支持的数据集#

YOLO26 深度模型在广泛的多数据集混合（约 219 万张图像）上进行预训练，涵盖室内（≤10 米）至室外（约 80 米）的范围，随后在五个基准测试中进行评估，除 KITTI Eigen 外均采用零样本评估。每个数据集都有专门的页面，其中几个托管在 Ultralytics Platform 上，供你浏览和进行云端训练。

调试

• Depth8 — 包含 8 张 SUN RGB-D 图像的 1.3 MB 自动下载压缩包，用于快速测试流程

预训练来源

• ARKitScenes — 真实室内场景，Apple ARKit LiDAR（最大的真实数据来源）
• SUN RGB-D — 真实室内场景，多传感器 RGB-D
• DIODE — 真实室内 + 室外场景，密集激光扫描真值
• Hypersim — 合成照片级真实感室内场景
• TartanAir — 合成数据，多样化环境
• Virtual KITTI 2 — 合成室外驾驶场景
• KITTI — 真实室外驾驶场景，Velodyne LiDAR（同时也是评估基准）
• ImageNet（伪标注） — 伪标注蒸馏集，最大的单一数据来源

评估基准

• NYU Depth V2 — 主要室内基准
• KITTI Eigen — 室外驾驶基准
• ETH3D — 高精度室内 + 室外场景
• Make3D — 室外场景，分布外数据
• iBims-1 — 高质量室内场景（边缘和平面表面）

这些基准上的各模型精度以及可下载的预训练权重列于深度估计任务页面。如果数据集 YAML 的 train 字段列出多个图像目录，则会组合这些来源进行大规模混合训练。

添加你自己的数据集#

1. 将 RGB 图像保存到诸如 images/train 和 images/val 的划分文件夹中。
2. 在匹配的 depth/train 和 depth/val 文件夹中，每张图像保存一个深度 PNG 或 NPY 文件，并使用与图像相同的文件名主干。使用 save_depth_png() 将米制数组转换为紧凑的毫米 PNG。
3. 确保解码后的深度值以米为单位，并确保无效或缺失像素使用 0 或负值表示。
4. 创建包含 path、train、val、nc: 1 和 names: {0: depth} 的数据集 YAML。

path: path/to/my-depth-dataset
train: images/train
val: images/val

nc: 1
names:
    0: depth

# Optional: PNG integer units per meter (default 1000)
depth_scale: 1000

常见问题#