深度估计数据集概述#

单目深度估计为图像中的每个像素分配一个以米为单位的浮点深度值。训练目标是一个稠密的逐像素深度图，存储为 .npy float32 数组。每个值表示从相机到对应场景点的距离。

本指南介绍了 Ultralytics YOLO 深度估计模型所使用的数据集格式，并列出了可用于训练和验证的内置数据集配置。

支持的数据集格式#

NPY 深度图格式#

每个训练样本包含一张 RGB 图像和一个配对的 .npy 深度文件。深度文件存储形状为 (H, W) 的二维 float32 NumPy 数组，其中数值为以米为单位的深度。

• 深度文件必须使用 .npy 扩展名，并且包含一个 float32 数组。
• 每个深度文件应与其匹配的图像文件具有相同的文件名前缀（例如，scene_001.npy 与 scene_001.jpg 配对）。
• 数据集加载器通过将文件路径中的 images 目录组件替换为 depth 并将图像扩展名替换为 .npy 来查找深度文件。
• 深度为 ≤ 0 的像素被视为无效像素，并在损失和指标计算中被排除。

标准布局将图像和深度图保存在并行文件夹中：

dataset/
├── images/
│   ├── train/
│   └── val/
└── depth/
    ├── train/
    └── val/

例如，位于 images/train/scene_001.jpg 的图像与位于 depth/train/scene_001.npy 的深度图配对。

数据集 YAML 格式#

深度估计数据集通过 YAML 文件进行配置。主要字段包括：

# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# NYU Depth V2 dataset for monocular depth estimation
# Documentation: https://cs.nyu.edu/~silberman/datasets/nyu_depth_v2.html
# 795 train + 654 val (Eigen test split) images, 480x640, indoor scenes, depth in meters
# Example usage: yolo depth train data=nyu-depth.yaml model=yolo26n-depth.pt
# parent
# ├── ultralytics
# └── datasets
#     └── nyu-depth  ← downloads here (≈1.5 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: nyu-depth # dataset root dir (relative to Ultralytics settings 'datasets_dir')
train: images/train # train images (relative to 'path') 795 images
val: images/val # val images (relative to 'path') 654 images

# Depth maps are paired .npy files (float32, meters) under depth/<split>/, resolved by
# swapping '/images/' -> '/depth/' on each image path.

# Classes
nc: 1
names:
  0: depth

channels: 3

# Download script/URL (optional)
download: https://github.com/ultralytics/assets/releases/download/v0.0.0/nyu-depth.zip

用法#

使用 Python 或 CLI 训练 YOLO26 深度估计模型：

from ultralytics import YOLO

# Load a pretrained depth model
model = YOLO("yolo26n-depth.pt")

# Train on the NYU Depth V2 dataset
results = model.train(data="nyu-depth.yaml", epochs=100, imgsz=640)

支持的数据集#

YOLO26 深度模型是在广泛的多数据集组合（约 219 万张图像）上预训练的，涵盖了室内（≤10 米）到室外（约 80 米）的范围，然后在五个基准测试上进行了零样本评估。每个数据集都有一个专门的页面：

调试

• Depth8 — 包含 8 张 SUN RGB-D 图像的 1.3 MB 自动下载压缩包，用于快速流水线测试

预训练源

• ARKitScenes — 真实室内场景，Apple ARKit LiDAR（最大的真实数据源）
• SUN RGB-D — 真实室内场景，多传感器 RGB-D
• DIODE — 真实室内 + 室外场景，稠密激光扫描仪真值
• Hypersim — 合成光照真实感室内场景
• TartanAir — 合成环境，多样化场景
• Virtual KITTI 2 — 合成室外驾驶场景
• KITTI — 真实室外驾驶场景，Velodyne LiDAR（同时也是一个评估基准）
• ImageNet (pseudo-labeled) — 伪标签蒸馏集，最大的单一数据源

评估基准

• NYU Depth V2 — 主要的室内基准
• KITTI Eigen — 室外驾驶基准
• ETH3D — 高精度室内 + 室外
• Make3D — 室外，分布外数据
• iBims-1 — 高质量室内（边缘和平坦表面）

这些基准上的各模型准确率以及可下载的预训练权重列在 Depth Estimation 任务页面上。其 train 字段列出多个图像目录的数据集 YAML 将这些源组合起来用于大规模混合训练。

添加你自己的数据集#

1. 将 RGB 图像保存在诸如 images/train 和 images/val 的拆分文件夹下。
2. 每张图片保存一个 .npy float32 深度数组，存放在对应的 depth/train 和 depth/val 文件夹下，并使用与图片相同的文件主干名。
3. 确保深度值的单位为米，并且无效或缺失的像素使用 0 或负值。
4. 创建一个包含 path、train、val、nc: 1 和 names: {0: depth} 的数据集 YAML。

path: path/to/my-depth-dataset
train: images/train
val: images/val

nc: 1
names:
    0: depth

常见问题解答#