Ultralytics YOLO27：
CC BY-NC-SA 3.0

NYU Depth V2 深度数据集#

NYU Depth V2 是用于单目深度估计的标准室内基准数据集。它由使用 Microsoft Kinect v1 录制的各种室内场景 RGB-D 视频序列组成。它是报告 YOLO26-Depth 精度时使用的主要基准。

访问 Ultralytics Platform 上的 NYU Depth V2，预览其 RGB-深度对、查看数据集统计信息，并克隆该数据集用于训练。

主要特性#

  • 使用 Microsoft Kinect v1 RGB-D 传感器采集。
  • 涵盖各种真实的室内场景（住宅、办公室、教室和类似空间）。
  • 深度范围最高约为 10 m，符合消费级室内 RGB-D 采集的典型范围。
  • 评估在包含 654 张图像的标准 Eigen 测试划分上进行。
  • 用于报告单目深度估计精度的主要基准。

在 YOLO26-Depth 中的作用#

NYU Depth V2 是 YOLO26-Depth 系列的主要零样本评估基准，深度任务页面上的主要指标均在该数据集上报告。发布的 YOLO26-Depth 模型并未在 NYU 上训练；尽管该数据集包含训练划分，但该划分未被使用，报告的仅是留出测试结果。

评估采用多尺度和水平翻转测试时增强（TTA），然后在计算指标前，对预测深度图与真值深度图进行对数最小二乘尺度对齐。

结果#

下表按模型大小报告在 NYU Depth V2 Eigen 测试划分上的 delta1 精度（1.25× 阈值内像素的百分比，数值越高越好）。

模型delta1
YOLO26n-depth0.882
YOLO26s-depth0.855
YOLO26m-depth0.919
YOLO26l-depth0.927
YOLO26x-depth0.923

数据集 YAML#

使用 YAML 文件来定义数据集配置。它包含有关数据集路径、类别和其他相关信息。

ultralytics/cfg/datasets/nyu-depth.yaml
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# NYU Depth V2 dataset for monocular depth estimation
# Documentation: https://cs.nyu.edu/~fergus/datasets/nyu_depth_v2.html
# 795 train + 654 val (Eigen test split) images, 480x640, indoor scenes, depth in meters
# Example usage: yolo depth train data=nyu-depth.yaml model=yolo26n-depth.pt
# parent
# ├── ultralytics
# └── datasets
#     └── nyu-depth-png  ← downloads here (≈1.5 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: nyu-depth-png # dataset root dir (relative to Ultralytics settings 'datasets_dir')
train: images/train # train images (relative to 'path') 795 images
val: images/val # val images (relative to 'path') 654 images

# Depth maps are paired uint16 millimeter PNGs under depth/<split>/, resolved by
# swapping '/images/' -> '/depth/' on each image path.

# Classes
nc: 1
names:
  0: depth

channels: 3
depth_scale: 1000

# Download script/URL (optional)
download: https://github.com/ultralytics/assets/releases/download/v0.0.0/nyu-depth-png.zip

使用方法#

要在 NYU Depth V2 基准上评估 YOLO26-Depth 模型，你可以使用以下代码片段。有关可用参数的完整列表，请参阅模型的验证页面。

验证示例
from ultralytics import YOLO

# Load a model
model = YOLO("yolo26x-depth.pt")  # load a pretrained depth model

# Evaluate on the NYU Depth V2 benchmark
results = model.val(data="nyu-depth.yaml")

预训练模型#

YOLO26 深度系列在 NYU Depth V2 基准上进行零样本评估。这些模型会从最新的 Ultralytics 版本自动下载，例如从 v8.4.0 下载的 YOLO26x-depth，并提供一系列不同大小的模型（yolo26n/s/m/l/x-depth），以满足不同的精度和资源需求。

引用和致谢#

如果你在研究或开发工作中使用 NYU Depth V2 数据集，请引用以下论文：

引用
@inproceedings{silberman2012indoor,
      title={Indoor Segmentation and Support Inference from RGBD Images},
      author={Silberman, Nathan and Hoiem, Derek and Kohli, Pushmeet and Fergus, Rob},
      booktitle={Proceedings of the European Conference on Computer Vision (ECCV)},
      year={2012}
}

我们谨此感谢创建和维护这一宝贵资源的作者，他们为计算机视觉社区作出了贡献。

常见问题#

  • NYU Depth V2 是标准的室内单目深度基准，包含使用 Kinect v1 对家庭、办公室和教室进行的约 10 米以内 RGB-D 采集，并具有广泛使用的 654 张图像的 Eigen 测试集。深度估计任务页面上报告了核心的 YOLO26-Depth 指标。

  • 不是。发布的模型进行的是零样本评估，因此 NYU 训练集未被使用，且仅报告保留测试结果。公布的数据使用了多尺度和翻转测试时数据增强，随后进行对数最小二乘尺度对齐。

  • 运行 yolo depth val data=nyu-depth.yaml model=yolo26x-depth.pt，或使用用法部分中的 Python 示例。内置验证器使用带有中值对齐的单尺度推理，因此其分数低于结果中的 TTA 数字；请参阅任务页面获取可复现的值。

  • 探索Ultralytics 平台上的 NYU Depth V2以预览 RGB 深度对、检查数据集统计信息并克隆数据集用于云端训练。

贡献者
GLglenn-jocher4PDpderrenger1BOBovey08091

评论