深度推定データセットの概要#

単眼深度推定では、画像内のすべてのピクセルにメートル単位の深度値が割り当てられます。深度ターゲットには、スケーリングされた16ビットグレースケールPNG、またはメートル単位の浮動小数点NPY配列を使用します。

本ガイドでは、Ultralytics YOLO 深度推定モデルで使用されるデータセット形式を解説し、学習および検証用に利用可能な組み込みデータセット設定を一覧します。

サポートされているデータセット形式#

深度マップの形式#

各トレーニングサンプルは、1つのRGB画像と1つのペアとなる深度ファイルで構成されます。PNGの値は、オプションのデータセットレベルの depth_scale で割られてメートルに変換されます。デフォルトは 1000 であるため、 1500 の値は 1.5 メートルを表します。コード 0 は無効を意味し、PNGにメタデータを埋め込む必要はありません。

• 深度ファイルには、 .png （推奨）または .npy を使用します。PNGマップは2Dのuint16グレースケール画像である必要があります。NPY配列は2Dかつ浮動小数点型で、値はメートル単位である必要があります。
• depth_scale は、PNGがデフォルトのミリメートル規則を使用していない場合にのみ設定します。たとえば、KITTIでは 256 を使用し、Virtual KITTI 2では 100 を使用します。
• 各深度ファイルは、対応する画像ファイルと同じファイル名（ステム）を持つ必要があります（例：scene_001.png は scene_001.jpg とペアになります）。
• アスペクト比が一致している限り、深度マップはRGB画像よりも小さくても問題ありません。トレーニング時にメモリ内でリサイズされます。
• データセットローダーは、 images ディレクトリコンポーネントを depth に置き換えることで深度ファイルを検索し、 .png を優先しつつ、 .npy にフォールバックします。
• 深度が ≤ 0 のピクセルは無効として扱われ、損失およびメトリックの計算から除外されます。

コード 0 は無効なピクセル用に予約されているため、uint16のPNGでは65,535個の正の深度値を提供できます。スケールによって精度と範囲の両方が制御されます。

これらはストレージの制限であり、推奨されるトレーニングの上限ではありません。データセットは、損失の較正や評価のために、より小さな max_depth を個別に設定できます。

標準的なレイアウトでは、画像と深度マップを並列フォルダに保持します。

dataset/
├── images/
│   ├── train/
│   └── val/
└── depth/
    ├── train/
    └── val/

たとえば、images/train/scene_001.jpg にある画像は、depth/train/scene_001.png にある深度マップとペアになります。

データセットYAML形式#

深度推定データセットは YAML ファイルで構成されます。主なフィールドは以下の通りです。

# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# NYU Depth V2 dataset for monocular depth estimation
# Documentation: https://cs.nyu.edu/~fergus/datasets/nyu_depth_v2.html
# 795 train + 654 val (Eigen test split) images, 480x640, indoor scenes, depth in meters
# Example usage: yolo depth train data=nyu-depth.yaml model=yolo26n-depth.pt
# parent
# ├── ultralytics
# └── datasets
#     └── nyu-depth-png  ← downloads here (≈1.5 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: nyu-depth-png # dataset root dir (relative to Ultralytics settings 'datasets_dir')
train: images/train # train images (relative to 'path') 795 images
val: images/val # val images (relative to 'path') 654 images

# Depth maps are paired uint16 millimeter PNGs under depth/<split>/, resolved by
# swapping '/images/' -> '/depth/' on each image path.

# Classes
nc: 1
names:
  0: depth

channels: 3
depth_scale: 1000

# Download script/URL (optional)
download: https://github.com/ultralytics/assets/releases/download/v0.0.0/nyu-depth-png.zip

使用方法#

Python または CLI を使用して YOLO26 深度推定モデルを学習します。

from ultralytics import YOLO

# Load a pretrained depth model
model = YOLO("yolo26n-depth.pt")

# Train on the NYU Depth V2 dataset
results = model.train(data="nyu-depth.yaml", epochs=100, imgsz=640)

サポートされているデータセット#

YOLO26 深度モデルは、屋内（≤10 m）から屋外（~80 m）の範囲に及ぶ広範なマルチデータセットの混合（~219万枚の画像）で事前学習されており、その後 5 つのベンチマークでゼロショット評価が行われています。各データセットには専用のページがあります。

デバッグ用

• Depth8 — 高速なパイプラインテスト用の、1.3 MB の自動ダウンロードアーカイブに含まれる 8 個の SUN RGB-D 画像

事前学習ソース

• ARKitScenes — 実世界の屋内、Apple ARKit LiDAR（最大の実世界ソース）
• SUN RGB-D — 実世界の屋内、マルチセンサー RGB-D
• DIODE — 実世界の屋内および屋外、高密度レーザースキャナーのグラウンドトゥルース
• Hypersim — 合成フォトリアル屋内
• TartanAir — 合成、多様な環境
• Virtual KITTI 2 — 合成屋外ドライビング
• KITTI — 実世界の屋外ドライビング、Velodyne LiDAR（評価ベンチマークとしても使用）
• ImageNet (pseudo-labeled) — 疑似ラベル付き蒸留セット、単一のソースとしては最大

評価ベンチマーク

• NYU Depth V2 — 主要な屋内ベンチマーク
• KITTI Eigen — 屋外ドライビングベンチマーク
• ETH3D — 高精度な屋内および屋外
• Make3D — 屋外、OOD（分布外）
• iBims-1 — 高品質な屋内（エッジおよび平面サーフェス）

これらのベンチマークにおけるモデルごとの精度とダウンロード可能な事前トレーニング済み重みは、Depth Estimation タスクページに記載されています。train フィールドに複数の画像ディレクトリがリストされているデータセット YAML は、大規模な混合トレーニングのためにこれらのソースを結合します。

独自のデータセットを追加する#

1. RGB 画像を images/train や images/val などの分割フォルダーの下に保存します。
2. 画像と同じファイルステムを使用して、一致する depth/train および depth/val フォルダの下に、画像ごとに1つの深度PNGまたはNPYを保存します。 save_depth_png() を使用して、メートル配列をコンパクトなミリメートルPNGに変換します。
3. デコードされた深度値がメートル単位であることを確認し、無効なピクセルや欠損しているピクセルには 0 または負の値を使用してください。
4. path、train、val、nc: 1、および names: {0: depth} を指定してデータセットYAMLを作成します。

path: path/to/my-depth-dataset
train: images/train
val: images/val

nc: 1
names:
    0: depth

# Optional: PNG integer units per meter (default 1000)
depth_scale: 1000

よくある質問 (FAQ)#