Descripción general de los conjuntos de datos de estimación de profundidad#

La estimación de profundidad monocular asigna un valor de profundidad en metros a cada píxel de una imagen. Los objetivos de profundidad utilizan PNGs en escala de grises de 16 bits escalados o matrices NPY de punto flotante en metros.

Esta guía explica el formato de conjunto de datos utilizado por los modelos de estimación de profundidad de Ultralytics YOLO y enumera las configuraciones de conjuntos de datos integradas disponibles para el entrenamiento y la validación.

Formato de conjunto de datos compatible#

Formato de mapa de profundidad#

Cada muestra de entrenamiento consta de una imagen RGB y un archivo de profundidad emparejado. Los valores PNG se dividen por el depth_scale opcional a nivel de conjunto de datos para producir metros. El valor predeterminado es 1000, por lo que un valor de 1500 representa 1.5 metros. El código 0 significa no válido; los PNG no necesitan metadatos incrustados.

• Los archivos de profundidad utilizan .png (preferido) o .npy. Los mapas PNG deben ser imágenes en escala de grises uint16 de 2D. Las matrices NPY deben ser 2D y de punto flotante, con valores en metros.
• Configura depth_scale solo cuando los PNG no utilicen la convención predeterminada de milímetros. Por ejemplo, KITTI utiliza 256 y Virtual KITTI 2 utiliza 100.
• Cada archivo de profundidad debe tener el mismo nombre base que su archivo de imagen correspondiente (por ejemplo, scene_001.png se empareja con scene_001.jpg).
• Los mapas de profundidad pueden ser más pequeños que sus imágenes RGB siempre que la relación de aspecto coincida; el entrenamiento los redimensiona en la memoria.
• El cargador de conjuntos de datos encuentra los archivos de profundidad reemplazando el componente de directorio images por depth, prefiriendo .png y recurriendo a .npy.
• Los píxeles con profundidad ≤ 0 se tratan como inválidos y se excluyen del cálculo de la pérdida y de las métricas.

Debido a que el código 0 está reservado para píxeles no válidos, un PNG uint16 proporciona 65.535 valores de profundidad positivos. La escala controla tanto la precisión como el rango:

Estos son límites de almacenamiento, no límites de entrenamiento recomendados. Un conjunto de datos puede establecer un max_depth más pequeño de forma independiente para la calibración de pérdidas o la evaluación.

El diseño estándar mantiene las imágenes y los mapas de profundidad en carpetas paralelas:

dataset/
├── images/
│   ├── train/
│   └── val/
└── depth/
    ├── train/
    └── val/

Por ejemplo, una imagen en images/train/scene_001.jpg se empareja con un mapa de profundidad en depth/train/scene_001.png.

Formato YAML del dataset#

Los conjuntos de datos de estimación de profundidad se configuran con archivos YAML. Los campos principales son:

# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# NYU Depth V2 dataset for monocular depth estimation
# Documentation: https://cs.nyu.edu/~fergus/datasets/nyu_depth_v2.html
# 795 train + 654 val (Eigen test split) images, 480x640, indoor scenes, depth in meters
# Example usage: yolo depth train data=nyu-depth.yaml model=yolo26n-depth.pt
# parent
# ├── ultralytics
# └── datasets
#     └── nyu-depth-png  ← downloads here (≈1.5 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: nyu-depth-png # dataset root dir (relative to Ultralytics settings 'datasets_dir')
train: images/train # train images (relative to 'path') 795 images
val: images/val # val images (relative to 'path') 654 images

# Depth maps are paired uint16 millimeter PNGs under depth/<split>/, resolved by
# swapping '/images/' -> '/depth/' on each image path.

# Classes
nc: 1
names:
  0: depth

channels: 3
depth_scale: 1000

# Download script/URL (optional)
download: https://github.com/ultralytics/assets/releases/download/v0.0.0/nyu-depth-png.zip

Uso#

Entrena un modelo de estimación de profundidad YOLO26 con Python o la CLI:

from ultralytics import YOLO

# Load a pretrained depth model
model = YOLO("yolo26n-depth.pt")

# Train on the NYU Depth V2 dataset
results = model.train(data="nyu-depth.yaml", epochs=100, imgsz=640)

Conjuntos de datos compatibles#

Los modelos de profundidad YOLO26 están preentrenados en una amplia combinación de múltiples conjuntos de datos (~2,19 millones de imágenes) que abarcan rangos desde interiores (≤10 m) hasta exteriores (~80 m), y luego se evalúan de forma zero-shot en cinco benchmarks. Cada conjunto de datos tiene una página dedicada:

Depuración

• Depth8 — 8 imágenes SUN RGB-D en un archivo comprimido de descarga automática de 1.3 MB, para pruebas rápidas de canalizaciones

Fuentes de preentrenamiento

• ARKitScenes — interiores reales, Apple ARKit LiDAR (la fuente real más grande)
• SUN RGB-D — interiores reales, RGB-D multisensor
• DIODE — interiores y exteriores reales, datos de verdad terrestre densos de escáner láser
• Hypersim — interiores sintéticos fotorrealistas
• TartanAir — entornos sintéticos y diversos
• Virtual KITTI 2 — conducción sintética en exteriores
• KITTI — conducción real en exteriores, Velodyne LiDAR (también un punto de referencia de evaluación)
• ImageNet (con etiquetas pseudo) — conjunto de destilación con etiquetas pseudo, la fuente individual más grande

Benchmarks de evaluación

• NYU Depth V2 — principal punto de referencia para interiores
• KITTI Eigen — punto de referencia de conducción en exteriores
• ETH3D — interiores y exteriores de alta precisión
• Make3D — exteriores, fuera de distribución
• iBims-1 — interiores de alta calidad (bordes y superficies planares)

La precisión por modelo en estos puntos de referencia y los pesos preentrenados descargables se enumeran en la página de tareas de Depth Estimation. Un archivo YAML de conjunto de datos cuyo campo train enumera múltiples directorios de imágenes combina estas fuentes para el entrenamiento mixto a gran escala.

Añadir tu propio dataset#

1. Guarda las imágenes RGB en carpetas de división como images/train y images/val.
2. Guarda un PNG o NPY de profundidad por imagen bajo las carpetas coincidentes depth/train y depth/val utilizando el mismo nombre base de archivo que la imagen. Utiliza save_depth_png() para convertir matrices de metros en PNGs de milímetros compactos.
3. Asegúrate de que los valores de profundidad decodificados estén en metros y de que los píxeles no válidos o faltantes utilicen 0 o valores negativos.
4. Crea un YAML de dataset con path, train, val, nc: 1 y names: {0: depth}.

path: path/to/my-depth-dataset
train: images/train
val: images/val

nc: 1
names:
    0: depth

# Optional: PNG integer units per meter (default 1000)
depth_scale: 1000

FAQ#