Descripción general de los conjuntos de datos de estimación de profundidad#

La estimación monocular de profundidad asigna un valor de profundidad en metros a cada píxel de una imagen. Los objetivos de profundidad utilizan imágenes PNG en escala de grises de 16 bits escaladas o matrices NPY de coma flotante expresadas en metros.

Esta guía explica el formato de los conjuntos de datos que utilizan los modelos de estimación de profundidad de Ultralytics YOLO y enumera las configuraciones de conjuntos de datos integradas disponibles para el entrenamiento y la validación.

Formato de conjunto de datos compatible#

Formato de mapa de profundidad#

Cada muestra de entrenamiento consta de una imagen RGB y un archivo de profundidad asociado. Los valores PNG se dividen por el valor opcional depth_scale configurado en el conjunto de datos para obtener metros. El valor predeterminado es 1000, por lo que el valor 1500 representa 1.5 metros. El código 0 indica un valor no válido; los archivos PNG no necesitan metadatos incrustados.

• Los archivos de profundidad utilizan .png (preferido) o .npy. Los mapas PNG deben ser imágenes en escala de grises uint16 2D. Las matrices NPY deben ser 2D y de coma flotante, con valores expresados en metros.
• Configura depth_scale solo si los archivos PNG no utilizan la convención predeterminada de milímetros. Por ejemplo, KITTI utiliza 256 y Virtual KITTI 2 utiliza 100.
• Cada archivo de profundidad debe tener el mismo nombre base que su correspondiente archivo de imagen (por ejemplo, scene_001.png se empareja con scene_001.jpg).
• Los mapas de profundidad pueden tener un tamaño inferior al de sus imágenes RGB siempre que mantengan la misma relación de aspecto; durante el entrenamiento se redimensionan en memoria.
• El cargador del conjunto de datos encuentra los archivos de profundidad sustituyendo el componente de directorio images por depth. Da preferencia a .png y, si no está disponible, recurre a .npy.
• Los píxeles con profundidad ≤ 0 se consideran no válidos y se excluyen del cálculo de la pérdida y de las métricas.

Como el código 0 está reservado para los píxeles no válidos, una imagen PNG uint16 proporciona 65.535 valores de profundidad positivos. La escala determina tanto la precisión como el alcance:

Estos son límites de almacenamiento, no límites de entrenamiento recomendados. Un conjunto de datos puede definir un valor max_depth inferior de forma independiente para calibrar la pérdida o la evaluación.

La estructura estándar mantiene las imágenes y los mapas de profundidad en carpetas paralelas:

dataset/
├── images/
│   ├── train/
│   └── val/
└── depth/
    ├── train/
    └── val/

Por ejemplo, una imagen en images/train/scene_001.jpg se empareja con un mapa de profundidad en depth/train/scene_001.png.

Formato YAML del conjunto de datos#

Los conjuntos de datos de estimación de profundidad se configuran mediante archivos YAML. Estos son los campos principales:

# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# NYU Depth V2 dataset for monocular depth estimation
# Documentation: https://cs.nyu.edu/~fergus/datasets/nyu_depth_v2.html
# 795 train + 654 val (Eigen test split) images, 480x640, indoor scenes, depth in meters
# Example usage: yolo depth train data=nyu-depth.yaml model=yolo26n-depth.pt
# parent
# ├── ultralytics
# └── datasets
#     └── nyu-depth-png  ← downloads here (≈1.5 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: nyu-depth-png # dataset root dir (relative to Ultralytics settings 'datasets_dir')
train: images/train # train images (relative to 'path') 795 images
val: images/val # val images (relative to 'path') 654 images

# Depth maps are paired uint16 millimeter PNGs under depth/<split>/, resolved by
# swapping '/images/' -> '/depth/' on each image path.

# Classes
nc: 1
names:
  0: depth

channels: 3
depth_scale: 1000

# Download script/URL (optional)
download: https://github.com/ultralytics/assets/releases/download/v0.0.0/nyu-depth-png.zip

Uso#

Entrena un modelo YOLO26 de estimación de profundidad con Python o la CLI:

from ultralytics import YOLO

# Carga un modelo de profundidad preentrenado
model = YOLO("yolo26n-depth.pt")

# Entrena con el conjunto de datos NYU Depth V2
results = model.train(data="nyu-depth.yaml", epochs=100, imgsz=640)

Conjuntos de datos compatibles#

Los modelos YOLO26 de profundidad se preentrenan con una combinación amplia de varios conjuntos de datos (~2,19 M de imágenes) que abarca desde interiores (≤10 m) hasta exteriores (~80 m). Después, se evalúan en cinco benchmarks, sin entrenamiento específico previo en todos ellos salvo KITTI Eigen. Cada conjunto de datos tiene su propia página y varios están alojados en Ultralytics Platform, donde puedes explorarlos y entrenar en la nube.

Depuración

• Depth8: 8 imágenes de SUN RGB-D en un archivo de 1,3 MB que se descarga automáticamente, para probar rápidamente el flujo de trabajo

Fuentes de preentrenamiento

• ARKitScenes: imágenes reales de interiores, LiDAR de Apple ARKit (la mayor fuente real)
• SUN RGB-D: imágenes reales de interiores, RGB-D multisensor
• DIODE: imágenes reales de interiores y exteriores, datos de referencia densos de escáner láser
• Hypersim: interiores sintéticos fotorrealistas
• TartanAir: entornos sintéticos variados
• Virtual KITTI 2: conducción sintética en exteriores
• KITTI: conducción real en exteriores, LiDAR Velodyne (también es un benchmark de evaluación)
• ImageNet (con etiquetas seudogeneradas): conjunto de destilación con etiquetas seudogeneradas, la mayor fuente individual

Benchmarks de evaluación

• NYU Depth V2: benchmark principal de interiores
• KITTI Eigen: benchmark de conducción en exteriores
• ETH3D: alta precisión en interiores y exteriores
• Make3D: exteriores, fuera de distribución
• iBims-1: interiores de alta calidad (bordes y superficies planas)

La precisión de cada modelo en estos benchmarks y los pesos preentrenados descargables se enumeran en la página de la tarea de estimación de profundidad. Un YAML de conjunto de datos cuyo campo train enumera varios directorios de imágenes combina estas fuentes para realizar un entrenamiento mixto a gran escala.

Añadir tu propio conjunto de datos#

1. Guarda las imágenes RGB en carpetas de divisiones, como images/train y images/val.
2. Guarda un PNG o NPY de profundidad por cada imagen en las carpetas correspondientes depth/train y depth/val, utilizando el mismo nombre base de archivo que la imagen. Usa save_depth_png() para convertir matrices en metros en archivos PNG compactos en milímetros.
3. Asegúrate de que los valores de profundidad decodificados estén expresados en metros y de que los píxeles no válidos o ausentes utilicen 0 o valores negativos.
4. Crea un YAML del conjunto de datos con path, train, val, nc: 1 y names: {0: depth}.

path: path/to/my-depth-dataset
train: images/train
val: images/val

nc: 1
names:
    0: depth

# Optional: PNG integer units per meter (default 1000)
depth_scale: 1000

Preguntas frecuentes#