Empezar

Conjunto de datos de profundidad SUN RGB-D

SUN RGB-D es un referente de comprensión de escenas interiores del mundo real, capturado con cuatro sensores RGB-D distintos: Intel RealSense, Asus Xtion y Microsoft Kinect v1 y v2. Su diseño multisensor lo convierte en una valiosa fuente de diversidad de profundidad real en interiores para la estimación monocular de profundidad.

Explora SUN RGB-D en Ultralytics Platform para previsualizar sus pares RGB-profundidad, consultar las estadísticas del conjunto de datos y clonarlo para entrenar.

Características principales#

  • Capturado con cuatro sensores RGB-D diferentes (Intel RealSense, Asus Xtion y Microsoft Kinect v1 y v2), lo que ofrece una variedad multisensor real.
  • Abarca una amplia variedad de escenas interiores reales para la investigación sobre comprensión de escenas.
  • Rango de profundidad de hasta aproximadamente 10 m, habitual en la captura RGB-D de interiores con dispositivos de consumo.
  • Datos de referencia de profundidad derivados de sensores y alineados con los fotogramas RGB.
  • Aporta diversidad real de interiores capturados con varios sensores a la combinación de preentrenamiento de profundidad de Ultralytics.

Estructura del conjunto de datos#

El conjunto de datos de profundidad SUN RGB-D se divide en dos subconjuntos:

  1. Train: 9245 imágenes con mapas de profundidad asociados para el entrenamiento.
  2. Val: 1090 imágenes con mapas de profundidad asociados para la validación durante el entrenamiento del modelo.

Cada muestra consta de una imagen RGB y un PNG de profundidad uint16 escalado asociado, de acuerdo con el formato de conjuntos de datos de profundidad de Ultralytics. El YAML del conjunto de datos descarga el archivo de origen (~6,5 GB) y lo convierte automáticamente la primera vez que se utiliza, escribiendo los valores en milímetros, por lo que se aplica el valor predeterminado depth_scale: 1000.

Papel de YOLO26-Depth#

SUN RGB-D es una fuente de entrenamiento en la combinación de preentrenamiento multiconjunto de datos de Ultralytics YOLO26-Depth, que contiene aproximadamente 2,19 millones de pares de imagen y profundidad. Aporta diversidad real de interiores capturados con varios sensores y expone el modelo a profundidades capturadas con varios dispositivos RGB-D de consumo. Los modelos resultantes se evalúan con los benchmarks estándar NYU, KITTI, Make3D, ETH3D e iBims-1.

YAML del conjunto de datos#

Se utiliza un archivo YAML para definir la configuración del conjunto de datos. Contiene información sobre las rutas, las clases y otros datos relevantes del conjunto.

ultralytics/cfg/datasets/depth-sunrgbd.yaml
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# SUN RGB-D dataset for monocular depth estimation — real indoor, multi-sensor RGB-D (RealSense/Xtion/Kinect), up to ~10 m
# Documentation: https://docs.ultralytics.com/datasets/depth/sunrgbd
# Example usage: yolo depth train data=depth-sunrgbd.yaml model=yolo26n-depth.pt
# parent
# ├── ultralytics
# └── datasets
#     └── depth-sunrgbd  ← downloads here (6.5 GB archive, ~14 GB converted)
#         ├── images/{train,val}  # RGB images
#         └── depth/{train,val}   # paired 16-bit *.png depth maps (images/ -> depth/)
# If an interrupted download leaves a partial dataset, delete the depth-sunrgbd dir and re-run to rebuild it.

path: depth-sunrgbd # dataset root dir (relative to Ultralytics settings 'datasets_dir')
train: images/train # train images (relative to 'path') 9245 images
val: images/val # val images (relative to 'path') 1090 images

nc: 1
names:
  0: depth

channels: 3

# Download script/URL (optional)
download: |
  import random
  import shutil
  from pathlib import Path

  import cv2
  import numpy as np

  from ultralytics.data.utils import save_depth_png
  from ultralytics.utils import TQDM
  from ultralytics.utils.downloads import download

  # Download and extract the official archive (~6.5 GB), then convert each of the 10335 scenes:
  # refined depth_bfx PNGs decode via the SUN RGB-D bit-rotation (d>>3 | d<<13) to millimeters,
  # clipped at 10 m; a deterministic random 1090-scene subset (seed 0) forms the val split
  dir = Path(yaml["path"])  # dataset root dir
  download(["https://rgbd.cs.princeton.edu/data/SUNRGBD.zip"], dir=dir / "source", delete=True, exist_ok=True)
  for split in ("train", "val"):
      (dir / "images" / split).mkdir(parents=True, exist_ok=True)
      (dir / "depth" / split).mkdir(parents=True, exist_ok=True)
  scenes = sorted(p.parent for p in (dir / "source" / "SUNRGBD").rglob("depth_bfx"))
  names = ["_".join(s.relative_to(dir / "source" / "SUNRGBD").parts) for s in scenes]
  val = set(random.Random(0).sample(names, k=1090))
  for scene, name in TQDM(zip(scenes, names), total=len(scenes), desc="Converting"):
      split = "val" if name in val else "train"
      d = cv2.imread(str(next((scene / "depth_bfx").glob("*.png"))), cv2.IMREAD_ANYDEPTH)
      d = (((d >> 3) | (d << 13)) / 1000.0).clip(max=10).astype(np.float32)  # bit-rotated mm -> m
      save_depth_png(dir / "depth" / split / f"{name}.png", d)
      next((scene / "image").glob("*.jpg")).replace(dir / "images" / split / f"{name}.jpg")
  shutil.rmtree(dir / "source")

Uso#

Para entrenar un modelo YOLO26n-depth con el conjunto de datos SUN RGB-D y un tamaño de imagen de 640, puedes usar los siguientes fragmentos de código.

Ejemplo de entrenamiento
from ultralytics import YOLO

# Cargar un modelo
model = YOLO("yolo26n-depth.pt")  # carga un modelo de profundidad preentrenado (recomendado para el entrenamiento)

# Entrenar el modelo
results = model.train(data="depth-sunrgbd.yaml", epochs=100, imgsz=640)

Modelos preentrenados#

La familia de modelos YOLO26 de profundidad se entrena con la amplia combinación de preentrenamiento de profundidad multiconjunto de datos, de la que forma parte SUN RGB-D. Estos modelos se descargan automáticamente la primera vez que se usan desde la versión de recursos v8.4.0 de Ultralytics; por ejemplo, YOLO26x-depth, y ofrecen distintos tamaños para satisfacer diferentes requisitos de precisión y recursos.

Citas y agradecimientos#

Si utilizas el conjunto de datos SUN RGB-D en tus investigaciones o trabajos de desarrollo, cita el siguiente artículo:

Cita
@inproceedings{song2015sunrgbd,
      title={SUN RGB-D: A RGB-D Scene Understanding Benchmark Suite},
      author={Song, Shuran and Lichtenberg, Samuel P. and Xiao, Jianxiong},
      booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
      year={2015}
}

Queremos agradecer a los autores la creación y el mantenimiento de este valioso recurso para la comunidad de visión artificial.

Preguntas frecuentes#

  • SUN RGB-D es un benchmark de comprensión de escenas de interiores del mundo real, capturado con cuatro sensores RGB-D: Intel RealSense, Asus Xtion y Microsoft Kinect v1 y v2. La configuración de Ultralytics proporciona 9245 pares de imagen y profundidad para entrenamiento y 1090 para validación, con profundidades de hasta aproximadamente 10 m.

  • Cada imagen RGB está asociada a un PNG uint16 con valores en milímetros, por lo que se aplica el valor predeterminado depth_scale: 1000, de acuerdo con el formato de conjuntos de datos de profundidad de Ultralytics. El conjunto de datos de prueba compacto Depth8 se obtiene mediante muestreo de SUN RGB-D y usa el mismo formato.

  • Ejecuta yolo depth train data=depth-sunrgbd.yaml model=yolo26n-depth.pt epochs=100 imgsz=640 o usa el ejemplo de Python de la sección Uso. También puedes consultar y clonar el conjunto de datos en Ultralytics Platform.

Comentarios

Haz una pregunta, comparte tus resultados o ayuda a otra persona.