Link to this sectionConjunto de dados de profundidade SUN RGB-D#
SUN RGB-D é um benchmark de compreensão de cenas internas do mundo real, capturado com quatro sensores RGB-D diferentes: Intel RealSense, Asus Xtion e Microsoft Kinect v1 e v2. O seu design com múltiplos sensores torna-o uma fonte valiosa de diversidade de profundidade interna real para estimativa de profundidade monocular.
Link to this sectionPrincipais recursos#
- Capturado com quatro sensores RGB-D diferentes (Intel RealSense, Asus Xtion, Microsoft Kinect v1 e v2), proporcionando uma verdadeira variedade multissensor.
- Cobre uma ampla gama de cenas internas reais para pesquisa de compreensão de cenas.
- Alcance de profundidade de até aproximadamente 10 m, típico de captura RGB-D interna do consumidor.
- Ground truth de profundidade derivada de sensores alinhada aos frames RGB.
- Contribui com diversidade interna multissensor real para a combinação de pré-treinamento de profundidade da Ultralytics.
Link to this sectionEstrutura do Dataset#
O conjunto de dados de profundidade SUN RGB-D é dividido em dois subconjuntos:
- Treino: 9.245 imagens com mapas de profundidade emparelhados para treinamento.
- Val: 1.090 imagens com mapas de profundidade emparelhados para validação durante o treinamento do modelo.
Cada amostra consiste numa imagem RGB e um mapa de profundidade .npy float32 emparelhado, armazenando distâncias por pixel em metros, seguindo o formato de dataset de profundidade Ultralytics.
Link to this sectionPapel no YOLO26-Depth#
O SUN RGB-D é uma fonte de treinamento na combinação de pré-treinamento de conjuntos de dados múltiplos YOLO26-Depth da Ultralytics, com cerca de 2,19 milhões de pares imagem-profundidade. Ele contribui com diversidade interna multissensor real, expondo o modelo à profundidade capturada em vários dispositivos RGB-D de consumo diferentes. Os modelos resultantes são avaliados nos benchmarks padrão NYU, KITTI, Make3D, ETH3D e iBims-1.
Link to this sectionYAML do Dataset#
Um ficheiro YAML (Yet Another Markup Language) é usado para definir a configuração do dataset. Contém informações sobre os caminhos, classes e outras informações relevantes do dataset.
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license
# SUN RGB-D dataset for monocular depth estimation — real indoor, multi-sensor RGB-D (RealSense/Xtion/Kinect), up to ~10 m
# Documentation: https://docs.ultralytics.com/datasets/depth/sunrgbd
# Example usage: yolo depth train data=depth-sunrgbd.yaml model=yolo26n-depth.pt
# parent
# ├── ultralytics
# └── datasets
# └── depth-sunrgbd ← downloads here (6.5 GB archive, ~14 GB converted)
# ├── images/{train,val} # RGB images
# └── depth/{train,val} # paired *.npy, float32 meters (images/ -> depth/)
# If an interrupted download leaves a partial dataset, delete the depth-sunrgbd dir and re-run to rebuild it.
path: depth-sunrgbd # dataset root dir (relative to Ultralytics settings 'datasets_dir')
train: images/train # train images (relative to 'path') 9245 images
val: images/val # val images (relative to 'path') 1090 images
nc: 1
names:
0: depth
channels: 3
# Download script/URL (optional)
download: |
import random
import shutil
from pathlib import Path
import cv2
import numpy as np
from ultralytics.utils import TQDM
from ultralytics.utils.downloads import download
# Download and extract the official archive (~6.5 GB), then convert each of the 10335 scenes:
# refined depth_bfx PNGs decode via the SUN RGB-D bit-rotation (d>>3 | d<<13) to millimeters,
# clipped at 10 m; a deterministic random 1090-scene subset (seed 0) forms the val split
dir = Path(yaml["path"]) # dataset root dir
download(["https://rgbd.cs.princeton.edu/data/SUNRGBD.zip"], dir=dir / "source", delete=True, exist_ok=True)
for split in ("train", "val"):
(dir / "images" / split).mkdir(parents=True, exist_ok=True)
(dir / "depth" / split).mkdir(parents=True, exist_ok=True)
scenes = sorted(p.parent for p in (dir / "source" / "SUNRGBD").rglob("depth_bfx"))
names = ["_".join(s.relative_to(dir / "source" / "SUNRGBD").parts) for s in scenes]
val = set(random.Random(0).sample(names, k=1090))
for scene, name in TQDM(zip(scenes, names), total=len(scenes), desc="Converting"):
split = "val" if name in val else "train"
d = cv2.imread(str(next((scene / "depth_bfx").glob("*.png"))), cv2.IMREAD_ANYDEPTH)
d = (((d >> 3) | (d << 13)) / 1000.0).clip(max=10).astype(np.float32) # bit-rotated mm -> m
np.save(dir / "depth" / split / f"{name}.npy", d)
next((scene / "image").glob("*.jpg")).replace(dir / "images" / split / f"{name}.jpg")
shutil.rmtree(dir / "source")Link to this sectionUso#
Para treinar um modelo YOLO26n-depth no conjunto de dados SUN RGB-D com um tamanho de imagem de 640, podes usar os seguintes trechos de código. Para uma lista abrangente de argumentos disponíveis, consulta a página de Treinamento do modelo.
from ultralytics import YOLO
# Load a model
model = YOLO("yolo26n-depth.pt") # load a pretrained depth model (recommended for training)
# Train the model
results = model.train(data="depth-sunrgbd.yaml", epochs=100, imgsz=640)Link to this sectionModelos pré-treinados#
A família YOLO26 depth é treinada na ampla combinação de pré-treinamento de profundidade multiconjunto da qual o SUN RGB-D faz parte. Estes modelos são baixados automaticamente da versão mais recente da Ultralytics, por exemplo YOLO26x-depth da v8.4.0, e abrangem uma gama de tamanhos para diferentes requisitos de precisão e recursos.
Link to this sectionCitações e Agradecimentos#
Se utilizares o dataset SUN RGB-D no teu trabalho de investigação ou desenvolvimento, por favor cita o seguinte artigo:
@inproceedings{song2015sunrgbd,
title={SUN RGB-D: A RGB-D Scene Understanding Benchmark Suite},
author={Song, Shuran and Lichtenberg, Samuel P. and Xiao, Jianxiong},
booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
year={2015}
}Gostaríamos de agradecer aos autores pela criação e manutenção deste recurso valioso para a comunidade de visão computacional.