Hypersim Derinlik Veri Kümesi#

Hypersim, iç mekân sahnelerini bütüncül olarak anlamak için tasarlanmış, iç mekân sahnelerinden oluşan fotogerçekçi bir sentetik veri kümesidir. Görüntüleri, profesyonelce oluşturulmuş Evermotion 3D iç mekânlarının ışın izlemeli görüntülerinden üretilir ve son derece gerçekçi görüntülerle birlikte kusursuz, yoğun, piksel başına derinlik gerçek değerleri sunar.

Hypersim tamamen sentetik olduğundan her pikselin sensör gürültüsü, eksik dönüş veya ölçüm kusuru içermeyen kesin bir derinlik değeri vardır. Bu özellik, tek görüntüden derinlik tahmin modellerini eğitmek için temiz ve yoğun iç mekân geometrisi sağlayan mükemmel bir kaynak olmasını sağlar: derinlik tahmini.

Temel Özellikler#

• Profesyonel Evermotion 3D iç mekânlarından ışın izlemeli olarak oluşturulmuş fotogerçekçi sentetik iç mekân sahneleri.
• Yalnızca iç mekân ortamları.
• Sensör gürültüsü veya eksik değer içermeyen yoğun ve kusursuz piksel başına derinlik gerçek değerleri.
• Derinlik aralığı çoğunlukla ≤10 m (daha büyük mesafeler de var).
• Ultralytics derinlik eğitim karışımına 74,619 görüntü katkıda bulunur (68,242 eğitim / 6,377 doğrulama).

Veri Kümesi Yapısı#

Hypersim derinlik veri kümesi iki alt kümeye ayrılır:

1. Eğitim: Eğitim için eşlenmiş yoğun derinlik haritaları içeren 68,242 görüntü.
2. Doğrulama: Eğitim sırasında doğrulama için eşlenmiş yoğun derinlik haritaları içeren 6,377 görüntü.

Her RGB görüntüsü, Ultralytics derinlik veri kümesi biçimine uygun olarak ölçeklendirilmiş bir uint16 derinlik PNG'siyle eşleştirilir.

Verileri edinme#

Hypersim otomatik indirme sunmaz — veri kümesi (sahne başına ~1.9 TB ZIP dosyası) Apple tarafından CC BY-SA 3.0 lisansı altında dağıtılır ve ml-hypersim deposundaki resmî betikle indirilir (contrib/99991 içinde seçmeli bir indirici bulunur):

git clone https://github.com/apple/ml-hypersim && cd ml-hypersim
python code/python/tools/dataset_download_images.py --downloads_dir ./downloads --decompress_dir ./scenes

RGB kareleri frame.*.tonemap.jpg önizlemeleridir ve derinlik verileri frame.*.depth_meters.hdf5 konumunda bulunur. Saklanan değerler düzlemsel derinlik değil, kameranın merkezine olan ışın mesafeleridir — kaydetmeden önce dönüştür ve NaN piksellerini (pencereler, gökyüzü) 0 (geçersiz) olarak eşle. Eğitim/doğrulama ataması için resmî metadata_images_split_scene_v1.csv sahne bölümlemesini kullan. Ultralytics derinlik veri kümesi biçimine referans dönüşüm:

import shutil
from pathlib import Path

import h5py
import numpy as np

from ultralytics.data.utils import save_depth_png

W, H, FOCAL = 1024, 768, 886.81  # Hypersim camera intrinsics
x, y = np.meshgrid(np.linspace(-W / 2, W / 2, W), np.linspace(-H / 2, H / 2, H))
ray2plane = (FOCAL / np.sqrt(x**2 + y**2 + FOCAL**2)).astype(np.float32)  # distance → planar depth

src, dst = Path("scenes"), Path("datasets/depth-hypersim")
out = "train"  # assign per scene from metadata_images_split_scene_v1.csv
(dst / f"images/{out}").mkdir(parents=True, exist_ok=True)
(dst / f"depth/{out}").mkdir(parents=True, exist_ok=True)
for h5 in sorted(src.rglob("*.depth_meters.hdf5")):
    scene, cam, frame = h5.parts[-4], h5.parent.name.split("_geometry")[0], h5.name.split(".")[1]
    rgb = h5.parents[1] / f"{cam}_final_preview" / f"frame.{frame}.tonemap.jpg"
    dist = np.asarray(h5py.File(h5)["dataset"], np.float32)
    depth = np.nan_to_num(dist * ray2plane, nan=0.0)  # NaN (sky, glass) → 0 = invalid
    name = f"{scene}_{cam}_{frame}"
    save_depth_png(dst / f"depth/{out}/{name}.png", depth)
    shutil.copy(rgb, dst / f"images/{out}/{name}.jpg")

YOLO26-Depth'teki rolü#

Hypersim, Ultralytics YOLO26-Depth modellerini önceden eğitmek için kullanılan geniş çoklu veri kümesi karışımındaki (~2.19M görüntü) eğitim kaynaklarından biridir. Bu karışımda Hypersim, daha gürültülü gerçek dünya sensör verilerini tamamlayan temiz ve yoğun iç mekân geometrisi sağlar.

Bu kurulumda ayrı bir Hypersim test kıyaslaması yoktur. Bunun yerine ortaya çıkan modeller, standart tek görüntüden derinlik kıyaslamalarında değerlendirilir: NYU Depth V2, KITTI, Make3D, ETH3D ve iBims-1.

Veri Kümesi YAML Dosyası#

Veri kümesi yapılandırmasını tanımlamak için bir YAML dosyası kullanılır. Bu dosya, veri kümesinin yolları, sınıfları ve diğer ilgili bilgileri içerir. Hypersim için depth-hypersim.yaml dosyası yolları ve tek depth sınıfını tanımlar.

# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# Hypersim dataset for monocular depth estimation — photorealistic synthetic indoor (ray-traced), dense depth up to ~10 m
# Documentation: https://docs.ultralytics.com/datasets/depth/hypersim
# Example usage: yolo depth train data=depth-hypersim.yaml model=yolo26n-depth.pt
# No autodownload — obtain the source data (see docs) and arrange it as below.
# parent
# ├── ultralytics
# └── datasets
#     └── depth-hypersim
#         ├── images/{train,val}  # RGB images
#         └── depth/{train,val}   # paired 16-bit *.png depth maps (images/ -> depth/)

path: depth-hypersim # dataset root dir (relative to Ultralytics settings 'datasets_dir')
train: images/train # train images (relative to 'path') 68242 images
val: images/val # val images (relative to 'path') 6377 images

nc: 1
names:
  0: depth

channels: 3

Kullanım#

Hypersim veri kümesinde 640 görüntü boyutuyla YOLO26n-Depth modelini eğitmek için aşağıdaki kod parçacıklarını kullanabilirsin. Kullanılabilir bağımsız değişkenlerin kapsamlı listesi için modelin Eğitim sayfasına bak.

from ultralytics import YOLO

# Bir model yükle
model = YOLO("yolo26n-depth.pt")  # Önceden eğitilmiş bir model yükle (eğitim için önerilir)

# Modeli eğit
results = model.train(data="depth-hypersim.yaml", epochs=100, imgsz=640)

Önceden Eğitilmiş Modeller#

YOLO26 derinlik ailesi (yolo26n-depth.pt, yolo26s-depth.pt, yolo26m-depth.pt, yolo26l-depth.pt, yolo26x-depth.pt) Ultralytics sürümlerinden otomatik indirilir ve Hypersim'in de parçası olduğu geniş çoklu veri kümesi karışımıyla eğitilir. Ultralytics Platform'da YOLO26x-depth modelini keşfet.

Atıflar ve Teşekkürler#

Hypersim veri kümesini araştırma veya geliştirme çalışmalarında kullanıyorsan lütfen aşağıdaki makaleyi kaynak göster:

@inproceedings{roberts2021hypersim,
      title={Hypersim: A Photorealistic Synthetic Dataset for Holistic Indoor Scene Understanding},
      author={Mike Roberts and Jason Ramapuram and Anurag Ranjan and Atulit Kumar and Miguel Angel Bautista and Nathan Paczan and Russ Webb and Joshua M. Susskind},
      booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV)},
      year={2021}
}

Bu fotogerçekçi sentetik iç mekân veri kümesini bilgisayarlı görü topluluğunun kullanımına sundukları için Hypersim'in oluşturucularına teşekkür ederiz.

Sık Sorulan Sorular#