Link to this sectionHypersim Derinlik Veri Kümesi#

Hypersim, bütüncül iç mekan sahne analizi için tasarlanmış, fotogerçekçi sentetik bir iç mekan sahnesi veri kümesidir. Görüntüleri, profesyonelce oluşturulmuş Evermotion 3D iç mekanlarından ışın izleme (ray-tracing) yöntemiyle elde edilerek, mükemmel ve yoğun piksel bazlı derinlik doğruluk paylarıyla desteklenen oldukça gerçekçi render çıktıları üretir.

Hypersim tamamen sentetik olduğu için, her piksel sensör gürültüsü, eksik geri dönüşler veya ölçüm hataları içermeyen tam bir derinlik değerine sahiptir. Bu, onu tek gözlü (monoküler) derinlik tahmini modellerini eğitmek için temiz ve yoğun bir iç mekan geometrisi kaynağı haline getirir.

Link to this sectionTemel Özellikler#

• Profesyonel Evermotion 3D iç mekanlarından ışın izleme ile elde edilen fotogerçekçi sentetik iç mekan sahneleri.
• Sadece iç mekan ortamları.
• Sensör gürültüsü veya eksik değer içermeyen yoğun, mükemmel piksel bazlı derinlik doğruluk payı.
• Derinlik aralığı çoğunlukla ≤10 m (bazı daha büyük mesafeler ile birlikte).
• Ultralytics derinlik eğitimi karışımına 74.619 görüntü (68.242 eğitim / 6.377 doğrulama) katkıda bulunur.

Link to this sectionVeri Kümesi Yapısı#

Hypersim derinlik veri kümesi iki alt kümeye ayrılmıştır:

1. Train: Eğitim için eşleştirilmiş yoğun derinlik haritaları içeren 68.242 görüntü.
2. Val: Eğitim sırasında doğrulama için eşleştirilmiş yoğun derinlik haritaları içeren 6.377 görüntü.

Each RGB image is paired with a .npy float32 depth map storing per-pixel distances in meters, following the Ultralytics depth dataset format.

Link to this sectionVerileri Elde Et#

Hypersim otomatik indirme özelliğine sahip değildir; veri kümesi (sahne başına ~1,9 TB ZIP dosyası) Apple tarafından CC BY-SA 3.0 lisansı altında dağıtılmaktadır ve ml-hypersim deposundaki resmi betik ile indirilir (contrib/99991 dizininde seçici bir indirici mevcuttur):

git clone https://github.com/apple/ml-hypersim && cd ml-hypersim
python code/python/tools/dataset_download_images.py --downloads_dir ./downloads --decompress_dir ./scenes

RGB kareleri frame.*.tonemap.jpg önizlemeleridir ve derinlik verileri frame.*.depth_meters.hdf5 dosyasında bulunur. Saklanan değerler düzlemsel derinlik değil, kamera merkezine olan ışın mesafeleridir; kaydetmeden önce dönüştür ve NaN piksellerini (pencereler, gökyüzü) 0 (geçersiz) olarak eşle. Eğitim/doğrulama ayrımı için resmi metadata_images_split_scene_v1.csv sahne ayrımını kullan. Ultralytics derinlik veri kümesi formatına referans dönüşümü:

import shutil
from pathlib import Path

import h5py
import numpy as np

W, H, FOCAL = 1024, 768, 886.81  # Hypersim camera intrinsics
x, y = np.meshgrid(np.linspace(-W / 2, W / 2, W), np.linspace(-H / 2, H / 2, H))
ray2plane = (FOCAL / np.sqrt(x**2 + y**2 + FOCAL**2)).astype(np.float32)  # distance → planar depth

src, dst = Path("scenes"), Path("datasets/depth-hypersim")
out = "train"  # assign per scene from metadata_images_split_scene_v1.csv
(dst / f"images/{out}").mkdir(parents=True, exist_ok=True)
(dst / f"depth/{out}").mkdir(parents=True, exist_ok=True)
for h5 in sorted(src.rglob("*.depth_meters.hdf5")):
    scene, cam, frame = h5.parts[-4], h5.parent.name.split("_geometry")[0], h5.name.split(".")[1]
    rgb = h5.parents[1] / f"{cam}_final_preview" / f"frame.{frame}.tonemap.jpg"
    dist = np.asarray(h5py.File(h5)["dataset"], np.float32)
    depth = np.nan_to_num(dist * ray2plane, nan=0.0)  # NaN (sky, glass) → 0 = invalid
    name = f"{scene}_{cam}_{frame}"
    np.save(dst / f"depth/{out}/{name}.npy", depth)
    shutil.copy(rgb, dst / f"images/{out}/{name}.jpg")

Link to this sectionYOLO26-Depth içindeki rolü#

Hypersim, Ultralytics YOLO26-Depth modellerini önceden eğitmek için kullanılan geniş çoklu veri kümesi karışımındaki (~2,19M görüntü) eğitim kaynaklarından biridir. Bu karışım içerisinde Hypersim, daha gürültülü gerçek dünya sensör verilerini tamamlayan temiz ve yoğun bir iç mekan geometrisi sağlar.

Bu kurulumda bağımsız bir Hypersim kıyaslama seti bulunmamaktadır. Bunun yerine, sonuçta elde edilen modeller standart monoküler derinlik kıyaslamalarında değerlendirilir: NYU Depth V2, KITTI, Make3D, ETH3D ve iBims-1.

Link to this sectionVeri Kümesi YAML#

Veri kümesi yapılandırmasını tanımlamak için bir YAML (Yet Another Markup Language) dosyası kullanılır. Bu dosya, veri kümesinin yolları, sınıfları ve diğer ilgili bilgiler hakkında veriler içerir. Hypersim için depth-hypersim.yaml dosyası yolları ve tek depth sınıfını tanımlar.

# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# Hypersim dataset for monocular depth estimation — photorealistic synthetic indoor (ray-traced), dense depth up to ~10 m
# Documentation: https://docs.ultralytics.com/datasets/depth/hypersim
# Example usage: yolo depth train data=depth-hypersim.yaml model=yolo26n-depth.pt
# No autodownload — obtain the source data (see docs) and arrange it as below.
# parent
# ├── ultralytics
# └── datasets
#     └── depth-hypersim
#         ├── images/{train,val}  # RGB images
#         └── depth/{train,val}   # paired *.npy, float32 meters (images/ -> depth/)

path: depth-hypersim # dataset root dir (relative to Ultralytics settings 'datasets_dir')
train: images/train # train images (relative to 'path') 68242 images
val: images/val # val images (relative to 'path') 6377 images

nc: 1
names:
  0: depth

channels: 3

Link to this sectionKullanım#

Hypersim veri kümesi üzerinde 640 görüntü boyutu ile bir YOLO26n-Depth modeli eğitmek için aşağıdaki kod parçacıklarını kullanabilirsin. Mevcut bağımsız değişkenlerin kapsamlı bir listesi için model Eğitim sayfasına başvur.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-depth.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="depth-hypersim.yaml", epochs=100, imgsz=640)

Link to this sectionÖnceden Eğitilmiş Modeller#

YOLO26 derinlik ailesi (yolo26n-depth.pt, yolo26s-depth.pt, yolo26m-depth.pt, yolo26l-depth.pt, yolo26x-depth.pt) v8.4.0 sürümünden otomatik olarak indirilir ve Hypersim'in de parçası olduğu geniş çoklu veri kümesi karışımı üzerinde eğitilmiştir.

Link to this sectionAlıntılar ve Teşekkür#

Hypersim veri kümesini araştırma veya geliştirme çalışmalarında kullanırsan, lütfen aşağıdaki makaleyi kaynak göster:

@inproceedings{roberts2021hypersim,
      title={Hypersim: A Photorealistic Synthetic Dataset for Holistic Indoor Scene Understanding},
      author={Mike Roberts and Jason Ramapuram and Anurag Ranjan and Atulit Kumar and Miguel Angel Bautista and Nathan Paczan and Russ Webb and Joshua M. Susskind},
      booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV)},
      year={2021}
}

Bu fotogerçekçi sentetik iç mekan veri kümesini bilgisayarlı görü topluluğuna sundukları için Hypersim oluşturucularına teşekkür ederiz.