Link to this sectionARKitScenes Derinlik Veri Kümesi#

ARKitScenes, LiDAR tarayıcı ile donatılmış iPad Pro cihazlarda Apple'ın ARKit'i kullanılarak yakalanmış, geniş ölçekli ve gerçek dünyadan iç mekan RGB-D veri kümesidir. Monoküler derinlik tahmini için doğru derinlik yer gerçeğiyle birlikte çeşitli, doğal yollarla yakalanmış iç mekan sahneleri sunan, türünün en büyük gerçek dünya iç mekan RGB-D veri kümesidir.

Link to this sectionTemel Özellikler#

• iPad Pro'da Apple'ın ARKit'inin LiDAR tarayıcısı ve RGB kamerasıyla yakalanmış olup gerçek (sentetik olmayan) sensör verileri üretir.
• 3D iç mekan sahne anlayışı için çeşitli iç mekan sahnelerini kapsar.
• Tipik el tipi iç mekan çekimleri için yaklaşık 0,5–6 m (medyan maksimum derinlik yaklaşık 2,4 m) olan kısa derinlik aralığı.
• RGB kareleriyle hizalanmış, LiDAR'dan elde edilen yoğun derinlik yer gerçeği.
• Ultralytics derinlik ön eğitim karışımındaki tek en büyük gerçek dünya kaynağıdır.

Link to this sectionVeri Kümesi Yapısı#

ARKitScenes derinlik veri kümesi iki alt kümeye ayrılmıştır:

1. Train: Eğitim için eşleştirilmiş derinlik haritalarına sahip 676.080 görüntü.
2. Val: Model eğitimi sırasında doğrulama için eşleştirilmiş derinlik haritalarına sahip 21.559 görüntü.

Each sample consists of one RGB image and one paired .npy float32 depth map storing per-pixel distances in meters, following the Ultralytics depth dataset format.

Link to this sectionVerileri Elde Et#

ARKitScenes'in otomatik indirme özelliği yoktur; veriler Apple tarafından dağıtılır ve indirme işlemi, ARKitScenes deposundaki lisans koşullarının kabul edilmesini gerektirir. Depoyu klonla ve RGB karelerini kayıtlı derinlikle eşleştiren depth-upsampling alt kümesini indir:

git clone https://github.com/apple/ARKitScenes && cd ARKitScenes
python3 download_data.py upsampling --split Training --download_dir ./data
python3 download_data.py upsampling --split Validation --download_dir ./data

Derinlik kareleri milimetre cinsinden uint16 PNG'lerdir (0 = geçersiz) ve RGB/derinlik dosya adları tam olarak eşleşmeyen çekim zaman damgalarıdır; her derinlik karesini en yakın zaman damgalı RGB karesiyle eşleştir. Ultralytics derinlik veri kümesi formatına referans dönüşüm:

from pathlib import Path

import cv2
import numpy as np

src, dst = Path("data/upsampling"), Path("datasets/depth-arkitscenes")
for split, out in (("Training", "train"), ("Validation", "val")):
    (dst / f"images/{out}").mkdir(parents=True, exist_ok=True)
    (dst / f"depth/{out}").mkdir(parents=True, exist_ok=True)
    for video in sorted((src / split).iterdir()):
        rgbs = {float(p.stem.split("_")[-1]): p for p in (video / "lowres_wide").glob("*.png")}
        if not rgbs:
            continue
        for depth_png in sorted((video / "lowres_depth").glob("*.png")):
            t = float(depth_png.stem.split("_")[-1])
            rgb = rgbs[min(rgbs, key=lambda k: abs(k - t))]  # nearest-timestamp RGB frame
            name = f"{video.name}_{depth_png.stem}"
            depth = cv2.imread(str(depth_png), cv2.IMREAD_UNCHANGED).astype(np.float32) / 1000.0  # mm → m
            np.save(dst / f"depth/{out}/{name}.npy", depth)
            cv2.imwrite(str(dst / f"images/{out}/{name}.png"), cv2.imread(str(rgb)))

Link to this sectionYOLO26-Depth'teki Rolü#

ARKitScenes, yaklaşık 2,19 milyon görüntü-derinlik çiftinden oluşan Ultralytics YOLO26-Depth çoklu veri kümesi ön eğitim karışımında bir eğitim kaynağıdır. Bu karışımdaki tek en büyük gerçek kaynak olarak, modelin kısa menzilli iç mekan doğruluğunu sabitleyen zengin gerçek dünya iç mekan LiDAR derinliği sağlar. Elde edilen modeller standart NYU, KITTI, Make3D, ETH3D ve iBims-1 kıyaslamalarında değerlendirilir.

Link to this sectionVeri Kümesi YAML#

Veri kümesi yapılandırmasını tanımlamak için bir YAML (Yet Another Markup Language) dosyası kullanılır. Veri kümesinin yolları, sınıfları ve diğer ilgili bilgiler hakkında veriler içerir.

# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# ARKitScenes dataset for monocular depth estimation — real indoor RGB-D from Apple ARKit (iPad Pro LiDAR), depth ~0.5-6 m
# Documentation: https://docs.ultralytics.com/datasets/depth/arkitscenes
# Example usage: yolo depth train data=depth-arkitscenes.yaml model=yolo26n-depth.pt
# No autodownload — obtain the source data (see docs) and arrange it as below.
# parent
# ├── ultralytics
# └── datasets
#     └── depth-arkitscenes
#         ├── images/{train,val}  # RGB images
#         └── depth/{train,val}   # paired *.npy, float32 meters (images/ -> depth/)

path: depth-arkitscenes # dataset root dir (relative to Ultralytics settings 'datasets_dir')
train: images/train # train images (relative to 'path') 676080 images
val: images/val # val images (relative to 'path') 21559 images

nc: 1
names:
  0: depth

channels: 3

Link to this sectionKullanım#

ARKitScenes veri kümesi üzerinde 640 görüntü boyutuyla bir YOLO26n-depth modeli eğitmek için aşağıdaki kod parçacıklarını kullanabilirsin. Kullanılabilir argümanların kapsamlı bir listesi için Eğitim modeli sayfasına başvur.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-depth.pt")  # load a pretrained depth model (recommended for training)

# Train the model
results = model.train(data="depth-arkitscenes.yaml", epochs=100, imgsz=640)

Link to this sectionÖnceden Eğitilmiş Modeller#

YOLO26 derinlik ailesi, ARKitScenes'in de parçası olduğu geniş çoklu veri kümesi derinlik ön eğitim karışımı üzerinde eğitilmiştir. Bu modeller en son Ultralytics sürümünden otomatik olarak indirilir (örneğin v8.4.0'dan YOLO26x-depth) ve farklı doğruluk ve kaynak gereksinimleri için çeşitli boyutları kapsar.

Link to this sectionAlıntılar ve Teşekkür#

ARKitScenes veri kümesini araştırma veya geliştirme çalışmalarında kullanırsan lütfen şu makaleye atıfta bulun:

@inproceedings{baruch2021arkitscenes,
      title={ARKitScenes: A Diverse Real-World Dataset for 3D Indoor Scene Understanding Using Mobile RGB-D Data},
      author={Baruch, Gilad and Chen, Zhuoyuan and Dehghan, Afshin and Dimry, Tal and Feigin, Yuri and Fu, Peter and Gebauer, Thomas and Joffe, Brandon and Kurz, Daniel and Schwartz, Arik and Shulman, Elad},
      booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track},
      year={2021}
}

Bilgisayarlı görü topluluğu için bu değerli kaynağı oluşturdukları ve sürdürdükleri için yazarlara teşekkür ederiz.