ARKitScenes Derinlik Veri Kümesi#

ARKitScenes, LiDAR tarayıcıyla donatılmış iPad Pro cihazlarında Apple'ın ARKit'i kullanılarak yakalanmış, gerçek dünyadan büyük ölçekli bir iç mekân RGB-D veri kümesidir. Türünün en büyük gerçek dünya iç mekân RGB-D veri kümesi olan bu veri kümesi, monoküler derinlik tahmini için çeşitli, doğal biçimde yakalanmış iç mekân sahneleri ve doğru derinlik temel gerçeği verileri sunar.

Temel Özellikler#

• Apple'ın iPad Pro üzerindeki ARKit'inin LiDAR tarayıcısı ve RGB kamerasıyla yakalanarak gerçek (sentetik olmayan) sensör verileri üretir.
• 3B iç mekân sahnesi anlayışı için çeşitli iç mekân sahnelerini kapsar.
• Elde taşınarak gerçekleştirilen iç mekân yakalamalarına özgü kısa derinlik aralığı, yaklaşık 0,5–6 m'dir (medyan maksimum derinlik yaklaşık 2,4 m).
• RGB kareleriyle hizalanmış yoğun LiDAR türevi derinlik temel gerçeği verileri.
• Ultralytics derinlik ön eğitimi karışımındaki gerçek dünyadan gelen en büyük tek kaynak.

Veri Kümesi Yapısı#

ARKitScenes derinlik veri kümesi iki alt kümeye ayrılır:

1. Train: Eğitim için eşleştirilmiş derinlik haritalarına sahip 676.080 görüntü.
2. Val: Model eğitimi sırasında doğrulama için eşleştirilmiş derinlik haritalarına sahip 21.559 görüntü.

Her örnek, bir RGB görüntüsü ve milimetre cinsinden bir eşleştirilmiş uint16 derinlik PNG'sinden (depth_scale: 1000) oluşur ve Ultralytics derinlik veri kümesi biçimini izler.

Verileri Edinme#

ARKitScenes otomatik indirmeyi desteklemez — veriler Apple tarafından dağıtılır ve indirme işlemi, ARKitScenes deposundaki lisans koşullarının kabul edilmesini gerektirir. Depoyu klonlayın ve RGB karelerini kayıtlı derinlikle eşleştiren depth-upsampling alt kümesini indirin:

git clone https://github.com/apple/ARKitScenes && cd ARKitScenes
python3 download_data.py upsampling --split Training --download_dir ./data
python3 download_data.py upsampling --split Validation --download_dir ./data

Derinlik kareleri milimetre cinsinden uint16 PNG'leridir (0 = geçersizdir) ve RGB/derinlik dosya adları tam olarak eşleşmeyen yakalama zaman damgalarıdır — her derinlik karesini zaman damgası en yakın olan RGB karesiyle eşleştirin. Ultralytics derinlik veri kümesi biçimine dönüştürme referansı:

import shutil
from pathlib import Path

import cv2

src, dst = Path("data/upsampling"), Path("datasets/depth-arkitscenes")
for split, out in (("Training", "train"), ("Validation", "val")):
    (dst / f"images/{out}").mkdir(parents=True, exist_ok=True)
    (dst / f"depth/{out}").mkdir(parents=True, exist_ok=True)
    for video in sorted((src / split).iterdir()):
        rgbs = {float(p.stem.split("_")[-1]): p for p in (video / "lowres_wide").glob("*.png")}
        if not rgbs:
            continue
        for depth_png in sorted((video / "lowres_depth").glob("*.png")):
            t = float(depth_png.stem.split("_")[-1])
            rgb = rgbs[min(rgbs, key=lambda k: abs(k - t))]  # nearest-timestamp RGB frame
            name = f"{video.name}_{depth_png.stem}"
            shutil.copy2(depth_png, dst / f"depth/{out}/{name}.png")
            cv2.imwrite(str(dst / f"images/{out}/{name}.png"), cv2.imread(str(rgb)))

YOLO26-Depth İçindeki Rolü#

ARKitScenes, yaklaşık 2,19 milyon görüntü–derinlik çiftinden oluşan Ultralytics YOLO26-Depth çoklu veri kümesi ön eğitim karışımında bir eğitim kaynağıdır. Bu karışımdaki gerçek kaynaklar arasında açık ara en büyüğü olarak modelin kısa mesafeli iç mekân doğruluğunu sabitleyen bol miktarda gerçek dünya iç mekân LiDAR derinliği sağlar. Ortaya çıkan modeller standart NYU, KITTI, Make3D, ETH3D ve iBims-1 kıyaslamalarında değerlendirilir.

Veri Kümesi YAML'i#

Veri kümesi yapılandırmasını tanımlamak için bir YAML dosyası kullanılır. Dosya, veri kümesinin yolları, sınıfları ve diğer ilgili bilgiler hakkında bilgi içerir.

# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# ARKitScenes dataset for monocular depth estimation — real indoor RGB-D from Apple ARKit (iPad Pro LiDAR), depth ~0.5-6 m
# Documentation: https://docs.ultralytics.com/datasets/depth/arkitscenes
# Example usage: yolo depth train data=depth-arkitscenes.yaml model=yolo26n-depth.pt
# No autodownload — obtain the source data (see docs) and arrange it as below.
# parent
# ├── ultralytics
# └── datasets
#     └── depth-arkitscenes
#         ├── images/{train,val}  # RGB images
#         └── depth/{train,val}   # paired 16-bit *.png depth maps (images/ -> depth/)

path: depth-arkitscenes # dataset root dir (relative to Ultralytics settings 'datasets_dir')
train: images/train # train images (relative to 'path') 676080 images
val: images/val # val images (relative to 'path') 21559 images

nc: 1
names:
  0: depth

channels: 3

Kullanım#

ARKitScenes veri kümesi üzerinde 640 görüntü boyutuyla bir YOLO26n-depth modeli eğitmek için aşağıdaki kod parçacıklarını kullanabilirsin. Kullanılabilir bağımsız değişkenlerin kapsamlı listesi için modelin Eğitim sayfasına bakabilirsin.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-depth.pt")  # load a pretrained depth model (recommended for training)

# Train the model
results = model.train(data="depth-arkitscenes.yaml", epochs=100, imgsz=640)

Önceden Eğitilmiş Modeller#

YOLO26 derinlik ailesi, ARKitScenes'in parçası olduğu geniş çoklu veri kümesi derinlik ön eğitimi karışımı üzerinde eğitilir. Bu modeller en yeni Ultralytics sürümünden otomatik olarak indirilir; örneğin v8.4.0 sürümündeki YOLO26x-depth ve farklı doğruluk ve kaynak gereksinimleri için çeşitli boyutları kapsar.

Atıflar ve Teşekkürler#

ARKitScenes veri kümesini araştırma veya geliştirme çalışmalarında kullanırsan lütfen aşağıdaki makaleye atıfta bulun:

@inproceedings{baruch2021arkitscenes,
      title={ARKitScenes: A Diverse Real-World Dataset for 3D Indoor Scene Understanding Using Mobile RGB-D Data},
      author={Baruch, Gilad and Chen, Zhuoyuan and Dehghan, Afshin and Dimry, Tal and Feigin, Yuri and Fu, Peter and Gebauer, Thomas and Joffe, Brandon and Kurz, Daniel and Schwartz, Arik and Shulman, Elad},
      booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track},
      year={2021}
}

Bilgisayarlı görü topluluğu için bu değerli kaynağı oluşturup sürdürdükleri için yazarlara teşekkür ederiz.

SSS#