TartanAir Derinlik Veri Kümesi#

TartanAir, AirSim simülatöründe üretilmiş büyük ölçekli sentetik bir veri setidir. Görsel SLAM'in sınırlarını zorlamak için oluşturulmuştur ve iç mekan, dış mekan, şehir ve doğa sahneleri gibi çok çeşitli ortamların yanı sıra mevsimsel, hava durumu ve aydınlatma değişiklikleri ile zorlu koşulları barındırır.

TartanAir simülasyonda oluşturulduğu için bu geniş sahne yelpazesinde yoğun derinlik yer gerçeği (ground truth) sağlar; bu da onu monoküler depth estimation modellerini eğitmek için güçlü bir çevresel çeşitlilik ve uzun menzilli geometri kaynağı haline getirir.

Temel Özellikler#

• AirSim simülatöründe oluşturulan Sentetik veri.
• Mevsimsel, hava durumu ve ışıklandırma değişimleri ile zorlu koşullara sahip çeşitli iç ve dış mekan (kentsel, doğa) ortamları.
• Tüm sahnelerde yoğun derinlik verisi (ground truth).
• ~80 m'ye kadar derinlik aralığı.
• Ultralytics derinlik eğitimi karışımına 61.470 görüntü (55.660 eğitim / 5.810 doğrulama) katkıda bulunur.

Veri Kümesi Yapısı#

TartanAir derinlik veri kümesi iki alt kümeye ayrılmıştır:

1. Train: Eğitim için eşleştirilmiş yoğun derinlik haritalarına sahip 55.660 görüntü.
2. Val: Eğitim sırasında doğrulama için eşleştirilmiş yoğun derinlik haritalarına sahip 5.810 görüntü.

Her bir RGB görüntüsü, piksel başına mesafeleri metre cinsinden depolayan bir .npy float32 derinlik haritası ile Ultralytics depth dataset format formatını takip edecek şekilde eşleştirilmiştir.

Verileri Elde Et#

TartanAir'in otomatik indirme desteği yoktur; veriler CMU'nun AirLab'i tarafından dağıtılır (koşullar için dataset page sayfasına bakın) ve tartanair_tools betikleriyle indirilir:

git clone https://github.com/castacks/tartanair_tools && cd tartanair_tools
python download_training.py --output-dir ./data --rgb --depth --only-left --unzip

Derinlik zaten metre cinsinden float32 .npy olarak (depth_left/*_left_depth.npy, image_left/*_left.png yanında) saklanır; bu nedenle dönüştürme işlemi yalnızca yeniden düzenleme yapmaktan ve gökyüzünü geçersiz kılmaktan ibarettir (aşırı mesafeler olarak işlenir; yayınlanan karışım, dataset YAML ile eşleşmesi için 80 m'de kırpılır). TartanAir resmi bir val (doğrulama) bölümü sunmaz — bir veya daha fazla ortamı ayrı tut. Ultralytics depth dataset format formatına referans dönüştürme:

import shutil
from pathlib import Path

import numpy as np

VAL_ENVS = {"neighborhood"}  # environments held out for validation
src, dst = Path("data"), Path("datasets/depth-tartanair")
for depth_file in sorted(src.rglob("depth_left/*_left_depth.npy")):
    env, traj = depth_file.parts[-5], depth_file.parts[-3]
    out = "val" if env.lower() in VAL_ENVS else "train"
    (dst / f"images/{out}").mkdir(parents=True, exist_ok=True)
    (dst / f"depth/{out}").mkdir(parents=True, exist_ok=True)
    depth = np.load(depth_file)
    depth[depth > 80.0] = 0.0  # sky/extreme range → 0 = invalid
    frame = depth_file.name.replace("_depth.npy", "")  # e.g. 000000_left
    name = f"{env}_{traj}_{frame}"
    np.save(dst / f"depth/{out}/{name}.npy", depth)
    shutil.copy(depth_file.parents[1] / "image_left" / f"{frame}.png", dst / f"images/{out}/{name}.png")

YOLO26-Depth'teki Rolü#

TartanAir, Ultralytics YOLO26-Depth modellerini önceden eğitmek için kullanılan geniş çoklu veri kümesi karışımındaki (~2,19M görüntü) eğitim kaynaklarından biridir. Bu karışım içinde TartanAir, iç mekan ve gerçek dünya kaynaklarını tamamlayan sentetik çevresel çeşitlilik ve uzun menzilli dış mekan geometrisi sağlar.

Bu kurulumda bağımsız bir TartanAir benchmark (kıyaslama) testi yoktur. Bunun yerine, elde edilen modeller standart monoküler derinlik benchmarklarında değerlendirilir: NYU Depth V2, KITTI, Make3D, ETH3D ve iBims-1.

Veri Kümesi YAML#

Bir YAML (Yet Another Markup Language) dosyası, veri seti yapılandırmasını tanımlamak için kullanılır. Veri setinin yolları, sınıfları ve diğer ilgili bilgiler hakkında bilgi içerir. TartanAir için depth-tartanair.yaml dosyası yolları ve tek depth sınıfını tanımlar.

# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# TartanAir dataset for monocular depth estimation — synthetic indoor + outdoor (AirSim), dense depth up to ~80 m
# Documentation: https://docs.ultralytics.com/datasets/depth/tartanair
# Example usage: yolo depth train data=depth-tartanair.yaml model=yolo26n-depth.pt
# No autodownload — obtain the source data (see docs) and arrange it as below.
# parent
# ├── ultralytics
# └── datasets
#     └── depth-tartanair
#         ├── images/{train,val}  # RGB images
#         └── depth/{train,val}   # paired *.npy, float32 meters (images/ -> depth/)

path: depth-tartanair # dataset root dir (relative to Ultralytics settings 'datasets_dir')
train: images/train # train images (relative to 'path') 55660 images
val: images/val # val images (relative to 'path') 5810 images
max_depth: 80 # (m) maximum valid depth; GT beyond this is excluded from val metrics

nc: 1
names:
  0: depth

channels: 3

Kullanım#

TartanAir veri seti üzerinde 640 görsel boyutuyla bir YOLO26n-Depth modeli eğitmek için aşağıdaki kod parçacıklarını kullanabilirsin. Kullanılabilir argümanların kapsamlı bir listesi için model Training sayfasına göz at.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-depth.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="depth-tartanair.yaml", epochs=100, imgsz=640)

Önceden Eğitilmiş Modeller#

YOLO26 derinlik ailesi (yolo26n-depth.pt, yolo26s-depth.pt, yolo26m-depth.pt, yolo26l-depth.pt, yolo26x-depth.pt) Ultralytics sürümlerinden otomatik olarak indirilir ve TartanAir'in de dahil olduğu geniş çoklu veri seti karışımı üzerinde eğitilir. Ultralytics Platform üzerinde YOLO26x-depth seçeneğini keşfet.

Alıntılar ve Teşekkür#

TartanAir veri kümesini araştırma veya geliştirme çalışmalarında kullanırsan, lütfen aşağıdaki makaleye atıfta bulun:

@inproceedings{wang2020tartanair,
      title={TartanAir: A Dataset to Push the Limits of Visual SLAM},
      author={Wenshan Wang and Delong Zhu and Xiangwei Wang and Yaoyu Hu and Yuheng Qiu and Chen Wang and Yafei Hu and Ashish Kapoor and Sebastian Scherer},
      booktitle={IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)},
      year={2020}
}

Bu çeşitli sentetik veri kümesini bilgisayarlı görü topluluğuna sundukları için TartanAir'in yaratıcılarına teşekkür ederiz.