TartanAir Derinlik Veri Kümesi#

TartanAir, AirSim simülatöründe oluşturulmuş büyük ölçekli sentetik bir veri kümesidir. Görsel SLAM'in sınırlarını zorlamak için oluşturulmuş bu veri kümesi; iç mekân, dış mekân, kentsel ve doğal sahneler dâhil çok çeşitli ortamları, mevsim, hava ve ışık koşullarındaki değişiklikleri ve zorlu koşulları kapsar.

TartanAir simülasyonda oluşturulduğundan, bu çeşitli sahnelerde yoğun derinlik yer gerçeği sağlar; bu da onu monoküler derinlik tahmini modellerini eğitmek için çevresel çeşitlilik ve uzun menzilli geometri bakımından güçlü bir kaynak yapar.

Temel Özellikler#

• AirSim simülatöründe oluşturulmuş sentetik veri.
• Mevsim, hava ve ışık koşullarının değiştiği çeşitli iç ve dış mekân ortamları (kentsel, doğal) ve zorlu koşullar.
• Tüm sahnelerde yoğun derinlik yer gerçeği.
• Derinlik aralığı ~80 m.
• Ultralytics derinlik eğitim karışımına 61.470 görüntü (55.660 eğitim / 5.810 doğrulama) katar.

Veri Kümesi Yapısı#

TartanAir derinlik veri kümesi iki alt kümeye ayrılır:

1. Eğitim: Eğitim için eşleştirilmiş yoğun derinlik haritaları içeren 55.660 görüntü.
2. Doğrulama: Eğitim sırasında doğrulama için eşleştirilmiş yoğun derinlik haritaları içeren 5.810 görüntü.

Her RGB görüntü, Ultralytics derinlik veri kümesi biçimini izleyerek, metre başına 256 birim içeren ölçeklenmiş uint16 derinlik PNG'siyle (depth_scale: 256) eşleştirilir. Bu, 3.90625 mm çözünürlükte tüm 80 m aralığı temsil eder.

Verileri edinme#

TartanAir'de otomatik indirme yoktur — veriler CMU'nun AirLab birimi tarafından dağıtılır (koşullar için veri kümesi sayfasına bak) ve tartanair_tools betikleriyle indirilir:

git clone https://github.com/castacks/tartanair_tools && cd tartanair_tools
python download_training.py --output-dir ./data --rgb --depth --only-left --unzip

Derinlik, metre cinsinden float32 .npy olarak zaten depolanır (image_left/*_left.png yanında depth_left/*_left_depth.npy); bu nedenle dönüştürme yalnızca yeniden düzenleme ve gökyüzü piksellerini geçersiz kılma işleminden ibarettir (aşırı mesafeler olarak işlenir; yayımlanan karışım, veri kümesi YAML dosyasıyla eşleşmesi için değeri 80 m'de kırpar). TartanAir'de resmî bir doğrulama bölümü yoktur — bir veya daha fazla ortamı ayır. Ultralytics derinlik veri kümesi biçimine referans dönüştürme:

import shutil
from pathlib import Path

import numpy as np

from ultralytics.data.utils import save_depth_png

VAL_ENVS = {"neighborhood"}  # environments held out for validation
src, dst = Path("data"), Path("datasets/depth-tartanair")
for depth_file in sorted(src.rglob("depth_left/*_left_depth.npy")):
    env, level, traj = depth_file.parts[-5:-2]  # e.g. neighborhood, Easy, P000
    out = "val" if env.lower() in VAL_ENVS else "train"
    (dst / f"images/{out}").mkdir(parents=True, exist_ok=True)
    (dst / f"depth/{out}").mkdir(parents=True, exist_ok=True)
    depth = np.load(depth_file)
    depth[depth > 80.0] = 0.0  # sky/extreme range → 0 = invalid
    frame = depth_file.name.replace("_depth.npy", "")  # e.g. 000000_left
    name = f"{env}_{level}_{traj}_{frame}"  # Easy and Hard reuse trajectory names such as P000
    save_depth_png(dst / f"depth/{out}/{name}.png", depth, scale=256)
    shutil.copy(depth_file.parents[1] / "image_left" / f"{frame}.png", dst / f"images/{out}/{name}.png")

YOLO26-Depth'teki rolü#

TartanAir, Ultralytics YOLO26-Depth modellerini önceden eğitmek için kullanılan geniş çoklu veri kümesi karışımındaki (~2.19M görüntü) eğitim kaynaklarından biridir. Bu karışımda TartanAir, iç mekân ve gerçek dünya kaynaklarını tamamlayan sentetik çevresel çeşitlilik ve uzun menzilli dış mekân geometrisi sağlar.

Bu kurulumda TartanAir için bağımsız, eğitim dışında tutulmuş bir kıyaslama veri kümesi yoktur. Bunun yerine ortaya çıkan modeller standart monoküler derinlik kıyaslama veri kümelerinde değerlendirilir: NYU Depth V2, KITTI, Make3D, ETH3D ve iBims-1.

Veri Kümesi YAML Dosyası#

Veri kümesi yapılandırmasını tanımlamak için bir YAML dosyası kullanılır. Dosya; veri kümesinin yolları, sınıfları ve diğer ilgili bilgiler hakkında bilgi içerir. TartanAir için depth-tartanair.yaml dosyası yolları ve tek depth sınıfını tanımlar.

# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# TartanAir dataset for monocular depth estimation — synthetic indoor + outdoor (AirSim), dense depth up to ~80 m
# Documentation: https://docs.ultralytics.com/datasets/depth/tartanair
# Example usage: yolo depth train data=depth-tartanair.yaml model=yolo26n-depth.pt
# No autodownload — obtain the source data (see docs) and arrange it as below.
# parent
# ├── ultralytics
# └── datasets
#     └── depth-tartanair
#         ├── images/{train,val}  # RGB images
#         └── depth/{train,val}   # paired 16-bit *.png depth maps (images/ -> depth/)

path: depth-tartanair # dataset root dir (relative to Ultralytics settings 'datasets_dir')
train: images/train # train images (relative to 'path') 55660 images
val: images/val # val images (relative to 'path') 5810 images
max_depth: 80 # (m) maximum valid depth; GT beyond this is excluded from val metrics

nc: 1
names:
  0: depth

channels: 3
depth_scale: 256 # PNG value 256 = 1 meter; represents the 80 m outdoor range

Kullanım#

TartanAir veri kümesinde 640 görüntü boyutuyla YOLO26n-Depth modelini eğitmek için aşağıdaki kod parçacıklarını kullanabilirsin. Kullanılabilir bağımsız değişkenlerin kapsamlı listesi için modelin Eğitim sayfasına bak.

from ultralytics import YOLO

# Bir model yükle
model = YOLO("yolo26n-depth.pt")  # Önceden eğitilmiş bir model yükle (eğitim için önerilir)

# Modeli eğit
results = model.train(data="depth-tartanair.yaml", epochs=100, imgsz=640)

Önceden Eğitilmiş Modeller#

YOLO26 derinlik ailesi (yolo26n-depth.pt, yolo26s-depth.pt, yolo26m-depth.pt, yolo26l-depth.pt, yolo26x-depth.pt) Ultralytics sürümlerinden otomatik indirilir ve TartanAir'nin de parçası olduğu geniş çoklu veri kümesi karışımıyla eğitilir. YOLO26x-depth modelini Ultralytics Platform'da keşfet.

Atıflar ve Teşekkürler#

Araştırma veya geliştirme çalışmalarında TartanAir veri kümesini kullanıyorsan lütfen aşağıdaki makaleye atıfta bulun:

@inproceedings{wang2020tartanair,
      title={TartanAir: A Dataset to Push the Limits of Visual SLAM},
      author={Wenshan Wang and Delong Zhu and Xiangwei Wang and Yaoyu Hu and Yuheng Qiu and Chen Wang and Yafei Hu and Ashish Kapoor and Sebastian Scherer},
      booktitle={IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)},
      year={2020}
}

Bu çeşitli sentetik veri kümesini bilgisayarlı görü topluluğunun kullanımına sundukları için TartanAir'nin yaratıcılarına teşekkür etmek isteriz.

Sık Sorulan Sorular#