TartanAir Derinlik Veri Kümesi#

TartanAir, AirSim simülatöründe oluşturulmuş, büyük ölçekli sentetik bir veri kümesidir. Görsel SLAM'in sınırlarını zorlamak amacıyla oluşturulmuştur ve mevsimsel, hava durumu ve aydınlatma değişkenlerinin yanı sıra zorlu koşullarla birlikte iç mekân, dış mekân, kentsel ve doğal sahneler dahil çok çeşitli ortamları kapsar.

TartanAir simülasyonda oluşturulduğu için bu çeşitli sahne kümesi genelinde yoğun derinlik temel gerçeği sağlar; bu da onu monoküler derinlik tahmini modellerini eğitmek için çevresel çeşitlilik ve uzun menzilli geometri açısından güçlü bir kaynak hâline getirir.

Temel Özellikler#

• AirSim simülatöründe oluşturulmuş sentetik veriler.
• Mevsimsel, hava durumu ve aydınlatma değişkenlerinin yanı sıra zorlu koşulları içeren çeşitli iç ve dış mekân ortamları (kentsel, doğal).
• Tüm sahnelerde yoğun derinlik temel gerçeği.
• ~80 m'ye kadar derinlik aralığı.
• Ultralytics derinlik eğitim karışımına 61.470 görüntü (55.660 eğitim / 5.810 doğrulama) katkısı sağlar.

Veri Kümesi Yapısı#

TartanAir derinlik veri kümesi iki alt kümeye ayrılır:

1. Eğitim: Eğitim için eşleştirilmiş yoğun derinlik haritalarına sahip 55.660 görüntü.
2. Doğrulama: Eğitim sırasında doğrulama için eşleştirilmiş yoğun derinlik haritalarına sahip 5.810 görüntü.

Her RGB görüntüsü, metre başına 256 birim içeren ölçeklendirilmiş bir uint16 derinlik PNG'si (depth_scale: 256) ile eşleştirilmiştir ve Ultralytics derinlik veri kümesi formatını izler. Bu, 3,90625 mm çözünürlükteki tam 80 m aralığını temsil eder.

Verileri Edinme#

TartanAir otomatik indirmeyi desteklemez — veriler CMU'nun AirLab'ı tarafından dağıtılır (koşullar için veri kümesi sayfasına bakabilirsin) ve tartanair_tools betikleriyle indirilir:

git clone https://github.com/castacks/tartanair_tools && cd tartanair_tools
python download_training.py --output-dir ./data --rgb --depth --only-left --unzip

Derinlik, metre cinsinden zaten float32 .npy olarak depolanır (depth_left/*_left_depth.npy, image_left/*_left.png'nin yanında), bu nedenle dönüştürme yalnızca yeniden düzenleme ve gökyüzünü geçersiz kılma işlemlerinden oluşur (aşırı mesafeler olarak oluşturulur; yayımlanan karışım, veri kümesi YAML'si ile eşleşmesi için 80 m'de kırpılır). TartanAir'de resmî bir doğrulama bölümü bulunmaz — bir veya daha fazla ortamı ayırman gerekir. Ultralytics derinlik veri kümesi formatına referans dönüştürme:

import shutil
from pathlib import Path

import numpy as np

from ultralytics.data.utils import save_depth_png

VAL_ENVS = {"neighborhood"}  # environments held out for validation
src, dst = Path("data"), Path("datasets/depth-tartanair")
for depth_file in sorted(src.rglob("depth_left/*_left_depth.npy")):
    env, traj = depth_file.parts[-5], depth_file.parts[-3]
    out = "val" if env.lower() in VAL_ENVS else "train"
    (dst / f"images/{out}").mkdir(parents=True, exist_ok=True)
    (dst / f"depth/{out}").mkdir(parents=True, exist_ok=True)
    depth = np.load(depth_file)
    depth[depth > 80.0] = 0.0  # sky/extreme range → 0 = invalid
    frame = depth_file.name.replace("_depth.npy", "")  # e.g. 000000_left
    name = f"{env}_{traj}_{frame}"
    save_depth_png(dst / f"depth/{out}/{name}.png", depth, scale=256)
    shutil.copy(depth_file.parents[1] / "image_left" / f"{frame}.png", dst / f"images/{out}/{name}.png")

YOLO26-Depth İçindeki Rolü#

TartanAir, Ultralytics YOLO26-Depth modellerini önceden eğitmek için kullanılan geniş çoklu veri kümesi karışımındaki (~2,19 milyon görüntü) eğitim kaynaklarından biridir. Bu karışımda TartanAir, iç mekân ve gerçek dünya kaynaklarını tamamlayan sentetik çevresel çeşitlilik ve uzun menzilli dış mekân geometrisi sağlar.

Bu kurulumda bağımsız bir ayrılmış TartanAir kıyaslama testi yoktur. Bunun yerine ortaya çıkan modeller standart monoküler derinlik kıyaslamalarında değerlendirilir: NYU Depth V2, KITTI, Make3D, ETH3D ve iBims-1.

Veri Kümesi YAML'i#

Veri kümesi yapılandırmasını tanımlamak için bir YAML dosyası kullanılır. Dosya, veri kümesinin yolları, sınıfları ve diğer ilgili bilgileri hakkında bilgi içerir. TartanAir için depth-tartanair.yaml dosyası yolları ve tek depth sınıfını tanımlar.

# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# TartanAir dataset for monocular depth estimation — synthetic indoor + outdoor (AirSim), dense depth up to ~80 m
# Documentation: https://docs.ultralytics.com/datasets/depth/tartanair
# Example usage: yolo depth train data=depth-tartanair.yaml model=yolo26n-depth.pt
# No autodownload — obtain the source data (see docs) and arrange it as below.
# parent
# ├── ultralytics
# └── datasets
#     └── depth-tartanair
#         ├── images/{train,val}  # RGB images
#         └── depth/{train,val}   # paired 16-bit *.png depth maps (images/ -> depth/)

path: depth-tartanair # dataset root dir (relative to Ultralytics settings 'datasets_dir')
train: images/train # train images (relative to 'path') 55660 images
val: images/val # val images (relative to 'path') 5810 images
max_depth: 80 # (m) maximum valid depth; GT beyond this is excluded from val metrics

nc: 1
names:
  0: depth

channels: 3
depth_scale: 256 # PNG value 256 = 1 meter; represents the 80 m outdoor range

Kullanım#

TartanAir veri kümesinde görüntü boyutu 640 olan bir YOLO26n-Depth modelini eğitmek için aşağıdaki kod parçacıklarını kullanabilirsin. Kullanılabilir bağımsız değişkenlerin kapsamlı listesi için modelin Eğitim sayfasına bakabilirsin.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-depth.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="depth-tartanair.yaml", epochs=100, imgsz=640)

Önceden Eğitilmiş Modeller#

Derinlik YOLO26 ailesi (yolo26n-depth.pt, yolo26s-depth.pt, yolo26m-depth.pt, yolo26l-depth.pt, yolo26x-depth.pt) Ultralytics sürümlerinden otomatik olarak indirilir ve TartanAir'in parçası olduğu geniş çoklu veri kümesi karışımı üzerinde eğitilir. Ultralytics Platform'da YOLO26x-depth modelini keşfet.

Atıflar ve Teşekkürler#

TartanAir veri kümesini araştırma veya geliştirme çalışmalarında kullanıyorsan lütfen aşağıdaki makaleye atıfta bulun:

@inproceedings{wang2020tartanair,
      title={TartanAir: A Dataset to Push the Limits of Visual SLAM},
      author={Wenshan Wang and Delong Zhu and Xiangwei Wang and Yaoyu Hu and Yuheng Qiu and Chen Wang and Yafei Hu and Ashish Kapoor and Sebastian Scherer},
      booktitle={IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)},
      year={2020}
}

Bu çeşitli sentetik veri kümesini bilgisayarlı görü topluluğunun kullanımına sundukları için TartanAir'in oluşturucularına teşekkür ederiz.

SSS#