Link to this sectionНабор данных KITTI Depth#
Набор данных KITTI — это эталонный набор данных реального мира для автономного вождения, полученный с движущегося автомобиля в городе Карлсруэ и его окрестностях. Для монокулярного оценивания глубины эталонная глубина (ground-truth) извлекается с помощью лазерного сканера Velodyne HDL-64 и уплотняется методом Uhrig et al. 2017. Полученные карты глубины остаются разреженными: примерно 16–20% пикселей содержат достоверное значение глубины. KITTI — единственный источник реальных данных об открытых пространствах на больших расстояниях в наборе для предварительного обучения YOLO26-Depth, который также служит эталонным тестом KITTI Eigen.
Link to this sectionКлючевые особенности#
- Реальные сцены вождения на открытом воздухе с глубиной до 80 м, что намного превышает типичный диапазон помещений.
- Эталонная глубина получена с помощью LiDAR Velodyne HDL-64 и уплотнена с использованием подхода Sparsity Invariant CNNs авторов Uhrig et al. 2017.
- Разреженное обучение (Sparse supervision): только около 16–20% пикселей на изображение имеют достоверное значение глубины; недостоверные пиксели исключаются из потерь и метрик.
- Стереопары изображений (левое
image_02и правоеimage_03) предоставляют дополнительные точки обзора для обучения. - Значения глубины хранятся как массивы
.npyfloat32 в метрах согласно формату наборов данных глубины Ultralytics.
Link to this sectionСтруктура набора данных#
Данные глубины KITTI, используемые Ultralytics, разделены на два подмножества:
- Тренировочное разделение (Training split): 60 040 изображений (левое
image_02и правоеimage_03). 28 тестовых поездок KITTI Eigen исключены из обучения для обеспечения честной оценки. - Разделение для оценки (Evaluation split): тестовое разделение KITTI Eigen, 32 378 изображений (с обеих камер). При оценке используются обрезка Garg, ограничение глубины 80 м и выравнивание методом наименьших квадратов логарифмов между прогнозами и эталонными данными.
Диапазон глубины достигает примерно 80 м, и файл YAML набора данных (depth-kitti.yaml) соответствующим образом устанавливает max_depth: 80.
Link to this sectionРоль в YOLO26-Depth#
KITTI предоставляет единственный источник контроля реальных открытых пространств на больших расстояниях в наборе для предварительного обучения YOLO26-Depth, дополняя преимущественно источники в помещениях. Это также стандартный эталонный тест KITTI Eigen для отчетности о точности оценки глубины в сценах вождения.
KITTI is a key example of why the depth head is unbounded (log mode): a fixed 10 m output ceiling cannot represent 80 m driving scenes. See the depth task page for details on the head output range and max_depth handling.
Link to this sectionРезультаты#
Точность KITTI Eigen delta1 по размеру модели (чем выше, тем лучше):
| Модель | KITTI Eigen δ1 |
|---|---|
| YOLO26n-Depth | 0.888 |
| YOLO26s-Depth | 0.882 |
| YOLO26m-Depth | 0.924 |
| YOLO26l-Depth | 0.927 |
| YOLO26x-Depth | 0.939 |
Link to this sectionYAML набора данных#
Для определения конфигурации набора данных используется файл YAML (Yet Another Markup Language). Он содержит информацию о путях набора данных, классах и другую соответствующую информацию, такую как максимальная глубина.
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license
# KITTI dataset for monocular depth estimation — real outdoor driving, Velodyne HDL-64 LiDAR (densified), sparse, up to ~80 m
# Documentation: https://docs.ultralytics.com/datasets/depth/kitti
# Example usage: yolo depth train data=depth-kitti.yaml model=yolo26n-depth.pt
# parent
# ├── ultralytics
# └── datasets
# └── depth-kitti ← downloads here (~190 GB archives, ~230 GB converted)
# ├── images/{train,val} # RGB images
# └── depth/{train,val} # paired *.npy, float32 meters (images/ -> depth/)
# If an interrupted download leaves a partial dataset, delete the depth-kitti dir and re-run to rebuild it.
path: depth-kitti # dataset root dir (relative to Ultralytics settings 'datasets_dir')
train: images/train # train images (relative to 'path') 60040 images
val: images/val # val images (relative to 'path') 32378 images (KITTI Eigen test split)
max_depth: 80 # (m) maximum valid depth; GT beyond this is excluded from val metrics
nc: 1
names:
0: depth
channels: 3
# Download script/URL (optional)
download: |
import shutil
from pathlib import Path
import cv2
import numpy as np
from ultralytics.utils import TQDM
from ultralytics.utils.downloads import download
# Drives of the 28 KITTI Eigen test scenes -> val; every other annotated drive -> train
VAL_DRIVES = """2011_09_26_drive_0002 2011_09_26_drive_0009 2011_09_26_drive_0013 2011_09_26_drive_0020
2011_09_26_drive_0023 2011_09_26_drive_0027 2011_09_26_drive_0029 2011_09_26_drive_0036 2011_09_26_drive_0046
2011_09_26_drive_0048 2011_09_26_drive_0052 2011_09_26_drive_0056 2011_09_26_drive_0059 2011_09_26_drive_0064
2011_09_26_drive_0084 2011_09_26_drive_0086 2011_09_26_drive_0093 2011_09_26_drive_0096 2011_09_26_drive_0101
2011_09_26_drive_0106 2011_09_26_drive_0117 2011_09_28_drive_0002 2011_09_29_drive_0026 2011_09_29_drive_0071
2011_09_30_drive_0016 2011_10_03_drive_0034 2011_10_03_drive_0042 2011_10_03_drive_0047""".split()
# Annotated drives excluded from the release training set (raw data was unavailable at build time)
SKIP_DRIVES = {"2011_09_28_drive_0104", "2011_09_28_drive_0135", "2011_09_28_drive_0177", "2011_09_28_drive_0214"}
# Download the improved sparse GT (~14 GB) and the raw recordings it covers (~175 GB)
dir = Path(yaml["path"]) # dataset root dir
base = "https://s3.eu-central-1.amazonaws.com/avg-kitti"
download([f"{base}/data_depth_annotated.zip"], dir=dir / "source", delete=True, exist_ok=True)
gt_drives = sorted(p for p in (dir / "source" / "data_depth_annotated").glob("*/*_sync") if p.name[:-5] not in SKIP_DRIVES)
urls = [f"{base}/raw_data/{p.name[:-5]}/{p.name}.zip" for p in gt_drives]
download(urls, dir=dir / "source" / "raw", delete=True, exist_ok=True, threads=4)
# Convert: GT PNGs are uint16 meters*256; RGB frames come from the matching raw drive
for split in ("train", "val"):
(dir / "images" / split).mkdir(parents=True, exist_ok=True)
(dir / "depth" / split).mkdir(parents=True, exist_ok=True)
for gt in TQDM(gt_drives, desc="Converting"):
drive = gt.name[:-5] # 2011_09_26_drive_0002
split = "val" if drive in VAL_DRIVES else "train"
for cam in ("image_02", "image_03"):
for png in sorted((gt / "proj_depth" / "groundtruth" / cam).glob("*.png")):
name = f"{drive}_{cam[-2:]}_{png.stem}"
depth = cv2.imread(str(png), cv2.IMREAD_ANYDEPTH).astype(np.float32) / 256.0
np.save(dir / "depth" / split / f"{name}.npy", depth)
raw = dir / "source" / "raw" / drive[:10] / gt.name / cam / "data" / png.name
raw.replace(dir / "images" / split / f"{name}.png")
shutil.rmtree(dir / "source")Link to this sectionИспользование#
Чтобы обучить модель YOLO26n-Depth на наборе данных KITTI в течение 100 эпох, ты можешь использовать следующие фрагменты кода. Полный список доступных аргументов см. на странице модели Training.
from ultralytics import YOLO
# Load a pretrained depth model
model = YOLO("yolo26n-depth.pt")
# Train the model on KITTI
results = model.train(data="depth-kitti.yaml", epochs=100, imgsz=640)Link to this sectionПредварительно обученные модели#
Предварительно обученные модели YOLO26-Depth автоматически загружаются из релиза активов Ultralytics v8.4.0 при первом обращении по имени:
Link to this sectionЦитирование и благодарности#
Если ты используешь набор данных KITTI в своих исследованиях или разработках, пожалуйста, сошлись на следующие статьи:
@article{geiger2013vision,
title={Vision meets Robotics: The KITTI Dataset},
author={Geiger, Andreas and Lenz, Philip and Stiller, Christoph and Urtasun, Raquel},
journal={The International Journal of Robotics Research},
year={2013},
publisher={SAGE Publications}
}
@inproceedings{uhrig2017sparsity,
title={Sparsity Invariant CNNs},
author={Uhrig, Jonas and Schneider, Nick and Schneider, Lukas and Franke, Uwe and Brox, Thomas and Geiger, Andreas},
booktitle={International Conference on 3D Vision (3DV)},
year={2017}
}Мы хотим выразить признательность Технологическому институту Карлсруэ и Технологическому институту Тойоты в Чикаго за создание и поддержку набора данных KITTI, а также Uhrig et al. за метод уплотнения глубины, который делает возможным плотное обучение.