Датасет глубины ETH3D#

ETH3D — это бенчмарк стереореконструкции по множеству ракурсов с высоким разрешением, используемый для оценки глубины по одному изображению. Он предоставляет эталонные данные геодезического класса, снятые лазерным сканером в помещениях и на улице.

Основные особенности#

• Эталонная глубина геодезического класса, полученная с помощью высокоточного лазерного сканера.
• Изображения высокого разрешения, охватывающие сцены в помещениях и на улице.
• Диапазон глубины — примерно до 60 м.
• Оценка проводится на 423 изображениях.
• Высококачественный бенчмарк стереореконструкции по множеству ракурсов с точной плотной эталонной глубиной.

Роль в YOLO26-Depth#

ETH3D — это бенчмарк оценки в режиме zero-shot для семейства YOLO26-Depth; опубликованные модели на нём не обучались. Сочетание сцен в помещениях и на улице с точной эталонной глубиной, полученной лазерным сканером, позволяет надёжно проверить обобщающую способность моделей при переходе между разными областями.

При оценке применяются аугментация во время тестирования (TTA) с несколькими масштабами и горизонтальным отражением, а затем выполняется выравнивание масштаба между предсказанными и эталонными картами глубины методом наименьших квадратов в логарифмическом пространстве; после этого вычисляются метрики.

Результаты#

В таблице ниже приведена точность delta1 (доля пикселей с ошибкой в пределах порога 1,25×; чем выше, тем лучше) на изображениях ETH3D для моделей разных размеров.

Оценка#

ETH3D не поставляется со встроенным YAML-файлом датасета. Оценка выполняется с помощью отдельного скрипта, который загружает изображения ETH3D и эталонную глубину, полученную лазерным сканером, применяет стандартную TTA и выравнивание масштаба методом наименьших квадратов в логарифмическом пространстве, а затем выводит метрики глубины.

Использование#

ETH3D — внешний бенчмарк, поэтому модели обычно запускают на его изображениях с помощью predict. Полный список доступных аргументов см. на странице предсказания модели.

from ultralytics import YOLO

# Загрузить модель
model = YOLO("yolo26x-depth.pt")  # загрузить предварительно обученную модель глубины

# Предсказать глубину на изображениях ETH3D
results = model.predict("path/to/eth3d/images")

Предварительно обученные модели#

Семейство моделей глубины YOLO26 оценивается без дообучения на бенчмарке ETH3D. При первом использовании эти модели автоматически загружаются из релиза ресурсов Ultralytics v8.4.0, например YOLO26x-depth. Доступны модели разных размеров (yolo26n/s/m/l/x-depth), рассчитанные на различные требования к точности и ресурсам.

Цитирование и благодарности#

Если ты используешь набор данных ETH3D в исследованиях или разработке, укажи следующую статью:

@inproceedings{schops2017eth3d,
      title={A Multi-View Stereo Benchmark with High-Resolution Images and Multi-Camera Videos},
      author={Sch{\"o}ps, Thomas and Sch{\"o}nberger, Johannes L. and Galliani, Silvano and Sattler, Torsten and Schindler, Konrad and Pollefeys, Marc and Geiger, Andreas},
      booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
      year={2017}
}

Благодарим авторов за создание и поддержку этого ценного ресурса для сообщества компьютерного зрения.

Часто задаваемые вопросы#