Набор данных глубины Make3D#

Make3D — классический уличный бенчмарк для оценки глубины по одному изображению. Он содержит изображения кампусных сцен с эталонной глубиной, полученной с помощью специального 3D-лазерного сканера, и широко используется для проверки обобщающей способности вне распределения.

Основные особенности#

• Эталонная глубина получена с помощью специального 3D-лазерного сканера.
• Охватывает реальные уличные сцены кампусов.
• Диапазон глубины — примерно до 70 м.
• Оценка проводится на стандартной тестовой выборке из 134 изображений.
• Классический бенчмарк для проверки обобщающей способности вне распределения.

Роль в YOLO26-Depth#

Make3D — это бенчмарк оценки без дообучения для семейства YOLO26-Depth; опубликованные модели на нём не обучались. Это уличный набор данных вне распределения, поэтому он представляет собой самый сложный бенчмарк для всех моделей; абсолютные значения delta1 невысоки для всех моделей, что ожидаемо для этого набора данных.

При оценке применяются аугментация во время тестирования (TTA) с несколькими масштабами и горизонтальным отражением, а затем выполняется выравнивание масштаба между предсказанными и эталонными картами глубины методом наименьших квадратов в логарифмическом пространстве; после этого вычисляются метрики.

Результаты#

В таблице ниже указана точность delta1 (доля пикселей в пределах порога 1,25×; чем выше, тем лучше) на тестовой выборке Make3D в зависимости от размера модели.

Оценка#

Make3D не поставляется вместе с YAML-файлом набора данных. Оценка выполняется специальным скриптом, который загружает изображения Make3D и эталонную глубину с лазерного сканера, применяет стандартную тестовую аугментацию (TTA) и выравнивание масштаба методом наименьших квадратов в логарифмическом пространстве, а затем вычисляет метрики глубины.

Использование#

Make3D — внешний бенчмарк, поэтому модели обычно запускают на его изображениях с помощью predict. Полный список доступных аргументов см. на странице предсказания модели.

from ultralytics import YOLO

# Загрузить модель
model = YOLO("yolo26x-depth.pt")  # загрузить предварительно обученную модель глубины

# Предсказание глубины на изображениях Make3D
results = model.predict("path/to/make3d/images")

Предварительно обученные модели#

Семейство моделей оценки глубины YOLO26 проходит оценку без дообучения на бенчмарке Make3D. При первом использовании эти модели автоматически загружаются из релиза ресурсов Ultralytics v8.4.0, например YOLO26x-depth; доступны разные размеры (yolo26n/s/m/l/x-depth) для разных требований к точности и ресурсам.

Цитирование и благодарности#

Если ты используешь набор данных Make3D в исследовательской или разработческой работе, пожалуйста, процитируй следующую статью:

@article{saxena2009make3d,
      title={Make3D: Learning 3D Scene Structure from a Single Still Image},
      author={Saxena, Ashutosh and Sun, Min and Ng, Andrew Y.},
      journal={IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)},
      year={2009}
}

Благодарим авторов за создание и поддержку этого ценного ресурса для сообщества компьютерного зрения.

Часто задаваемые вопросы#