Начать

Набор данных глубины Make3D

Make3D — классический наружный бенчмарк для монокулярной оценки глубины. Он содержит изображения университетского кампуса и эталонные данные глубины, полученные с помощью специального 3D-лазерного сканера, и широко используется для проверки обобщения на данные, отличающиеся от обучающих.

Основные особенности#

  • Эталонная глубина получена с помощью специального 3D-лазерного сканера.
  • Охватывает реальные уличные сцены кампусов.
  • Диапазон глубины — примерно до 70 м.
  • Оценка проводится на стандартной тестовой выборке из 134 изображений.
  • Классический бенчмарк для проверки обобщающей способности вне распределения.

Роль в YOLO26-Depth#

Make3D — это тестовый набор для оценки семейства YOLO26-Depth без дообучения; опубликованные модели на нём не обучались. Это наиболее сложный для всех моделей набор для оценки вне обучающего распределения, поскольку содержит уличные сцены. Как и ожидалось для этого набора данных, абсолютные значения δ1 в целом низкие.

При оценке применяются аугментация во время тестирования (TTA) с несколькими масштабами и горизонтальным отражением, а затем выполняется выравнивание масштаба между предсказанными и эталонными картами глубины методом наименьших квадратов в логарифмическом пространстве; после этого вычисляются метрики.

Результаты#

В таблице ниже приведена точность δ1 (доля пикселей в пределах порога 1.25×; чем выше, тем лучше) на тестовом наборе Make3D для моделей разных размеров.

Модельδ1
YOLO26n-depth0.307
YOLO26s-depth0.311
YOLO26m-depth0.293
YOLO26l-depth0.297
YOLO26x-depth0.299

Оценка#

Make3D не поставляется вместе с YAML-файлом набора данных. Оценка выполняется специальным скриптом, который загружает изображения Make3D и эталонную глубину с лазерного сканера, применяет стандартную тестовую аугментацию (TTA) и выравнивание масштаба методом наименьших квадратов в логарифмическом пространстве, а затем вычисляет метрики глубины.

Использование#

Make3D — внешний бенчмарк, поэтому для обработки его изображений модели обычно запускают с помощью predict.

Пример предсказания
from ultralytics import YOLO

# Загрузить модель
model = YOLO("yolo26x-depth.pt")  # загрузить предварительно обученную модель глубины

# Предсказание глубины на изображениях Make3D
results = model.predict("path/to/make3d/images")

Предварительно обученные модели#

Семейство моделей оценки глубины YOLO26 проходит оценку без дообучения на бенчмарке Make3D. При первом использовании эти модели автоматически загружаются из релиза ресурсов Ultralytics v8.4.0, например YOLO26x-depth; доступны разные размеры (yolo26n/s/m/l/x-depth) для разных требований к точности и ресурсам.

Цитирование и благодарности#

Если ты используешь набор данных Make3D в исследовательской или разработческой работе, пожалуйста, процитируй следующую статью:

Цитирование
@article{saxena2009make3d,
      title={Make3D: Learning 3D Scene Structure from a Single Still Image},
      author={Saxena, Ashutosh and Sun, Min and Ng, Andrew Y.},
      journal={IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)},
      year={2009}
}

Благодарим авторов за создание и поддержку этого ценного ресурса для сообщества компьютерного зрения.

Часто задаваемые вопросы#

  • Make3D — это уличный бенчмарк вне распределения для оценки без дообучения: он содержит 134 изображения кампусных сцен с глубиной примерно до 70 м, полученной с помощью специального лазерного сканера. Выпущенные модели YOLO26-Depth на нём не обучались, поэтому этот набор позволяет оценить, насколько хорошо они обобщаются на незнакомые уличные сцены.

  • Make3D — самый сложный из пяти тестовых наборов для каждой модели, потому что сцены и статистики глубины в нём сильно отличаются от обучающих данных. Для этого набора ожидаемы абсолютные значения δ1 около 0.3; важнее относительное сравнение моделей.

  • Нет. Make3D оценивается специальным скриптом с многомасштабной аугментацией и отражением во время тестирования, а также выравниванием масштаба методом наименьших квадратов в логарифмическом пространстве. Чтобы запустить модель на изображениях Make3D, используй режим предсказания, как показано в разделе Использование.

Участники

Комментарии

Задай вопрос, поделись результатами или помоги кому-нибудь.