Набор данных глубины Make3D
Make3D — классический наружный бенчмарк для монокулярной оценки глубины. Он содержит изображения университетского кампуса и эталонные данные глубины, полученные с помощью специального 3D-лазерного сканера, и широко используется для проверки обобщения на данные, отличающиеся от обучающих.
Основные особенности#
- Эталонная глубина получена с помощью специального 3D-лазерного сканера.
- Охватывает реальные уличные сцены кампусов.
- Диапазон глубины — примерно до 70 м.
- Оценка проводится на стандартной тестовой выборке из 134 изображений.
- Классический бенчмарк для проверки обобщающей способности вне распределения.
Роль в YOLO26-Depth#
Make3D — это тестовый набор для оценки семейства YOLO26-Depth без дообучения; опубликованные модели на нём не обучались. Это наиболее сложный для всех моделей набор для оценки вне обучающего распределения, поскольку содержит уличные сцены. Как и ожидалось для этого набора данных, абсолютные значения δ1 в целом низкие.
При оценке применяются аугментация во время тестирования (TTA) с несколькими масштабами и горизонтальным отражением, а затем выполняется выравнивание масштаба между предсказанными и эталонными картами глубины методом наименьших квадратов в логарифмическом пространстве; после этого вычисляются метрики.
Результаты#
В таблице ниже приведена точность δ1 (доля пикселей в пределах порога 1.25×; чем выше, тем лучше) на тестовом наборе Make3D для моделей разных размеров.
| Модель | δ1 |
|---|---|
| YOLO26n-depth | 0.307 |
| YOLO26s-depth | 0.311 |
| YOLO26m-depth | 0.293 |
| YOLO26l-depth | 0.297 |
| YOLO26x-depth | 0.299 |
Оценка#
Make3D не поставляется вместе с YAML-файлом набора данных. Оценка выполняется специальным скриптом, который загружает изображения Make3D и эталонную глубину с лазерного сканера, применяет стандартную тестовую аугментацию (TTA) и выравнивание масштаба методом наименьших квадратов в логарифмическом пространстве, а затем вычисляет метрики глубины.
Использование#
Make3D — внешний бенчмарк, поэтому для обработки его изображений модели обычно запускают с помощью predict.
from ultralytics import YOLO
# Загрузить модель
model = YOLO("yolo26x-depth.pt") # загрузить предварительно обученную модель глубины
# Предсказание глубины на изображениях Make3D
results = model.predict("path/to/make3d/images")Предварительно обученные модели#
Семейство моделей оценки глубины YOLO26 проходит оценку без дообучения на бенчмарке Make3D. При первом использовании эти модели автоматически загружаются из релиза ресурсов Ultralytics v8.4.0, например YOLO26x-depth; доступны разные размеры (yolo26n/s/m/l/x-depth) для разных требований к точности и ресурсам.
Цитирование и благодарности#
Если ты используешь набор данных Make3D в исследовательской или разработческой работе, пожалуйста, процитируй следующую статью:
@article{saxena2009make3d,
title={Make3D: Learning 3D Scene Structure from a Single Still Image},
author={Saxena, Ashutosh and Sun, Min and Ng, Andrew Y.},
journal={IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)},
year={2009}
}Благодарим авторов за создание и поддержку этого ценного ресурса для сообщества компьютерного зрения.
Часто задаваемые вопросы#
Make3D — это уличный бенчмарк вне распределения для оценки без дообучения: он содержит 134 изображения кампусных сцен с глубиной примерно до 70 м, полученной с помощью специального лазерного сканера. Выпущенные модели YOLO26-Depth на нём не обучались, поэтому этот набор позволяет оценить, насколько хорошо они обобщаются на незнакомые уличные сцены.
Make3D — самый сложный из пяти тестовых наборов для каждой модели, потому что сцены и статистики глубины в нём сильно отличаются от обучающих данных. Для этого набора ожидаемы абсолютные значения δ1 около 0.3; важнее относительное сравнение моделей.
Нет. Make3D оценивается специальным скриптом с многомасштабной аугментацией и отражением во время тестирования, а также выравниванием масштаба методом наименьших квадратов в логарифмическом пространстве. Чтобы запустить модель на изображениях Make3D, используй режим предсказания, как показано в разделе Использование.
Комментарии
Задай вопрос, поделись результатами или помоги кому-нибудь.