Оценка монокулярной глубины с помощью Ultralytics YOLO#

Монокулярная оценка глубины предсказывает карту глубины для каждого пикселя по одному RGB-изображению. Каждый выходной пиксель содержит значение глубины в метрах, представляющее оценочное расстояние от камеры до соответствующей точки поверхности.

Результатом работы модели глубины является плотная карта чисел с плавающей точкой формы (H, W), выровненная относительно входного изображения. Такое попиксельное представление делает монокулярную оценку глубины подходящей для реконструкции 3D-сцен, навигации роботов, создания контента AR/VR и любых приложений, которым требуется получить пространственную структуру по данным одной камеры.

Модели#

Ниже представлены модели глубины YOLO26, предварительно обученные на широком наборе из нескольких датасетов (в помещении + на улице, ~2,19 млн изображений). Столбцы с метриками рассчитаны на тестовой выборке Eigen датасета NYU Depth V2.

Модели автоматически скачиваются из последнего релиза Ultralytics при первом использовании.

• delta1^NYU — это процент пикселей, для которых предсказанная глубина отличается от истинной не более чем в 1,25 раза, на тестовой выборке Eigen датасета NYU Depth V2 (654 изображения) с TTA в виде многомасштабного преобразования и горизонтального отражения, а также выравниванием методом наименьших квадратов в логарифмическом пространстве.
• Точность в одном масштабе без TTA можно воспроизвести с помощью yolo depth val model=yolo26n-depth.pt data=nyu-depth.yaml imgsz=768 device=0 (замени model= для каждого размера); здесь используется выравнивание по медиане (только масштаб), поэтому показатели ниже: delta1 0,783 (n), 0,793 (s), 0,840 (m), 0,853 (l), 0,860 (x).
• abs_rel — это средняя абсолютная относительная ошибка между предсказанными и истинными значениями глубины.
• rmse — это среднеквадратичная ошибка в метрах.
• Скорость — это задержка только инференса (предварительная и последующая обработка не учитываются) при imgsz=768, batch=1, указанная как среднее ± стандартное отклонение по результатам замеров после прогрева. CPU ONNX — ONNX Runtime fp32 на 32-ядерном Intel Xeon (Skylake); T4 TensorRT10 — TensorRT fp16 на Tesla T4.
• params и FLOPs измерены при разрешении 768×768 — разрешении обучения выпущенных весов.

Смотри предварительный просмотр unreleased YOLO27 для предварительных результатов NYU Depth V2.

Сравнение скорости с Depth Anything V2#

Depth Anything V2 — широко используемый открытый базовый вариант для монокулярной оценки глубины. Его backbone DINOv2 и визуальный Transformer с декодером DPT требуют значительных вычислительных ресурсов, поэтому на той же Tesla T4 с TensorRT fp16 самая маленькая выпущенная модель Depth Anything V2 работает медленнее каждой модели глубины YOLO26 — включая YOLO26x-depth, в которой более чем вдвое больше параметров.

При ~768 пикселях — imgsz=768 для YOLO26, поскольку это разрешение, на котором обучались его выпущенные веса, и 770 пикселях для Depth Anything V2, backbone DINOv2 которой требует, чтобы размер был кратен размеру патча 14:

При ~640 пикселях — imgsz=640 и 644 пикселях соответственно — порядок не меняется, а YOLO26n-depth работает в 5,9 раза быстрее Depth Anything V2 Small:

• Задержка учитывает только инференс, batch=1, TensorRT fp16 на Tesla T4 — использовался тот же тестовый стенд, что и для таблицы моделей выше; здесь значения приведены с точностью до двух знаков после запятой. FPS — это обратная величина нескругленной задержки. В столбцах Ускорение задержка Depth Anything V2 Small (20,99 мс) и Base (55,40 мс) делится на задержку YOLO26.
• Depth Anything V2 Small и Base — это выпущенные чекпойнты ViT-S и ViT-B.
• Сравнение охватывает только задержку — две группы моделей здесь не оцениваются по единому протоколу точности.

Диапазон глубины и голова логарифмической глубины#

Голова глубины предсказывает exp(logit) — неограниченную (~0,02–150 м) — и отделяет форму сцены от абсолютного масштаба: сеть предсказывает поле относительной логарифмической глубины, а абсолютные значения в метрах задаются отдельным преобразованием с двумя параметрами (exp(a·log d + b)), восстановленным при оценке, с помощью лёгкой калибровки или дообучения. Распространённая альтернатива — ограниченная голова sigmoid × max_depth, в архитектуру которой зашит фиксированный верхний предел, поэтому любая глубина за пределами max_depth обрезается, что не позволяет обучаться на сценах и предсказывать сцены с большей дальностью.

Почему голова не ограничена: данные для разных диапазонов глубины#

Контролируемое A/B-сравнение — одни и те же данные, расписание обучения и различается только голова. Обучение обеих голов с нуля на одинаковой смеси данных из помещений (≤10 м) и с улицы (≤80 м):

Ограниченная голова не может представить большинство пикселей с улицы, расположенных дальше 10 м, поэтому почти сразу прекращает улучшаться; голова log обучается на всём диапазоне.

Устраняемая проблема — дообучение на одном датасете с разбиением по диапазону. Дообучение ограниченной (10 м) головы на отдельных датасетах работает, когда данные укладываются в заданный предел, и деградирует, когда его превышают:

Деградация происходит ровно на границе заданного предела. У головы log такой границы нет.

Выпущенные модели — результаты на разных диапазонах. Выпущенная группа моделей с головой log, оценённая на бенчмарках с диапазоном от 10 м (NYU, iBims-1) до 80 м (KITTI), с масштабно выровненной δ1:

Оба столбца приведены в опубликованном виде. Для остальных строк используются протоколы TTA и наименьших квадратов в логарифмическом пространстве, описанные на страницах соответствующих датасетов; валидатор в этом репозитории их не реализует, поэтому строку KITTI нельзя повторно измерить на тех же условиях. На странице KITTI приведены значения, измеренные на канонической выборке Eigen из 652 кадров.

Наибольший прирост наблюдается на уличных бенчмарках с большей дальностью (KITTI, ETH3D) — именно там фиксированный предел 10 м наносит наибольший ущерб, — при этом качество в помещениях сохраняется.

Обучение#

Обучи YOLO26n-depth на датасете Depth8 в течение 100 эпох с размером изображения 640. Полный список доступных аргументов смотри на странице Конфигурация.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-depth.yaml")  # build a new model from YAML
model = YOLO("yolo26n-depth.pt")  # load a pretrained model (recommended for training)
model = YOLO("yolo26n-depth.yaml").load("yolo26n-depth.pt")  # build from YAML and transfer weights

# Train the model
results = model.train(data="depth8.yaml", epochs=100, imgsz=640)

Полное описание режима train смотри на странице Обучение.

Дообучение на собственных данных#

При адаптации предварительно обученной модели глубины к пользовательскому датасету уменьши скорость обучения и используй оптимизатор AdamW. Настройки оптимизатора по умолчанию рассчитаны на обучение с нуля (SGD с lr0=0.01); при применении к уже сошедшейся модели глубины они могут стереть предварительно обученные знания и ухудшить результаты, особенно при дообучении на одном домене.

from ultralytics import YOLO

model = YOLO("yolo26s-depth.pt")  # start from pretrained weights

model.train(
    data="path/to/your_dataset.yaml",
    epochs=20,
    imgsz=640,
    optimizer="AdamW",
    lr0=1e-4,  # ~100x below the from-scratch default
    warmup_bias_lr=1e-4,  # keep warmup gentle too
)

Дополнительные советы:

• Аугментация управляется стандартными аргументами (degrees, translate, scale, shear, perspective, flipud, fliplr, hsv_h, hsv_s, hsv_v); геометрическое искажение и отражения применяются одинаково к парной карте глубины. Чтобы увидеть точный рецепт, использованный для выпущенных весов YOLO26-Depth, проверь train_args, сохранённый в чекпойнте, — см. Проверка аргументов обучения чекпойнта YOLO26.
• mosaic, mixup, cutmix и copy_paste не реализованы для глубины. Загрузчик датасетов глубины автоматически устанавливает эти вероятности в 0, поэтому их передача ни на что не влияет. Эти аугментации не поддерживаются, поскольку объединяют несколько изображений, что привело бы к некорректным парным картам глубины.
• Подходит любой диапазон глубины. Модели с головой log предсказывают неограниченную глубину, поэтому без изменений адаптируются к данным ближнего (макросъёмка) или дальнего диапазона (улица/вождение). Установка max_depth: в YAML-файле датасета (в метрах) ограничивает набор пикселей GT, учитываемых при расчёте метрик валидации.
• Сохраняй общую производительность. Если тебе нужно, чтобы модель оставалась точной на сценах, отсутствующих в обучающей выборке, добавь в обучающие данные небольшую долю (~5–10%) разнообразных изображений общего назначения; это существенно снижает забывание во время дообучения.
• Обучай с нуля (model=yolo26s-depth.yaml), только если твой домен сильно отличается и у тебя большой датасет — в таком случае подходит SGD lr0=0.01 по умолчанию, поскольку сохранять предварительно обученные веса не требуется.

Калибровка масштаба глубины#

Голова оценки глубины отделяет форму (относительную структуру сцены) от масштаба (абсолютных значений в метрах). Если модель уже выдаёт хорошую относительную глубину на твоих сценах, но абсолютные значения не подходят для твоей камеры, ты можешь за считаные секунды скорректировать масштаб с помощью model.calibrate() — замкнутой формулы подгонки двухпараметрической лог-аффинной функции по небольшому размеченному набору, без обучения градиентами и изменения весов сети, поэтому относительная структура не может ухудшиться.

from ultralytics import YOLO

model = YOLO("yolo26s-depth.pt")

# Fit scale on a labeled split (~100+ images is enough), then persist it
model.calibrate(data="path/to/your_dataset.yaml")
model.save("yolo26s-depth-calibrated.pt")

Для калибровки нужна эталонная глубина, по которой выполняется подгонка, поэтому она запускается на размеченной выборке — во время слепого инференса это невозможно. Подгонка и оценка выполняются на тех же пикселях, которые используются для расчёта метрик val: GT на расстоянии, равном или превышающем max_depth в YAML-файле датасета (по умолчанию 100 м), исключается. Используй калибровку, если относительная глубина уже хорошая, а проблема только в масштабе или диапазоне; если для твоего домена нужно изменить саму относительную структуру, вместо этого выполни дообучение.

Обучение делает это автоматически: после завершения model.train(...) лучшие и последние чекпойнты калибруются на валидационном наборе, чтобы сразу выдавать глубину в метрическом масштабе.

Выпущенные чекпойнты yolo26*-depth.pt уже содержат эту калибровку, выполненную по валидационной смеси предобучения. Это единый глобальный масштаб для всех доменов, поэтому для максимально точной абсолютной глубины на конкретной камере или в сценах определённого типа запусти model.calibrate() на небольшой размеченной выборке собственных данных — это заменит встроенную подгонку.

Формат датасета#

Датасеты для оценки глубины сопоставляют каждое RGB-изображение с масштабированной 16-битной PNG-картой глубины uint16 или картой глубины NPY с плавающей точкой в метрах. По умолчанию значения PNG задаются в миллиметрах; для датасетов с другим соглашением в их YAML задаётся depth_scale. Загрузчик выводит путь к карте глубины, заменяя компонент images на depth, отдавая предпочтение .png и используя .npy в качестве запасного варианта.

dataset/
├── images/
│   ├── train/
│   └── val/
└── depth/
    ├── train/
    └── val/

Например, изображению по пути images/train/scene_001.jpg соответствует карта глубины по пути depth/train/scene_001.png. Полную спецификацию формата см. в руководстве по датасетам для оценки глубины.

Val#

Проверь точность обученной модели YOLO26n-depth на датасете для оценки глубины. Явно передай data, чтобы валидация использовала нужный YAML-файл датасета. Выпущенные веса обучены с размером imgsz=768, поэтому для наилучшей точности выполняй валидацию и предсказания с этим размером.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-depth.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Validate the model
metrics = model.val(data="nyu-depth.yaml")
metrics.delta1  # percentage of pixels within threshold δ=1.25
metrics.abs_rel  # mean absolute relative error
metrics.rmse  # root mean squared error (meters)
metrics.silog  # scale-invariant logarithmic error

Predict#

Используй обученную модель YOLO26n-depth для выполнения предсказаний на изображениях.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-depth.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    depth_map = result.depth.data.cpu().numpy()  # torch.Tensor -> NumPy float32, shape (H, W), meters

Полное описание режима predict см. на странице Predict.

Выходные данные результатов#

Оценка глубины YOLO возвращает один объект Results для каждого изображения. Каждый результат содержит одну плотную карту глубины с плавающей точкой для всего изображения.

Описание специфичных для задач полей Results для всех задач см. в разделе Результаты предсказаний по задачам.

Визуализация карты глубины#

Исходная карта глубины представляет собой одноканальный массив float в метрах — он удобен для вычислений, но его сложно воспринимать напрямую. Чтобы преобразовать его в цветное изображение, используй вспомогательную функцию colorize_depth из ultralytics.utils.plotting, которая сопоставляет массив глубины (H, W) с изображением BGR (H, W, 3) uint8 (недействительные пиксели <= 0 отображаются чёрным цветом).

result.plot() уже накладывает эту цветовую визуализацию на входное изображение с параметрами по умолчанию (cmap="jet", mode="disparity"); вызывай colorize_depth напрямую, если тебе нужно отдельное цветное изображение глубины либо другая цветовая карта или нормализация.

import cv2

from ultralytics import YOLO
from ultralytics.utils.plotting import colorize_depth

model = YOLO("yolo26n-depth.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]

depth = result.depth.data.cpu().numpy()  # (H, W) float32, meters

# Colorize with near = warm and save
cv2.imwrite("depth_colored.png", colorize_depth(depth, cmap="spectral"))  # (H, W, 3) BGR uint8

# Fix the range to 0-20 m so the same color means the same distance across frames
cv2.imwrite("depth_metric.png", colorize_depth(depth, vmin=0.0, vmax=20.0, cmap="inferno", mode="metric"))

# Blended overlay straight from the Results object (uses cmap="jet", mode="disparity")
result.save("depth_overlay.png")

Каждая цветовая карта проходит от холодных/тёмных к тёплым/ярким цветам. mode определяет, какой конец шкалы соответствует ближним объектам, а vmin/vmax фиксируют диапазон между кадрами, чтобы один и тот же цвет всегда означал одинаковое расстояние.

Экспорт#

Экспортируй модель YOLO26n-depth в другой формат, например ONNX, CoreML и другие.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-depth.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Export the model
model.export(format="onnx")

Доступные форматы экспорта для оценки глубины YOLO26 приведены в таблице ниже. Ты можешь экспортировать модель в любой формат с помощью аргумента format, например format='onnx' или format='engine'. Ты можешь напрямую выполнять предсказания или валидацию экспортированных моделей, например с помощью yolo predict model=yolo26n-depth.onnx. После завершения экспорта для твоей модели будут показаны примеры использования.

nms=None по умолчанию выдает сырые результаты для внешнего NMS. Установи nms=False, чтобы выбрать доступный головной модуль без NMS; неподдерживаемые форматы возвращаются к своему родному пути вывода. Записи nms выше определяют форматы, которые могут встраивать NMS с помощью nms=True.

Полное описание export см. на странице Экспорт.

Часто задаваемые вопросы#