Conjunto de dados de profundidade Make3D#

Make3D é uma referência clássica ao ar livre para a estimativa monocular de profundidade. Contém imagens de cenas de campus emparelhadas com dados de referência de profundidade captados por um scanner laser 3D personalizado e é amplamente utilizado para avaliar a generalização fora da distribuição.

Principais funcionalidades#

• Dados de referência de profundidade captados com um scanner laser 3D personalizado.
• Abrange cenas reais ao ar livre em campus.
• Intervalo de profundidade até aproximadamente 70 m.
• A avaliação é realizada no conjunto de teste padrão de 134 imagens.
• Uma referência clássica para avaliar a generalização fora da distribuição.

Papel no YOLO26-Depth#

Make3D é uma referência de avaliação zero-shot para a família YOLO26-Depth; os modelos publicados não são treinados com este conjunto. Por ser um conjunto exterior fora da distribuição, é a referência mais difícil para todos os modelos, e os valores absolutos de delta1 são baixos em todos os modelos, como é esperado para este conjunto de dados.

A avaliação usa aumento de dados de teste (TTA) com várias escalas e inversão horizontal, seguido de alinhamento de escala por mínimos quadrados em log entre os mapas de profundidade previstos e os de ground truth antes do cálculo das métricas.

Resultados#

A tabela abaixo apresenta a precisão delta1 (fração de píxeis dentro de um limiar de 1.25×; valores mais altos são melhores) no conjunto de teste Make3D, por tamanho do modelo.

Avaliação#

Make3D não é fornecido com um YAML de conjunto de dados incluído. A avaliação é feita através de um script dedicado que carrega as imagens Make3D e os dados de referência de profundidade do scanner laser, aplica o TTA padrão e o alinhamento de escala por mínimos quadrados no logaritmo e apresenta as métricas de profundidade.

Uso#

Make3D é uma referência externa, pelo que os modelos são normalmente executados com predict nas respetivas imagens. Para veres a lista completa dos argumentos disponíveis, consulta a página de previsão do modelo.

from ultralytics import YOLO

# Carregar um modelo
model = YOLO("yolo26x-depth.pt")  # carregar um modelo de profundidade pré-treinado

# Prevê a profundidade nas imagens Make3D
results = model.predict("path/to/make3d/images")

Modelos pré-treinados#

A família YOLO26 de profundidade é avaliada em zero-shot na referência Make3D. Estes modelos são transferidos automaticamente na primeira utilização a partir da versão de ativos v8.4.0 da Ultralytics, por exemplo YOLO26x-depth, e abrangem vários tamanhos (yolo26n/s/m/l/x-depth) para diferentes requisitos de precisão e recursos.

Citações e agradecimentos#

Se utilizares o conjunto de dados Make3D no teu trabalho de investigação ou desenvolvimento, cita o seguinte artigo:

@article{saxena2009make3d,
      title={Make3D: Learning 3D Scene Structure from a Single Still Image},
      author={Saxena, Ashutosh and Sun, Min and Ng, Andrew Y.},
      journal={IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)},
      year={2009}
}

Agradecemos aos autores por criarem e manterem este valioso recurso para a comunidade de visão computacional.

Perguntas frequentes#