ETH3D 깊이 데이터셋
ETH3D는 단안 깊이 추정에 사용되는 고해상도 다중 뷰 스테레오 벤치마크입니다. 실내와 실외 장면 모두에 대해 측량 수준의 레이저 스캐너 정답 데이터를 제공합니다.
주요 기능#
- 고정밀 레이저 스캐너로 캡처한 측량 등급 깊이 GT입니다.
- 실내 및 실외 장면을 모두 포함하는 고해상도 이미지입니다.
- 최대 깊이는 약 60 m입니다.
- 이미지 423개를 사용해 평가합니다.
- 정확한 조밀 GT를 갖춘 고품질 멀티뷰 스테레오 벤치마크입니다.
YOLO26-Depth에서의 역할#
ETH3D는 YOLO26-Depth 모델 제품군을 위한 제로샷 평가 벤치마크이며, 공개된 모델은 ETH3D로 학습되지 않습니다. 정확한 레이저 스캐너 GT가 있는 실내 및 실외 장면이 포함되어 있어 도메인 간 일반화 능력을 평가하기에 적합합니다.
평가 시 멀티스케일 및 수평 뒤집기 테스트 시점 증강(TTA)을 적용한 다음, 지표를 계산하기 전에 예측 깊이 맵과 GT 깊이 맵 사이에 로그 최소제곱 스케일 정렬을 적용합니다.
결과#
아래 표는 ETH3D 평가 이미지에서 모델 크기별 δ1 정확도(1.25× 임계값 이내의 픽셀 비율이며, 값이 높을수록 좋음)를 보여줍니다.
| 모델 | δ1 |
|---|---|
| YOLO26n-depth | 0.905 |
| YOLO26s-depth | 0.876 |
| YOLO26m-depth | 0.943 |
| YOLO26l-depth | 0.945 |
| YOLO26x-depth | 0.953 |
평가#
ETH3D는 번들 데이터셋 YAML과 함께 제공되지 않습니다. ETH3D 이미지와 레이저 스캐너 깊이 GT를 로드하고, 표준 TTA 및 로그 최소제곱 스케일 정렬을 적용한 뒤 깊이 지표를 보고하는 전용 평가 스크립트를 통해 평가합니다.
사용법#
ETH3D는 외부 벤치마크이므로 일반적으로 해당 이미지에 predict을 사용해 모델을 실행합니다.
from ultralytics import YOLO
# 모델 로드
model = YOLO("yolo26x-depth.pt") # 사전 학습된 depth 모델을 불러옵니다
# ETH3D 이미지에서 depth를 예측합니다
results = model.predict("path/to/eth3d/images")사전 학습 모델#
YOLO26 depth 제품군은 ETH3D 벤치마크에서 제로샷으로 평가됩니다. 이 모델은 처음 사용할 때 Ultralytics v8.4.0 assets release에서 자동으로 다운로드됩니다. 예를 들어 YOLO26x-depth가 있으며, 정확도 및 리소스 요구 사항에 따라 다양한 크기(yolo26n/s/m/l/x-depth)로 제공됩니다.
인용 및 감사의 글#
연구 또는 개발 작업에서 ETH3D 데이터셋을 사용하는 경우 다음 논문을 인용해 주세요:
@inproceedings{schops2017eth3d,
title={A Multi-View Stereo Benchmark with High-Resolution Images and Multi-Camera Videos},
author={Sch{\"o}ps, Thomas and Sch{\"o}nberger, Johannes L. and Galliani, Silvano and Sattler, Torsten and Schindler, Konrad and Pollefeys, Marc and Geiger, Andreas},
booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
year={2017}
}컴퓨터 비전 커뮤니티에 이처럼 유용한 리소스를 만들고 유지 관리해 주신 저자분들께 감사드립니다.
자주 묻는 질문#
ETH3D는 제로샷 평가 벤치마크입니다. 출시된 YOLO26-Depth 모델은 이 데이터셋으로 학습되지 않았으므로, 측량급 레이저 스캐너 깊이 데이터가 포함된 실내외 이미지 423개를 사용해 약 60 m까지의 교차 도메인 일반화 성능을 측정합니다. 가장 큰 모델인 YOLO26x-depth는 이 벤치마크에서 δ1 0.953을 기록합니다.
아니요. ETH3D는 다중 스케일 및 좌우 반전 테스트 시점 증강을 적용한 다음 로그 최소제곱 스케일 정렬을 수행하는 전용 스크립트로 평가합니다. ETH3D 이미지에서 직접 모델을 실행하려면 Usage 섹션에 나온 대로 predict mode를 사용하세요.
YOLO26-Depth 제품군은 NYU Depth V2, Make3D, iBims-1에서도 제로샷으로 평가되며, 학습 주행 데이터가 사전 학습 데이터 구성에 포함된 KITTI Eigen split에서도 평가됩니다. 다섯 가지 벤치마크의 결과는 Depth Estimation task page에 요약되어 있습니다.
댓글
질문을 하거나 결과를 공유하거나 다른 사람을 도와주세요.