ETH3D深度データセット
ETH3Dは、単眼深度推定に使用される高解像度の多視点ステレオベンチマークです。屋内外のシーンにわたり、測量グレードのレーザースキャナーによる正解データを提供します。
主な機能#
- 高精度レーザースキャナーで取得した、測量用グレードの深度グラウンドトゥルースです。
- 屋内と屋外の両方をカバーする高解像度画像です。
- 深度範囲は約60 mまでです。
- 423枚の画像で評価を実施します。
- 正確で密なグラウンドトゥルースを備えた、高品質なマルチビューステレオベンチマークです。
YOLO26-Depthにおける役割#
ETH3DはYOLO26-Depthモデルファミリーのゼロショット評価ベンチマークであり、公開済みモデルのトレーニングには使用されていません。正確なレーザースキャナーによるグラウンドトゥルースを備えた屋内外のシーンを含むため、ドメイン間の汎化能力を厳密に評価できます。
評価では、マルチスケールと水平反転のテスト時拡張(TTA)を使用します。その後、メトリクスの計算前に、予測深度マップとグラウンドトゥルース深度マップの間で対数最小二乗によるスケール調整を行います。
結果#
次の表は、ETH3D評価画像におけるδ1精度(1.25×のしきい値以内に収まるピクセルの割合で、値が高いほど良好)をモデルサイズ別に示しています。
| モデル | δ1 |
|---|---|
| YOLO26n-depth | 0.905 |
| YOLO26s-depth | 0.876 |
| YOLO26m-depth | 0.943 |
| YOLO26l-depth | 0.945 |
| YOLO26x-depth | 0.953 |
評価#
ETH3Dには、同梱のデータセットYAMLはありません。専用の評価スクリプトを使って評価します。このスクリプトは、ETH3D画像とレーザースキャナーによる深度グラウンドトゥルースを読み込み、標準のTTAと対数最小二乗によるスケール調整を適用し、深度メトリクスを出力します。
使用方法#
ETH3Dは外部ベンチマークであるため、通常はその画像に対してpredictを使用してモデルを実行します。
from ultralytics import YOLO
# モデルを読み込む
model = YOLO("yolo26x-depth.pt") # 事前学習済み深度モデルを読み込みます
# ETH3D画像の深度を予測します
results = model.predict("path/to/eth3d/images")事前学習済みモデル#
YOLO26の深度モデルファミリーは、ETH3Dベンチマークでゼロショット評価されます。これらのモデルは、初回使用時にUltralyticsのv8.4.0 assets releaseから自動ダウンロードされます。たとえばYOLO26x-depthなどがあり、精度や必要なリソースに応じてさまざまなサイズ(yolo26n/s/m/l/x-depth)が用意されています。
引用と謝辞#
研究または開発でETH3Dデータセットを使用する場合は、以下の論文を引用してください。
@inproceedings{schops2017eth3d,
title={A Multi-View Stereo Benchmark with High-Resolution Images and Multi-Camera Videos},
author={Sch{\"o}ps, Thomas and Sch{\"o}nberger, Johannes L. and Galliani, Silvano and Sattler, Torsten and Schindler, Konrad and Pollefeys, Marc and Geiger, Andreas},
booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
year={2017}
}コンピュータビジョンコミュニティにとって価値あるこのリソースを作成し、維持している著者の皆様に感謝いたします。
よくある質問#
ETH3Dはゼロショット評価ベンチマークです。リリース済みのYOLO26-DepthモデルはETH3Dでトレーニングされていません。そのため、測量精度のレーザースキャナー深度データを含む屋内外423枚の画像を用いて、約60 mまでのドメイン横断汎化性能を測定します。このベンチマークで最大のモデルであるYOLO26x-depthは、δ1が0.953に達します。
いいえ。ETH3Dの評価には専用スクリプトを使用します。このスクリプトでは、マルチスケールおよび反転のテスト時データ拡張を適用した後、対数最小二乗によるスケールアライメントを行います。ETH3D画像でモデルを実行するには、Usageセクションに示すように、predictモードを使用してください。
YOLO26-Depthモデルファミリーは、NYU Depth V2、Make3D、iBims-1でもゼロショット評価されます。また、学習用ドライブが事前学習データに含まれているKITTI Eigen splitでも評価されます。Depth Estimationタスクページでは、5つすべてのベンチマークの結果をまとめています。
コメント
質問したり、結果を共有したり、ほかの人をサポートしたりできます。