Make3D-Tiefendatensatz#

Make3D ist ein klassischer Outdoor-Benchmark für die monokulare Tiefenschätzung. Er enthält Bilder von Campus-Szenen mit zugehörigen Tiefenreferenzdaten, die mit einem speziell angefertigten 3D-Laserscanner erfasst wurden, und wird häufig zur Untersuchung der Generalisierung außerhalb der Trainingsverteilung verwendet.

Wichtige Funktionen#

• Tiefenreferenzdaten, die mit einem speziell angefertigten 3D-Laserscanner erfasst wurden.
• Deckt reale Outdoor-Campus-Szenen ab.
• Tiefenbereich bis ungefähr 70 m.
• Die Evaluierung erfolgt anhand des standardmäßigen Testsatzes mit 134 Bildern.
• Ein klassischer Benchmark zur Generalisierung außerhalb der Trainingsverteilung.

Rolle in YOLO26-Depth#

Make3D ist ein Benchmark zur Zero-Shot-Evaluierung für die YOLO26-Depth-Familie; die veröffentlichten Modelle wurden nicht darauf trainiert. Als Outdoor-Datensatz außerhalb der Trainingsverteilung ist er für alle Modelle der anspruchsvollste Benchmark, und die absoluten Werte von delta1 sind durchgehend niedrig, was für diesen Datensatz erwartbar ist.

Für die Auswertung werden Testzeit-Augmentierung (TTA) mit mehreren Maßstäben und horizontalem Spiegeln verwendet. Anschließend erfolgt eine Skalenausrichtung zwischen den vorhergesagten Tiefenkarten und den Tiefenkarten der Referenzdaten mithilfe der logarithmischen Methode der kleinsten Quadrate, bevor die Metriken berechnet werden.

Ergebnisse#

Die folgende Tabelle zeigt die delta1-Genauigkeit (Prozentsatz der Pixel innerhalb eines Schwellenwerts von 1,25×; höher ist besser) im Make3D-Testsatz, aufgeschlüsselt nach Modellgröße.

Auswertung#

Make3D wird nicht mit einer gebündelten Datensatz-YAML-Datei ausgeliefert. Die Evaluierung erfolgt über ein spezielles Evaluierungsskript, das die Make3D-Bilder und die Tiefenreferenzdaten des Laserscanners lädt, die standardmäßige TTA und die logarithmische Least-Squares-Skalenanpassung anwendet und die Tiefenmetriken ausgibt.

Verwendung#

Make3D ist ein externer Benchmark, daher werden Modelle typischerweise mit predict auf seinen Bildern ausgeführt. Eine umfassende Liste der verfügbaren Argumente findest du auf der Seite Prediction des Modells.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26x-depth.pt")  # load a pretrained depth model

# Predict depth on Make3D images
results = model.predict("path/to/make3d/images")

Vortrainierte Modelle#

Die YOLO26-Tiefenmodellfamilie wird auf dem Make3D-Benchmark im Zero-Shot-Verfahren evaluiert. Diese Modelle werden automatisch aus der neuesten Ultralytics-Version heruntergeladen, beispielsweise YOLO26x-depth aus v8.4.0, und decken verschiedene Größen (yolo26n/s/m/l/x-depth) für unterschiedliche Genauigkeits- und Ressourcenanforderungen ab.

Zitate und Danksagungen#

Wenn du den Make3D-Datensatz für deine Forschungs- oder Entwicklungsarbeit verwendest, zitiere bitte die folgende Publikation:

@article{saxena2009make3d,
      title={Make3D: Learning 3D Scene Structure from a Single Still Image},
      author={Saxena, Ashutosh and Sun, Min and Ng, Andrew Y.},
      journal={IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)},
      year={2009}
}

Wir möchten den Autoren für die Erstellung und Pflege dieser wertvollen Ressource für die Computer-Vision-Community danken.

FAQ#