Make3D-Tiefendatensatz
Make3D ist ein klassischer Benchmark für die monokulare Tiefenschätzung im Außenbereich. Er enthält Bilder von Campus-Szenen mit Tiefenreferenzdaten, die mit einem eigens entwickelten 3D-Laserscanner aufgenommen wurden, und wird häufig verwendet, um die Generalisierung auf unbekannte Datenverteilungen zu untersuchen.
Wichtige Funktionen#
- Tiefenreferenzwerte, erfasst mit einem speziellen 3D-Laserscanner.
- Umfasst reale Außenbereiche auf dem Campus.
- Tiefenbereich bis etwa 70 m.
- Die Evaluierung erfolgt anhand des standardmäßigen Testsatzes mit 134 Bildern.
- Ein klassischer Benchmark zur Prüfung der Generalisierung auf Daten außerhalb der Verteilung.
Rolle in YOLO26-Depth#
Make3D ist ein Zero-Shot-Auswertungsbenchmark für die YOLO26-Depth-Familie; die veröffentlichten Modelle wurden nicht darauf trainiert. Als Außenaufnahmen außerhalb der Trainingsverteilung ist dieser Datensatz für alle Modelle der anspruchsvollste Benchmark. Daher sind durchweg niedrige absolute δ1-Werte zu erwarten.
Die Auswertung nutzt Test-Time-Augmentation (TTA) mit mehreren Maßstäben und horizontaler Spiegelung. Vor der Berechnung der Metriken werden die vorhergesagten Tiefenkarten dann durch eine Log-Least-Squares-Skalenausrichtung an die Tiefenreferenzkarten angepasst.
Ergebnisse#
Die folgende Tabelle zeigt die δ1-Genauigkeit (Anteil der Pixel innerhalb eines Schwellenwerts von 1.25×; höher ist besser) auf dem Make3D-Testsatz, aufgeschlüsselt nach Modellgröße.
| Modell | δ1 |
|---|---|
| YOLO26n-depth | 0.307 |
| YOLO26s-depth | 0.311 |
| YOLO26m-depth | 0.293 |
| YOLO26l-depth | 0.297 |
| YOLO26x-depth | 0.299 |
Auswertung#
Make3D wird nicht mit einer mitgelieferten YAML-Datei für den Datensatz bereitgestellt. Die Evaluierung erfolgt über ein eigenes Skript, das die Make3D-Bilder und die Tiefenreferenzwerte des Laserscanners lädt, die standardmäßige Testzeit-Augmentierung (TTA) und die Maßstabsanpassung nach der Methode der kleinsten Quadrate im Logarithmusraum anwendet und die Tiefenmetriken ausgibt.
Verwendung#
Make3D ist ein externer Benchmark. Daher werden Modelle üblicherweise mit predict auf den Bildern ausgeführt.
from ultralytics import YOLO
# Ein Modell laden
model = YOLO("yolo26x-depth.pt") # Ein vortrainiertes Tiefenmodell laden
# Tiefe für Make3D-Bilder vorhersagen
results = model.predict("path/to/make3d/images")Vortrainierte Modelle#
Die YOLO26-Tiefenmodellfamilie wird ohne vorheriges Training auf dem Make3D-Benchmark evaluiert. Bei der ersten Verwendung werden diese Modelle automatisch aus der Ultralytics-Version v8.4.0 mit Modellressourcen heruntergeladen, zum Beispiel YOLO26x-depth. Die Modelle sind in verschiedenen Größen verfügbar (yolo26n/s/m/l/x-depth), passend zu unterschiedlichen Anforderungen an Genauigkeit und Ressourcen.
Zitate und Danksagungen#
Wenn du den Make3D-Datensatz in deiner Forschung oder Entwicklungsarbeit verwendest, zitiere bitte die folgende Arbeit:
@article{saxena2009make3d,
title={Make3D: Learning 3D Scene Structure from a Single Still Image},
author={Saxena, Ashutosh and Sun, Min and Ng, Andrew Y.},
journal={IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)},
year={2009}
}Wir möchten den Autorinnen und Autoren dafür danken, dass sie diese wertvolle Ressource für die Bildverarbeitungsgemeinschaft erstellt haben und pflegen.
Häufig gestellte Fragen#
Make3D ist ein Zero-Shot-Benchmark mit 134 Campusbildern und Szenen im Freien außerhalb der Verteilung. Die Tiefendaten stammen von einem speziellen Laserscanner und reichen bis etwa 70 m. Die veröffentlichten YOLO26-Depth-Modelle wurden nicht mit diesem Datensatz trainiert. Er misst also, wie gut sie auf unbekannte Außenszenen generalisieren.
Make3D ist für jedes Modell der anspruchsvollste der fünf Auswertungsbenchmarks, da sich die Szenen und Tiefenstatistiken stark von den Trainingsdaten unterscheiden. Für diesen Datensatz sind absolute δ1-Werte um 0.3 zu erwarten. Entscheidend ist der relative Vergleich der Modelle.
Nein. Make3D wird mit einem eigenen Skript evaluiert, das Testzeit-Augmentierung mit mehreren Maßstäben und Spiegelungen sowie eine Maßstabsanpassung nach der Methode der kleinsten Quadrate im Logarithmusraum verwendet. Um ein Modell auf Make3D-Bildern auszuführen, verwende den Vorhersagemodus wie im Abschnitt Verwendung beschrieben.
Kommentare
Stell eine Frage, teile deine Ergebnisse oder hilf jemand anderem.