Make3D-Tiefendatensatz#
Make3D ist ein klassischer Benchmark für Szenen im Freien zur monokularen Tiefenschätzung. Er enthält Bilder von Campus-Szenen mit zugehörigen Tiefenreferenzwerten, die mit einem speziellen 3D-Laserscanner erfasst wurden, und wird häufig zur Prüfung der Generalisierung auf Daten außerhalb der Verteilung verwendet.
Wichtige Funktionen#
- Tiefenreferenzwerte, erfasst mit einem speziellen 3D-Laserscanner.
- Umfasst reale Außenbereiche auf dem Campus.
- Tiefenbereich bis etwa 70 m.
- Die Evaluierung erfolgt anhand des standardmäßigen Testsatzes mit 134 Bildern.
- Ein klassischer Benchmark zur Prüfung der Generalisierung auf Daten außerhalb der Verteilung.
Rolle in YOLO26-Depth#
Make3D ist ein Zero-Shot-Evaluierungsbenchmark für die YOLO26-Depth-Modellfamilie; die veröffentlichten Modelle wurden nicht damit trainiert. Als Datensatz mit Außenszenen außerhalb der Verteilung ist er für alle Modelle der anspruchsvollste Benchmark. Die absoluten delta1-Werte sind durchweg niedrig, was für diesen Datensatz zu erwarten ist.
Die Auswertung nutzt Test-Time-Augmentation (TTA) mit mehreren Maßstäben und horizontaler Spiegelung. Vor der Berechnung der Metriken werden die vorhergesagten Tiefenkarten dann durch eine Log-Least-Squares-Skalenausrichtung an die Tiefenreferenzkarten angepasst.
Ergebnisse#
Die folgende Tabelle zeigt die Genauigkeit delta1 (Anteil der Pixel innerhalb eines Schwellenwerts von 1,25×; höhere Werte sind besser) nach Modellgröße auf dem Make3D-Testsatz.
| Modell | delta1 |
|---|---|
| YOLO26n-depth | 0.307 |
| YOLO26s-depth | 0.311 |
| YOLO26m-depth | 0.293 |
| YOLO26l-depth | 0.297 |
| YOLO26x-depth | 0.299 |
Auswertung#
Make3D wird nicht mit einer mitgelieferten YAML-Datei für den Datensatz bereitgestellt. Die Evaluierung erfolgt über ein eigenes Skript, das die Make3D-Bilder und die Tiefenreferenzwerte des Laserscanners lädt, die standardmäßige Testzeit-Augmentierung (TTA) und die Maßstabsanpassung nach der Methode der kleinsten Quadrate im Logarithmusraum anwendet und die Tiefenmetriken ausgibt.
Verwendung#
Make3D ist ein externer Benchmark. Daher werden Modelle üblicherweise mit predict auf den Bildern ausgeführt. Eine vollständige Liste der verfügbaren Argumente findest du auf der Seite zur Vorhersage des Modells.
from ultralytics import YOLO
# Ein Modell laden
model = YOLO("yolo26x-depth.pt") # Ein vortrainiertes Tiefenmodell laden
# Tiefe für Make3D-Bilder vorhersagen
results = model.predict("path/to/make3d/images")Vortrainierte Modelle#
Die YOLO26-Tiefenmodellfamilie wird ohne vorheriges Training auf dem Make3D-Benchmark evaluiert. Bei der ersten Verwendung werden diese Modelle automatisch aus der Ultralytics-Version v8.4.0 mit Modellressourcen heruntergeladen, zum Beispiel YOLO26x-depth. Die Modelle sind in verschiedenen Größen verfügbar (yolo26n/s/m/l/x-depth), passend zu unterschiedlichen Anforderungen an Genauigkeit und Ressourcen.
Zitate und Danksagungen#
Wenn du den Make3D-Datensatz in deiner Forschung oder Entwicklungsarbeit verwendest, zitiere bitte die folgende Arbeit:
@article{saxena2009make3d,
title={Make3D: Learning 3D Scene Structure from a Single Still Image},
author={Saxena, Ashutosh and Sun, Min and Ng, Andrew Y.},
journal={IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)},
year={2009}
}Wir möchten den Autorinnen und Autoren dafür danken, dass sie diese wertvolle Ressource für die Bildverarbeitungsgemeinschaft erstellt haben und pflegen.
Häufig gestellte Fragen#
Make3D ist ein Zero-Shot-Benchmark mit 134 Campusbildern und Szenen im Freien außerhalb der Verteilung. Die Tiefendaten stammen von einem speziellen Laserscanner und reichen bis etwa 70 m. Die veröffentlichten YOLO26-Depth-Modelle wurden nicht mit diesem Datensatz trainiert. Er misst also, wie gut sie auf unbekannte Außenszenen generalisieren.
Make3D ist für jedes Modell der anspruchsvollste der fünf Evaluierungsbenchmarks, da sich seine Szenen und Tiefenstatistiken stark von den Trainingsdaten unterscheiden. Für diesen Datensatz sind absolute Delta1-Werte um 0,3 zu erwarten; entscheidend ist der relative Vergleich zwischen den Modellen.
Nein. Make3D wird mit einem eigenen Skript evaluiert, das Testzeit-Augmentierung mit mehreren Maßstäben und Spiegelungen sowie eine Maßstabsanpassung nach der Methode der kleinsten Quadrate im Logarithmusraum verwendet. Um ein Modell auf Make3D-Bildern auszuführen, verwende den Vorhersagemodus wie im Abschnitt Verwendung beschrieben.