Erste Schritte

Make3D-Tiefendatensatz

Make3D ist ein klassischer Benchmark für die monokulare Tiefenschätzung im Außenbereich. Er enthält Bilder von Campus-Szenen mit Tiefenreferenzdaten, die mit einem eigens entwickelten 3D-Laserscanner aufgenommen wurden, und wird häufig verwendet, um die Generalisierung auf unbekannte Datenverteilungen zu untersuchen.

Wichtige Funktionen#

  • Tiefenreferenzwerte, erfasst mit einem speziellen 3D-Laserscanner.
  • Umfasst reale Außenbereiche auf dem Campus.
  • Tiefenbereich bis etwa 70 m.
  • Die Evaluierung erfolgt anhand des standardmäßigen Testsatzes mit 134 Bildern.
  • Ein klassischer Benchmark zur Prüfung der Generalisierung auf Daten außerhalb der Verteilung.

Rolle in YOLO26-Depth#

Make3D ist ein Zero-Shot-Auswertungsbenchmark für die YOLO26-Depth-Familie; die veröffentlichten Modelle wurden nicht darauf trainiert. Als Außenaufnahmen außerhalb der Trainingsverteilung ist dieser Datensatz für alle Modelle der anspruchsvollste Benchmark. Daher sind durchweg niedrige absolute δ1-Werte zu erwarten.

Die Auswertung nutzt Test-Time-Augmentation (TTA) mit mehreren Maßstäben und horizontaler Spiegelung. Vor der Berechnung der Metriken werden die vorhergesagten Tiefenkarten dann durch eine Log-Least-Squares-Skalenausrichtung an die Tiefenreferenzkarten angepasst.

Ergebnisse#

Die folgende Tabelle zeigt die δ1-Genauigkeit (Anteil der Pixel innerhalb eines Schwellenwerts von 1.25×; höher ist besser) auf dem Make3D-Testsatz, aufgeschlüsselt nach Modellgröße.

Modellδ1
YOLO26n-depth0.307
YOLO26s-depth0.311
YOLO26m-depth0.293
YOLO26l-depth0.297
YOLO26x-depth0.299

Auswertung#

Make3D wird nicht mit einer mitgelieferten YAML-Datei für den Datensatz bereitgestellt. Die Evaluierung erfolgt über ein eigenes Skript, das die Make3D-Bilder und die Tiefenreferenzwerte des Laserscanners lädt, die standardmäßige Testzeit-Augmentierung (TTA) und die Maßstabsanpassung nach der Methode der kleinsten Quadrate im Logarithmusraum anwendet und die Tiefenmetriken ausgibt.

Verwendung#

Make3D ist ein externer Benchmark. Daher werden Modelle üblicherweise mit predict auf den Bildern ausgeführt.

Vorhersagebeispiel
from ultralytics import YOLO

# Ein Modell laden
model = YOLO("yolo26x-depth.pt")  # Ein vortrainiertes Tiefenmodell laden

# Tiefe für Make3D-Bilder vorhersagen
results = model.predict("path/to/make3d/images")

Vortrainierte Modelle#

Die YOLO26-Tiefenmodellfamilie wird ohne vorheriges Training auf dem Make3D-Benchmark evaluiert. Bei der ersten Verwendung werden diese Modelle automatisch aus der Ultralytics-Version v8.4.0 mit Modellressourcen heruntergeladen, zum Beispiel YOLO26x-depth. Die Modelle sind in verschiedenen Größen verfügbar (yolo26n/s/m/l/x-depth), passend zu unterschiedlichen Anforderungen an Genauigkeit und Ressourcen.

Zitate und Danksagungen#

Wenn du den Make3D-Datensatz in deiner Forschung oder Entwicklungsarbeit verwendest, zitiere bitte die folgende Arbeit:

Zitierung
@article{saxena2009make3d,
      title={Make3D: Learning 3D Scene Structure from a Single Still Image},
      author={Saxena, Ashutosh and Sun, Min and Ng, Andrew Y.},
      journal={IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)},
      year={2009}
}

Wir möchten den Autorinnen und Autoren dafür danken, dass sie diese wertvolle Ressource für die Bildverarbeitungsgemeinschaft erstellt haben und pflegen.

Häufig gestellte Fragen#

  • Make3D ist ein Zero-Shot-Benchmark mit 134 Campusbildern und Szenen im Freien außerhalb der Verteilung. Die Tiefendaten stammen von einem speziellen Laserscanner und reichen bis etwa 70 m. Die veröffentlichten YOLO26-Depth-Modelle wurden nicht mit diesem Datensatz trainiert. Er misst also, wie gut sie auf unbekannte Außenszenen generalisieren.

  • Make3D ist für jedes Modell der anspruchsvollste der fünf Auswertungsbenchmarks, da sich die Szenen und Tiefenstatistiken stark von den Trainingsdaten unterscheiden. Für diesen Datensatz sind absolute δ1-Werte um 0.3 zu erwarten. Entscheidend ist der relative Vergleich der Modelle.

  • Nein. Make3D wird mit einem eigenen Skript evaluiert, das Testzeit-Augmentierung mit mehreren Maßstäben und Spiegelungen sowie eine Maßstabsanpassung nach der Methode der kleinsten Quadrate im Logarithmusraum verwendet. Um ein Modell auf Make3D-Bildern auszuführen, verwende den Vorhersagemodus wie im Abschnitt Verwendung beschrieben.

Kommentare

Stell eine Frage, teile deine Ergebnisse oder hilf jemand anderem.