Zum Inhalt springen

Explorer GUI

Die Explorer-GUI ist wie eine Spielwiese, die mit der Ultralytics Explorer API erstellt wurde. Mit ihr kannst du eine semantische/vektorielle Ähnlichkeitssuche, SQL-Abfragen und sogar eine Suche in natürlicher Sprache mit unserer KI-Funktion ask AI powered by LLMs durchführen.

Explorer Dashboard Screenshot 1



Pass auf: Ultralytics Explorer Dashboard Übersicht

Installation

pip install ultralytics[explorer]

Hinweis

Die Funktion Ask AI arbeitet mit OpenAI, daher wirst du beim ersten Start der GUI aufgefordert, den API-Schlüssel für OpenAI festzulegen. Du kannst ihn wie folgt festlegen - yolo settings openai_api_key="..."

Die semantische Suche ist eine Technik, um ähnliche Bilder wie ein bestimmtes Bild zu finden. Sie basiert auf der Idee, dass ähnliche Bilder auch ähnliche Einbettungen haben. In der Benutzeroberfläche kannst du ein oder mehrere Bilder auswählen und nach ähnlichen Bildern suchen. Das kann nützlich sein, wenn du Bilder finden willst, die einem bestimmten Bild ähnlich sind, oder eine Reihe von Bildern, die nicht wie erwartet funktionieren.

Ein Beispiel: In diesem VOC Exploration Dashboard wählt der Nutzer ein paar Flugzeugbilder aus:

Explorer Dashboard Screenshot 2

Wenn du eine Ähnlichkeitssuche durchführst, solltest du ein ähnliches Ergebnis sehen:

Explorer Dashboard Screenshot 3

KI fragen

So kannst du in natürlicher Sprache schreiben, wie du deinen Datensatz filtern willst. Du musst dich nicht mit dem Schreiben von SQL-Abfragen auskennen. Unser KI-gestützter Abfragegenerator erledigt das automatisch unter der Haube. Du kannst zum Beispiel sagen: "Zeige mir 100 Bilder mit genau einer Person und 2 Hunden. Es können auch andere Objekte dabei sein", und schon wird die Abfrage intern erstellt und dir die Ergebnisse angezeigt. Hier ist ein Beispiel für die Ausgabe, wenn du gefragt wirst: "Zeige 10 Bilder mit genau 5 Personen" und du siehst ein Ergebnis wie dieses:

Explorer Dashboard Screenshot 4

Hinweis: Dies funktioniert mit LLMs unter der Haube, daher sind die Ergebnisse probabilistisch und können manchmal falsch sein

SQL-Abfragen auf deinen Lebenslauf-Datensätzen ausführen

Du kannst SQL-Abfragen auf deinem Datensatz ausführen, um ihn zu filtern. Das funktioniert auch, wenn du nur die WHERE-Klausel angibst. Eine SQL-Abfrage würde zum Beispiel nur die Bilder anzeigen, auf denen mindestens eine Person und ein Hund zu sehen sind:

WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

Explorer Dashboard Screenshot 5

Dies ist ein Demo-Build, das die Explorer-API verwendet. Du kannst die API nutzen, um deine eigenen explorativen Notizbücher oder Skripte zu erstellen, um Einblicke in deine Datensätze zu erhalten. Hier erfährst du mehr über die Explorer API.



Erstellt am 2024-01-08, Aktualisiert am 2024-03-03
Autoren: glenn-jocher (5), RizwanMunawar (3), AyushExel (1)

Kommentare