Zum Inhalt springen

Explorer GUI

Die Explorer-GUI ist wie eine Spielwiese, die mit der Ultralytics Explorer API erstellt wurde. Mit ihr kannst du eine semantische/vektorielle Ähnlichkeitssuche, SQL-Abfragen und sogar eine Suche in natürlicher Sprache mit unserer KI-Funktion ask AI powered by LLMs durchführen.

Explorer Dashboard Screenshot 1



Pass auf: Ultralytics Explorer Dashboard ├ťbersicht

Installation

pip install ultralytics[explorer]

Hinweis

Die Funktion Ask AI arbeitet mit OpenAI, daher wirst du beim ersten Start der GUI aufgefordert, den API-Schl├╝ssel f├╝r OpenAI festzulegen. Du kannst ihn wie folgt festlegen - yolo settings openai_api_key="..."

Die semantische Suche ist eine Technik, um ├Ąhnliche Bilder wie ein bestimmtes Bild zu finden. Sie basiert auf der Idee, dass ├Ąhnliche Bilder auch ├Ąhnliche Einbettungen haben. In der Benutzeroberfl├Ąche kannst du ein oder mehrere Bilder ausw├Ąhlen und nach ├Ąhnlichen Bildern suchen. Das kann n├╝tzlich sein, wenn du Bilder finden willst, die einem bestimmten Bild ├Ąhnlich sind, oder eine Reihe von Bildern, die nicht wie erwartet funktionieren.

Ein Beispiel: In diesem VOC Exploration Dashboard w├Ąhlt der Nutzer ein paar Flugzeugbilder aus:

Explorer Dashboard Screenshot 2

Wenn du eine ├ähnlichkeitssuche durchf├╝hrst, solltest du ein ├Ąhnliches Ergebnis sehen:

Explorer Dashboard Screenshot 3

KI fragen

So kannst du in nat├╝rlicher Sprache schreiben, wie du deinen Datensatz filtern willst. Du musst dich nicht mit dem Schreiben von SQL-Abfragen auskennen. Unser KI-gest├╝tzter Abfragegenerator erledigt das automatisch unter der Haube. Du kannst zum Beispiel sagen: "Zeige mir 100 Bilder mit genau einer Person und 2 Hunden. Es k├Ânnen auch andere Objekte dabei sein", und schon wird die Abfrage intern erstellt und dir die Ergebnisse angezeigt. Hier ist ein Beispiel f├╝r die Ausgabe, wenn du gefragt wirst: "Zeige 10 Bilder mit genau 5 Personen" und du siehst ein Ergebnis wie dieses:

Explorer Dashboard Screenshot 4

Hinweis: Dies funktioniert mit LLMs unter der Haube, daher sind die Ergebnisse probabilistisch und k├Ânnen manchmal falsch sein

SQL-Abfragen auf deinen Lebenslauf-Datens├Ątzen ausf├╝hren

Du kannst SQL-Abfragen auf deinem Datensatz ausf├╝hren, um ihn zu filtern. Das funktioniert auch, wenn du nur die WHERE-Klausel angibst. Eine SQL-Abfrage w├╝rde zum Beispiel nur die Bilder anzeigen, auf denen mindestens eine Person und ein Hund zu sehen sind:

WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

Explorer Dashboard Screenshot 5

Dies ist ein Demo-Build, das die Explorer-API verwendet. Du kannst die API nutzen, um deine eigenen explorativen Notizb├╝cher oder Skripte zu erstellen, um Einblicke in deine Datens├Ątze zu erhalten. Hier erf├Ąhrst du mehr ├╝ber die Explorer API.



Created 2024-01-08, Updated 2024-06-02
Authors: glenn-jocher (6), RizwanMunawar (3), AyushExel (1)

Kommentare