Explorer-GUI#
Ab ultralytics>=8.3.12 wurde Ultralytics Explorer entfernt. Um Explorer zu verwenden, installiere pip install ultralytics==8.3.11. Ähnliche (und erweiterte) Funktionen zur Datensatzerkundung sind in der Ultralytics Platform verfügbar.
Die Explorer-GUI basiert auf der Ultralytics Explorer API. Sie ermöglicht die Durchführung semantischer bzw. vektorbasierter Ähnlichkeitssuchen, von SQL-Abfragen und von Abfragen in natürlicher Sprache mithilfe der von LLMs unterstützten Funktion „Ask AI“.
Watch: Ultralytics Explorer Dashboard Overview
Installation#
pip install ultralytics[explorer]Die Funktion „Ask AI“ verwendet OpenAI. Daher wirst du beim ersten Start der GUI aufgefordert, den OpenAI-API-Schlüssel festzulegen.
Lege ihn mit yolo settings openai_api_key="..." fest.
Vektorbasierte semantische Ähnlichkeitssuche#
Semantische Suche ist eine Methode, um ähnliche Bilder zu einem gegebenen Bild zu finden. Sie basiert auf der Idee, dass ähnliche Bilder ähnliche Embeddings haben. In der Benutzeroberfläche kannst du ein oder mehrere Bilder auswählen und nach ähnlichen Bildern suchen. Das kann hilfreich sein, wenn du Bilder finden möchtest, die einem bestimmten Bild ähneln, oder wenn eine Gruppe von Bildern nicht die erwarteten Ergebnisse liefert.
In diesem VOC-Explorationsdashboard wählt der Benutzer beispielsweise einige Flugzeugbilder aus:
Nach der Ähnlichkeitssuche solltest du ähnliche Ergebnisse sehen:
Ask AI#
Mit dieser Funktion kannst du deinen Datensatz in natürlicher Sprache filtern, ohne SQL zu schreiben. Der KI-gestützte Abfragegenerator wandelt deine Eingabe in eine Abfrage um und gibt passende Ergebnisse zurück. Du könntest beispielsweise fragen: „Zeige mir 100 Bilder mit genau einer Person und 2 Hunden. Es können auch andere Objekte vorhanden sein.“ Anschließend wird die Abfrage erstellt und diese Ergebnisse werden angezeigt. Hier siehst du eine Beispielausgabe für die Anfrage: „Zeige 10 Bilder mit genau 5 Personen“:
Hinweis: Diese Funktion verwendet Large Language Models, daher sind die Ergebnisse probabilistisch und möglicherweise ungenau.
SQL-Abfragen für deine CV-Datensätze ausführen#
Du kannst SQL-Abfragen für deinen Datensatz ausführen, um ihn zu filtern. Das funktioniert auch, wenn du nur die WHERE-Klausel angibst. Die folgende WHERE-Klausel gibt beispielsweise Bilder zurück, die mindestens eine Person und einen Hund enthalten:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Diese Demo wurde mit der Explorer API erstellt. Mit ihr kannst du eigene explorative Notebooks oder Skripte entwickeln, um Erkenntnisse aus deinen Datensätzen zu gewinnen. Lies zum Einstieg die Dokumentation zur Explorer API.
FAQ#
Die Ultralytics Explorer-GUI ist eine leistungsfähige Benutzeroberfläche, die mithilfe der Ultralytics Explorer API erweiterte Möglichkeiten zur Datenexploration eröffnet. Sie ermöglicht die Durchführung semantischer bzw. vektorbasierter Ähnlichkeitssuchen, von SQL-Abfragen und von Abfragen in natürlicher Sprache mithilfe der von großen Sprachmodellen (LLMs) unterstützten Funktion „Ask AI“.
Zum Installieren der Explorer-GUI kannst du pip verwenden:
pip install ultralytics[explorer]Hinweis: Um die Funktion „Ask AI“ zu verwenden, musst du den OpenAI-API-Schlüssel festlegen:
yolo settings openai_api_key="...".Mit der semantischen Suche in der Ultralytics Explorer-GUI kannst du anhand ihrer Embeddings ähnliche Bilder zu einem gegebenen Bild finden. Diese Methode eignet sich, um Bilder mit visuellen Ähnlichkeiten zu identifizieren und zu untersuchen. Um diese Funktion zu verwenden, wählst du ein oder mehrere Bilder in der Benutzeroberfläche aus und führst eine Suche nach ähnlichen Bildern durch. Das Ergebnis zeigt Bilder an, die den ausgewählten Bildern stark ähneln, und ermöglicht so eine effiziente Exploration des Datensatzes sowie die Anomalieerkennung.
Weitere Informationen zur semantischen Suche und anderen Funktionen findest du im Abschnitt Funktionsübersicht.
Ja. Mit der von großen Sprachmodellen (LLMs) unterstützten Funktion „Ask AI“ kannst du deine Datensätze mithilfe von Abfragen in natürlicher Sprache filtern. Du musst dich nicht mit SQL auskennen. Du könntest beispielsweise fragen: „Zeige mir 100 Bilder mit genau einer Person und 2 Hunden. Es können auch andere Objekte vorhanden sein.“ Die KI erstellt im Hintergrund die passende Abfrage und liefert die gewünschten Ergebnisse.
Mit der Ultralytics Explorer-GUI kannst du SQL-Abfragen direkt für deinen Datensatz ausführen, um Daten effizient zu filtern und zu verwalten. Um eine Abfrage auszuführen, öffnest du in der GUI den Bereich für SQL-Abfragen und schreibst deine Abfrage. Um beispielsweise Bilder mit mindestens einer Person und einem Hund anzuzeigen, könntest du Folgendes verwenden:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'Du kannst auch nur die WHERE-Klausel angeben, wodurch der Abfrageprozess flexibler wird.
Weitere Informationen findest du im Abschnitt SQL-Abfragen.
Die Ultralytics Explorer-GUI erweitert die Datenexploration um Funktionen wie semantische Suche, SQL-Abfragen und Interaktionen in natürlicher Sprache über die Funktion „Ask AI“. Mit diesen Möglichkeiten kannst du:
- Visuell ähnliche Bilder effizient finden.
- Datensätze mithilfe komplexer SQL-Abfragen filtern.
- KI für Suchen in natürlicher Sprache nutzen, ohne fortgeschrittene SQL-Kenntnisse zu benötigen.
Diese Funktionen machen die GUI zu einem vielseitig einsetzbaren Werkzeug für Entwickler, Forscher und Datenwissenschaftler, die tiefere Einblicke in ihre Datensätze gewinnen möchten.
Weitere Informationen zu diesen Funktionen findest du in der Dokumentation zur Explorer-GUI.