Explorer GUI
Community-Hinweis ⚠️
Seit ultralytics>=8.3.10, der Ultralytics Explorer Support ist veraltet. Ähnliche (und erweiterte) Funktionen zur Datensatzexploration sind verfügbar in Ultralytics Plattform.
Die Explorer-GUI basiert auf der Ultralytics Explorer API. Sie ermöglicht die Durchführung von semantischen/Vektor-Ähnlichkeitssuchen, SQL-Abfragen und Abfragen in natürlicher Sprache mithilfe der Ask AI-Funktion, die von LLMs unterstützt wird.
Ansehen: Ultralytics Explorer Dashboard – Übersicht
Installation
pip install ultralytics[explorer]
Hinweis
Die Ask AI-Funktion verwendet OpenAI, daher werden Sie beim ersten Start der GUI aufgefordert, den OpenAI API-Schlüssel festzulegen.
Legen Sie ihn fest mit yolo settings openai_api_key="...".
Vektor-Semantische Ähnlichkeitssuche
Die semantische Suche ist eine Technik, um ähnliche Bilder zu einem gegebenen Bild zu finden. Sie basiert auf der Idee, dass ähnliche Bilder ähnliche Einbettungen haben. In der Benutzeroberfläche können Sie ein oder mehrere Bilder auswählen und nach den Bildern suchen, die ihnen ähnlich sind. Dies kann nützlich sein, wenn Sie Bilder finden möchten, die einem bestimmten Bild oder einer Reihe von Bildern ähneln, die nicht wie erwartet funktionieren.
Zum Beispiel wählt der Benutzer in diesem VOC Exploration Dashboard einige Flugzeugbilder aus:
Nach Ausführung der Ähnlichkeitssuche sollten Sie ähnliche Ergebnisse sehen:
KI fragen
Diese Funktion ermöglicht es Ihnen, Ihren Datensatz mithilfe natürlicher Sprache zu filtern, ohne SQL schreiben zu müssen. Der KI-gestützte Abfragegenerator wandelt Ihren Prompt in eine Abfrage um und liefert passende Ergebnisse. Sie können zum Beispiel fragen: „Zeige mir 100 Bilder mit genau einer Person und 2 Hunden. Es können auch andere Objekte vorhanden sein“, und es wird die Abfrage generieren und Ihnen die entsprechenden Ergebnisse anzeigen. Hier ist ein Beispiel für die Ausgabe, wenn gefragt wird: „Zeige 10 Bilder mit genau 5 Personen“:
Hinweis: Diese Funktion verwendet Large Language Models, daher sind die Ergebnisse probabilistisch und können ungenau sein.
SQL-Abfragen auf Ihren CV-Datensätzen ausführen
Sie können SQL-Abfragen auf Ihrem Datensatz ausführen, um ihn zu filtern. Es funktioniert auch, wenn Sie nur die WHERE-Klausel angeben. Zum Beispiel gibt die folgende WHERE-Klausel Bilder zurück, die mindestens eine Person und einen Hund enthalten:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Diese Demo wurde mit der Explorer-API erstellt, mit der Sie Ihre eigenen explorativen Notebooks oder Skripte erstellen können, um Einblicke in Ihre Datensätze zu gewinnen. Um loszulegen, lesen Sie die Explorer-API-Dokumentation.
FAQ
Was ist die Ultralytics Explorer GUI und wie installiere ich sie?
Die Ultralytics Explorer GUI ist eine leistungsstarke Schnittstelle, die erweiterte Datenerkundungsfunktionen mithilfe der Ultralytics Explorer API freischaltet. Sie ermöglicht Ihnen die Ausführung von semantischen/Vektorähnlichkeitssuchen, SQL-Abfragen und Abfragen in natürlicher Sprache mithilfe der Ask AI-Funktion, die auf Large Language Models (LLMs) basiert.
Um die Explorer-GUI zu installieren, kannst du pip verwenden:
pip install ultralytics[explorer]
Hinweis: Um die Funktion "Ask AI" zu nutzen, müssen Sie den OpenAI API-Schlüssel festlegen: yolo settings openai_api_key="...".
Wie funktioniert die semantische Suchfunktion in der Ultralytics Explorer GUI?
Die semantische Suchfunktion in Ultralytics Explorer GUI ermöglicht es Ihnen, Bilder zu finden, die einem bestimmten Bild ähneln, basierend auf ihren Einbettungen. Diese Technik ist nützlich, um Bilder zu identifizieren und zu untersuchen, die visuelle Ähnlichkeiten aufweisen. Um diese Funktion zu nutzen, wählen Sie ein oder mehrere Bilder in der UI aus und führen Sie eine Suche nach ähnlichen Bildern durch. Das Ergebnis zeigt Bilder an, die den ausgewählten Bildern stark ähneln, was eine effiziente Erkundung des Datensatzes und die Anomalieerkennung ermöglicht.
Erfahren Sie mehr über semantische Suche und andere Funktionen im Abschnitt Funktionsübersicht.
Kann ich natürliche Sprache verwenden, um Datensätze in der Ultralytics Explorer GUI zu filtern?
Ja, mit der Ask AI-Funktion, die auf großen Sprachmodellen (LLMs) basiert, können Sie Ihre Datensätze mithilfe von natürlichsprachlichen Abfragen filtern. Sie müssen kein SQL-Experte sein. Sie können beispielsweise fragen: "Zeige mir 100 Bilder mit genau einer Person und 2 Hunden. Es können auch andere Objekte vorhanden sein", und die KI generiert im Hintergrund die entsprechende Abfrage, um die gewünschten Ergebnisse zu liefern.
Wie führe ich SQL-Abfragen auf Datensätzen mit der Ultralytics Explorer GUI aus?
Mit der Ultralytics Explorer GUI können Sie SQL-Abfragen direkt auf Ihrem Datensatz ausführen, um Daten effizient zu filtern und zu verwalten. Um eine Abfrage auszuführen, navigieren Sie zum SQL-Abfragebereich in der GUI und schreiben Sie Ihre Abfrage. Um beispielsweise Bilder mit mindestens einer Person und einem Hund anzuzeigen, könnten Sie Folgendes verwenden:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Sie können auch nur die WHERE-Klausel angeben, wodurch der Abfrageprozess flexibler wird.
Weitere Details finden Sie im SQL-Abfragen-Abschnitt.
Welche Vorteile bietet die Verwendung der Ultralytics Explorer GUI für die Datenerkundung?
Die Ultralytics Explorer GUI verbessert die Datenerkundung mit Funktionen wie semantischer Suche, SQL-Abfragen und Interaktionen in natürlicher Sprache über die Ask AI-Funktion. Diese Funktionen ermöglichen es Benutzern:
- Finden Sie effizient visuell ähnliche Bilder.
- Filtern Sie Datensätze mithilfe komplexer SQL-Abfragen.
- Nutzen Sie KI, um Suchanfragen in natürlicher Sprache durchzuführen, wodurch fortgeschrittene SQL-Kenntnisse überflüssig werden.
Diese Funktionen machen es zu einem vielseitigen Werkzeug für Entwickler, Forscher und Datenwissenschaftler, die tiefere Einblicke in ihre Datensätze gewinnen möchten.
Weitere Informationen zu diesen Funktionen finden Sie in der Explorer GUI-Dokumentation.
