Explorer GUI
Community-Hinweis ⚠️
Seit ultralytics>=8.3.10Die Unterstützung für Ultralytics wird eingestellt. Ähnliche (und erweiterte) Funktionen zur Datensatzuntersuchung sind verfügbar in Ultralytics HUB.
Die Explorer-GUI basiert auf der Ultralytics API. Sie ermöglicht Ihnen die Durchführung semantischer/vektorieller Ähnlichkeitssuchen, SQL-Abfragen und Abfragen in natürlicher Sprache mithilfe der Ask AI-Funktion, die auf LLMs basiert.
Ansehen: Ultralytics Explorer Dashboard – Übersicht
Installation
pip install ultralytics[explorer]
Hinweis
Die Funktion „Ask AI“ nutzt OpenAI, daher werden Sie beim ersten Start der GUI aufgefordert, den OpenAI-API-Schlüssel festzulegen.
Legen Sie ihn mit yolo settings openai_api_key="...".
Vektor-Semantische Ähnlichkeitssuche
Die semantische Suche ist eine Technik, um ähnliche Bilder zu einem gegebenen Bild zu finden. Sie basiert auf der Idee, dass ähnliche Bilder ähnliche Einbettungen haben. In der Benutzeroberfläche können Sie ein oder mehrere Bilder auswählen und nach den Bildern suchen, die ihnen ähnlich sind. Dies kann nützlich sein, wenn Sie Bilder finden möchten, die einem bestimmten Bild oder einer Reihe von Bildern ähneln, die nicht wie erwartet funktionieren.
In diesem VOC wählt der Benutzer beispielsweise einige Flugzeugbilder aus:
Nach der Ähnlichkeitssuche sollten Sie ähnliche Ergebnisse sehen:
KI fragen
Mit dieser Funktion können Sie Ihren Datensatz mithilfe natürlicher Sprache filtern, ohne SQL schreiben zu müssen. Der KI-gestützte Abfragegenerator wandelt Ihre Eingabe in eine Abfrage um und gibt passende Ergebnisse zurück. Sie können beispielsweise fragen: „Zeige mir 100 Bilder mit genau einer Person und zwei Hunden. Es können auch andere Objekte vorhanden sein.“ Daraufhin wird die Abfrage generiert und Ihnen werden die entsprechenden Ergebnisse angezeigt. Hier ist ein Beispiel für die Ausgabe der Abfrage „Zeige mir 10 Bilder mit genau fünf Personen“:
Hinweis: Diese Funktion verwendet große Sprachmodelle, sodass die Ergebnisse probabilistisch sind und möglicherweise ungenau sein können.
SQL-Abfragen auf Ihren CV-Datensätzen ausführen
Sie können SQL-Abfragen auf Ihren Datensatz anwenden, um ihn zu filtern. Dies funktioniert auch, wenn Sie nur die WHERE-Klausel angeben. Die folgende WHERE-Klausel gibt beispielsweise Bilder zurück, die mindestens eine Person und einen Hund enthalten:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Diese Demo wurde mit der Explorer-API erstellt, mit der Sie Ihre eigenen explorativen Notebooks oder Skripte erstellen können, um Einblicke in Ihre Datensätze zu gewinnen. Um loszulegen, lesen Sie die Explorer-API-Dokumentation.
FAQ
Was ist die Ultralytics Explorer GUI und wie installiere ich sie?
Die Ultralytics Explorer GUI ist eine leistungsstarke Schnittstelle, die erweiterte Datenerkundungsfunktionen mithilfe der Ultralytics Explorer API freischaltet. Sie ermöglicht Ihnen die Ausführung von semantischen/Vektorähnlichkeitssuchen, SQL-Abfragen und Abfragen in natürlicher Sprache mithilfe der Ask AI-Funktion, die auf Large Language Models (LLMs) basiert.
Um die Explorer-GUI zu installieren, kannst du pip verwenden:
pip install ultralytics[explorer]
Hinweis: Um die Funktion "Ask AI" zu nutzen, müssen Sie den OpenAI API-Schlüssel festlegen: yolo settings openai_api_key="...".
Wie funktioniert die semantische Suchfunktion in der Ultralytics Explorer GUI?
Die semantische Suchfunktion in Ultralytics Explorer GUI ermöglicht es Ihnen, Bilder zu finden, die einem bestimmten Bild ähneln, basierend auf ihren Einbettungen. Diese Technik ist nützlich, um Bilder zu identifizieren und zu untersuchen, die visuelle Ähnlichkeiten aufweisen. Um diese Funktion zu nutzen, wählen Sie ein oder mehrere Bilder in der UI aus und führen Sie eine Suche nach ähnlichen Bildern durch. Das Ergebnis zeigt Bilder an, die den ausgewählten Bildern stark ähneln, was eine effiziente Erkundung des Datensatzes und die Anomalieerkennung ermöglicht.
Erfahren Sie mehr über semantische Suche und andere Funktionen im Abschnitt Funktionsübersicht.
Kann ich natürliche Sprache verwenden, um Datensätze in der Ultralytics Explorer GUI zu filtern?
Ja, mit der Ask AI-Funktion, die auf großen Sprachmodellen (LLMs) basiert, können Sie Ihre Datensätze mithilfe von natürlichsprachlichen Abfragen filtern. Sie müssen kein SQL-Experte sein. Sie können beispielsweise fragen: "Zeige mir 100 Bilder mit genau einer Person und 2 Hunden. Es können auch andere Objekte vorhanden sein", und die KI generiert im Hintergrund die entsprechende Abfrage, um die gewünschten Ergebnisse zu liefern.
Wie führe ich SQL-Abfragen auf Datensätzen mit der Ultralytics Explorer GUI aus?
Mit der Ultralytics Explorer GUI können Sie SQL-Abfragen direkt auf Ihrem Datensatz ausführen, um Daten effizient zu filtern und zu verwalten. Um eine Abfrage auszuführen, navigieren Sie zum SQL-Abfragebereich in der GUI und schreiben Sie Ihre Abfrage. Um beispielsweise Bilder mit mindestens einer Person und einem Hund anzuzeigen, könnten Sie Folgendes verwenden:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Sie können auch nur die WHERE-Klausel angeben, wodurch der Abfrageprozess flexibler wird.
Weitere Details finden Sie im SQL-Abfragen-Abschnitt.
Welche Vorteile bietet die Verwendung der Ultralytics Explorer GUI für die Datenerkundung?
Die Ultralytics Explorer GUI verbessert die Datenerkundung mit Funktionen wie semantischer Suche, SQL-Abfragen und Interaktionen in natürlicher Sprache über die Ask AI-Funktion. Diese Funktionen ermöglichen es Benutzern:
- Finden Sie effizient visuell ähnliche Bilder.
- Filtern Sie Datensätze mithilfe komplexer SQL-Abfragen.
- Nutzen Sie KI, um Suchanfragen in natürlicher Sprache durchzuführen, wodurch fortgeschrittene SQL-Kenntnisse überflüssig werden.
Diese Funktionen machen es zu einem vielseitigen Werkzeug für Entwickler, Forscher und Datenwissenschaftler, die tiefere Einblicke in ihre Datensätze gewinnen möchten.
Weitere Informationen zu diesen Funktionen finden Sie in der Explorer GUI-Dokumentation.
