Explorer-GUI#
Ab ultralytics>=8.3.12 wurde Ultralytics Explorer entfernt. Um Explorer zu nutzen, installiere pip install ultralytics==8.3.11. Ähnliche (und erweiterte) Funktionen zur Datenerkundung sind in der Ultralytics Platform verfügbar.
Der Explorer GUI basiert auf der Ultralytics Explorer API. Sie ermöglicht es dir, semantische/Vektor-Ähnlichkeitssuche, SQL-Abfragen und natürliche Sprachabfragen über die von LLMs angetriebene Ask AI-Funktion durchzuführen.
Watch: Ultralytics Explorer Dashboard Overview
Installation#
pip install ultralytics[explorer]Die Ask AI-Funktion verwendet OpenAI, daher wirst du aufgefordert, den OpenAI API-Schlüssel einzugeben, wenn du die GUI zum ersten Mal ausführst.
Setze ihn mit yolo settings openai_api_key="...".
Vektorbasierte semantische Ähnlichkeitssuche#
Semantische Suche ist eine Technik zum Finden von Bildern, die einem bestimmten Bild ähneln. Sie basiert auf der Idee, dass ähnliche Bilder ähnliche Embeddings aufweisen. In der Benutzeroberfläche kannst du ein oder mehrere Bilder auswählen und nach ähnlichen Bildern suchen. Dies kann nützlich sein, wenn du Bilder finden möchtest, die einem bestimmten Bild oder einer Gruppe von Bildern ähneln, die nicht wie erwartet funktionieren.
In diesem VOC-Explorations-Dashboard wählt der Benutzer beispielsweise einige Flugzeugbilder aus:
Nachdem du die Ähnlichkeitssuche ausgeführt hast, solltest du ähnliche Ergebnisse sehen:
Ask AI#
Mit dieser Funktion kannst du deinen Datensatz in natürlicher Sprache filtern, ohne SQL schreiben zu müssen. Der KI-gestützte Abfragegenerator wandelt deine Eingabeaufforderung in eine Abfrage um und liefert entsprechende Ergebnisse. Du kannst zum Beispiel fragen: "Zeige mir 100 Bilder mit genau einer Person und 2 Hunden. Es können auch andere Objekte vorhanden sein", woraufhin die Abfrage generiert und diese Ergebnisse angezeigt werden. Hier ist ein Beispiel-Output bei der Frage: "Zeige 10 Bilder mit genau 5 Personen":
Hinweis: Diese Funktion verwendet Large Language Models, daher sind die Ergebnisse probabilistisch und möglicherweise ungenau.
Führe SQL-Abfragen auf deinen CV-Datensätzen aus#
Du kannst SQL-Abfragen auf deinem Datensatz ausführen, um ihn zu filtern. Es funktioniert auch, wenn du nur die WHERE-Klausel angibst. Zum Beispiel gibt die folgende WHERE-Klausel Bilder zurück, die mindestens eine Person und einen Hund enthalten:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Diese Demo wurde mit der Explorer API erstellt, die du nutzen kannst, um eigene explorative Notebooks oder Skripte zu erstellen, um Einblicke in deine Datensätze zu gewinnen. Schau dir zur Einarbeitung die Explorer API-Dokumentation an.
FAQ#
Ultralytics Explorer GUI ist eine leistungsstarke Benutzeroberfläche, die erweiterte Datenexplorationsfunktionen über die Ultralytics Explorer API freischaltet. Sie ermöglicht es dir, semantische/Vektor-Ähnlichkeitssuche, SQL-Abfragen und natürliche Sprachabfragen mithilfe der Ask AI-Funktion durchzuführen, die von Large Language Models (LLMs) angetrieben wird.
Um die Explorer-GUI zu installieren, kannst du pip verwenden:
pip install ultralytics[explorer]Hinweis: Um die Ask AI-Funktion zu nutzen, musst du den OpenAI API-Schlüssel festlegen:
yolo settings openai_api_key="...".Die semantische Suchfunktion im Ultralytics Explorer GUI ermöglicht es dir, Bilder zu finden, die einem bestimmten Bild basierend auf ihren Embeddings ähneln. Diese Technik ist nützlich, um Bilder zu identifizieren und zu erkunden, die visuelle Ähnlichkeiten aufweisen. Um diese Funktion zu nutzen, wähle ein oder mehrere Bilder in der Benutzeroberfläche aus und führe eine Suche nach ähnlichen Bildern aus. Das Ergebnis zeigt Bilder an, die den ausgewählten stark ähneln, was eine effiziente Datensatzexploration und Anomalieerkennung erleichtert.
Erfahre mehr über semantische Suche und andere Funktionen, indem du den Abschnitt Funktionsübersicht besuchst.
Ja, mit der Ask-AI-Funktion, die von Large Language Models (LLMs) unterstützt wird, kannst du deine Datensätze mithilfe von natürlichsprachlichen Abfragen filtern. Du musst kein SQL-Experte sein. Du kannst zum Beispiel fragen: "Zeige mir 100 Bilder mit genau einer Person und 2 Hunden. Es können auch andere Objekte vorhanden sein", und die KI wird im Hintergrund die entsprechende Abfrage generieren, um die gewünschten Ergebnisse zu liefern.
Die Ultralytics Explorer-GUI ermöglicht es dir, SQL-Abfragen direkt auf deinem Datensatz auszuführen, um Daten effizient zu filtern und zu verwalten. Um eine Abfrage auszuführen, navigiere zum SQL-Abfragebereich in der GUI und schreibe deine Abfrage. Um beispielsweise Bilder mit mindestens einer Person und einem Hund anzuzeigen, könntest du Folgendes verwenden:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'Du kannst auch nur die WHERE-Klausel angeben, was den Abfrageprozess flexibler macht.
Weitere Details findest du im Abschnitt SQL-Abfragen.
Die Ultralytics Explorer-GUI verbessert die Datenexploration mit Funktionen wie semantischer Suche, SQL-Abfragen und natürlichsprachlichen Interaktionen über die Ask-AI-Funktion. Diese Funktionen ermöglichen es Benutzern:
- Effizient visuell ähnliche Bilder zu finden.
- Datensätze mithilfe komplexer SQL-Abfragen zu filtern.
- KI zu nutzen, um natürlichsprachliche Suchen durchzuführen, wodurch kein fortgeschrittenes SQL-Fachwissen erforderlich ist.
Diese Funktionen machen sie zu einem vielseitigen Werkzeug für Entwickler, Forscher und Datenwissenschaftler, die tiefere Einblicke in ihre Datensätze gewinnen möchten.
Erkunde mehr über diese Funktionen in der Explorer GUI-Dokumentation.