Erste Schritte

Explorer-GUI

Hinweis der Community ⚠️

Seit ultralytics>=8.3.12 ist Ultralytics Explorer nicht mehr verfügbar. Um Explorer zu verwenden, installiere pip install ultralytics==8.3.11. Ähnliche und erweiterte Funktionen zur Erkundung von Datensätzen findest du auf der Ultralytics Platform.

Die Explorer-GUI basiert auf der Ultralytics Explorer-API. Damit kannst du semantische Suche und Vektorähnlichkeitssuche, SQL-Abfragen sowie natürlichsprachliche Abfragen mit der von LLMs unterstützten Funktion „Ask AI“ ausführen.

Ultralytics Explorer GUI main dashboard interface



Ansehen: Überblick über das Ultralytics-Explorer-Dashboard

Installation#

pip install "ultralytics[explorer]==8.3.11"
Hinweis

Die Funktion „Ask AI“ verwendet OpenAI. Daher wirst du beim ersten Start der GUI aufgefordert, den OpenAI-API-Schlüssel festzulegen. Lege ihn mit yolo settings openai_api_key="..." fest.

Semantische Suche ist ein Verfahren, um Bilder zu finden, die einem bestimmten Bild ähneln. Sie basiert auf der Annahme, dass ähnliche Bilder ähnliche Embeddings haben. In der Benutzeroberfläche kannst du ein oder mehrere Bilder auswählen und nach ähnlichen Bildern suchen. Das ist hilfreich, wenn du Bilder finden möchtest, die einem bestimmten Bild ähneln, oder wenn du Bilder suchst, die einer Gruppe von Bildern ähneln, deren Ergebnisse nicht den Erwartungen entsprechen.

In diesem VOC-Erkundungs-Dashboard wählt der Benutzer beispielsweise einige Flugzeugbilder aus:

Explorer selecting airplane images for similarity search

Nach der Suche nach ähnlichen Bildern sollten ähnliche Ergebnisse angezeigt werden:

Ultralytics Explorer semantic similarity search

Ask AI#

Mit dieser Funktion kannst du deinen Datensatz mithilfe natürlicher Sprache filtern, ohne SQL zu schreiben. Der KI-gestützte Abfragegenerator wandelt deine Eingabe in eine Abfrage um und gibt passende Ergebnisse zurück. Du kannst zum Beispiel fragen: „Zeige mir 100 Bilder mit genau einer Person und 2 Hunden. Andere Objekte dürfen ebenfalls vorkommen.“ Die Funktion erstellt dann die Abfrage und zeigt dir die Ergebnisse. Hier siehst du ein Beispiel für eine Ausgabe auf die Frage: „Zeige 10 Bilder mit genau 5 Personen“:

Explorer Ask AI results for images with 5 persons

Hinweis: Diese Funktion verwendet große Sprachmodelle. Die Ergebnisse sind daher probabilistisch und möglicherweise ungenau.

SQL-Abfragen für deine CV-Datensätze ausführen#

Du kannst SQL-Abfragen für deinen Datensatz ausführen, um ihn zu filtern. Das funktioniert auch, wenn du nur die WHERE-Klausel angibst. Die folgende WHERE-Klausel gibt beispielsweise Bilder zurück, die mindestens eine Person und einen Hund enthalten:

WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

Explorer SQL query filtering images with person and dog

Diese Demo wurde mit der Explorer API erstellt. Mit der Explorer API kannst du eigene Notebooks oder Skripte erstellen, um Erkenntnisse aus deinen Datensätzen zu gewinnen. Die ersten Schritte findest du in der Dokumentation zur Explorer API.

Häufig gestellte Fragen#

  • Die Ultralytics Explorer-GUI ist eine browserbasierte Oberfläche zur Erkundung von Datensätzen und basiert auf der Ultralytics Explorer-API. Damit kannst du semantische Suche und Vektorähnlichkeitssuche, SQL-Abfragen sowie natürlichsprachliche Abfragen mit der Funktion „Ask AI“ ausführen, die von großen Sprachmodellen (LLMs) unterstützt wird.

    Du kannst die Explorer GUI mit pip installieren:

    pip install "ultralytics[explorer]==8.3.11"

    Hinweis: Um die Funktion „Ask AI“ zu verwenden, musst du den OpenAI-API-Schlüssel festlegen: yolo settings openai_api_key="...".

  • Mit der semantischen Suche in der Ultralytics Explorer-GUI kannst du anhand ihrer Einbettungen Bilder finden, die einem vorgegebenen Bild ähneln. Diese Technik eignet sich dazu, Bilder mit ähnlichen visuellen Merkmalen zu erkennen und zu erkunden. Wähle dazu in der Benutzeroberfläche ein oder mehrere Bilder aus und starte eine Suche nach ähnlichen Bildern. Die Ergebnisse zeigen Bilder, die den ausgewählten Bildern stark ähneln, und erleichtern so die effiziente Erkundung des Datensatzes und die Anomalieerkennung.

  • Ja. Mit der durch große Sprachmodelle (LLMs) unterstützten Funktion „Ask AI“ kannst du deine Datensätze mithilfe von Abfragen in natürlicher Sprache filtern. Du musst dich mit SQL nicht auskennen. Du kannst zum Beispiel fragen: „Zeige mir 100 Bilder mit genau einer Person und 2 Hunden. Andere Objekte dürfen ebenfalls vorkommen.“ Die KI erstellt im Hintergrund die passende Abfrage und liefert die gewünschten Ergebnisse.

  • Mit der Ultralytics Explorer GUI kannst du SQL-Abfragen direkt für deinen Datensatz ausführen, um Daten effizient zu filtern und zu verwalten. Öffne dazu in der GUI den Abschnitt für SQL-Abfragen und gib deine Abfrage ein. Um beispielsweise Bilder mit mindestens einer Person und einem Hund anzuzeigen, kannst du Folgendes verwenden:

    WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

    Du kannst auch nur die WHERE-Klausel angeben. So werden Abfragen flexibler.

    Weitere Informationen findest du im Abschnitt SQL-Abfragen.

  • Die Ultralytics Explorer GUI erweitert die Möglichkeiten zur Datenerkundung durch Funktionen wie semantische Suche, SQL-Abfragen und Interaktionen in natürlicher Sprache über die Funktion „Ask AI“. Damit kannst du:

    • Bilder mit visuellen Ähnlichkeiten effizient finden.
    • Datensätze mithilfe komplexer SQL-Abfragen filtern.
    • KI für Suchanfragen in natürlicher Sprache nutzen und so auf fundierte SQL-Kenntnisse verzichten.

    Diese Funktionen helfen Entwicklern, Forschern und Datenwissenschaftlern, ihre Datensätze zu verstehen und aufzubereiten.

Kommentare7

Stell eine Frage, teile deine Ergebnisse oder hilf jemand anderem.

  1. ws1065GitHub

    I executed yolo Explorer to try to open Explorer dashboard, but it shows that it should be a port monitoring error? I don't know what port it is listening on, and yolo explorer doesn't have a help command?

    1. Glenn JocherUltralytics(bearbeitet)

      Note: Ultralytics Explorer was removed in ultralytics>=8.3.12; to use it, install ultralytics==8.3.11. Similar dataset exploration features are available in Ultralytics Platform.

      @ws1065 it sounds like you're encountering a port conflict issue when trying to run the Explorer dashboard. By default, the Explorer GUI listens on port 8080. You can specify a different port by using the --port argument when launching the GUI. For example, you can try yolo explorer --port 8081. If the issue persists, please ensure you are using the latest version of the package by updating it with pip install --upgrade ultralytics[explorer]. For further details, you can refer to the Ultralytics Explorer documentation.

    1. Glenn JocherUltralytics(bearbeitet)

      To run Ultralytics YOLO with your own data and model, you'll need to follow these steps:

      1. Prepare your dataset in a format that YOLO can understand, typically consisting of images and corresponding annotation files.
      2. Train your model using the yolo train command, specifying your dataset and model configuration file.
      3. After training, you can validate, make predictions, or use other features like tracking with your trained model.

      Here's a quick example of how you might train your model:

      from ultralytics import YOLO
      
      # Create a new YOLO model from your custom config
      model = YOLO('path/to/your/model.yaml')
      
      # Train the model on your custom dataset
      model.train(data='path/to/your/dataset.yaml')

      And to make predictions:

      # Load your trained model
      model = YOLO('path/to/your/best.pt')
      
      # Predict on new images
      results = model.predict('path/to/your/images')

      Remember to replace 'path/to/your/...' with the actual paths to your files. If you need more detailed guidance, our documentation is a great place to start. 😊