Anzeigen von Schlussfolgerungsergebnissen in einem Terminal

Bild von der libsixel Website.

Motivation

Wenn du eine Verbindung zu einem entfernten Rechner herstellst, ist es normalerweise nicht möglich, die Bildergebnisse zu visualisieren, oder die Daten müssen auf ein lokales Gerät mit einer grafischen Benutzeroberfläche übertragen werden. Das in VSCode integrierte Terminal ermöglicht die direkte Darstellung von Bildern. Dies ist eine kurze Demonstration, wie du es in Verbindung mit ultralytics mit Vorhersageergebnisse.

Die VSCode-kompatiblen Protokolle zum Betrachten von Bildern mit dem integrierten Terminal sind sixel und iTerm. In diesem Leitfaden wird die Verwendung der sixel Protokoll.

Prozess

1. Zuerst musst du die Einstellungen aktivieren terminal.integrated.enableImages und terminal.integrated.gpuAcceleration in VSCode.

   "terminal.integrated.gpuAcceleration": "auto" # "auto" is default, can also use "on"
   "terminal.integrated.enableImages": false
   

1. Installieren Sie die python-sixel Bibliothek in deiner virtuellen Umgebung. Dies ist eine Gabel der PySixel Bibliothek, die nicht mehr gepflegt wird.

   pip install sixel
   

2. Importiere die relevanten Bibliotheken

   import io
   
   import cv2 as cv
   
   from ultralytics import YOLO
   from sixel import SixelWriter
   

3. Lade ein Modell und führe die Inferenz durch, zeichne die Ergebnisse auf und speichere sie in einer Variablen. Auf der Seite zum Vorhersagemodus erfährst du mehr über die Argumente der Inferenz und die Arbeit mit den Ergebnissen.

   from ultralytics import YOLO
   
   # Load a model
   model = YOLO("yolov8n.pt")
   
   # Run inference on an image
   results = model.predict(source="ultralytics/assets/bus.jpg")
   
   # Plot inference results
   plot = results[0].plot() #(1)!
   

   1. Siehe Parameter der Plot-Methode, um zu sehen, welche Argumente du verwenden kannst.

4. Verwende nun OpenCV, um die numpy.ndarray zu bytes Daten. Dann verwende io.BytesIO um ein "dateiähnliches" Objekt zu erstellen.

   # Results image as bytes
   im_bytes = cv.imencode(
       ".png", #(1)!
       plot,
       )[1].tobytes() #(2)!
   
   # Image bytes as a file-like object
   mem_file = io.BytesIO(im_bytes)
   

   1. Es ist auch möglich, andere Bilderweiterungen zu verwenden.
   2. Nur das Objekt mit dem Index 1 die zurückgegeben wird, benötigt wird.

5. Erstellen einer SixelWriter Instanz, und verwenden Sie dann die .draw() Methode, um das Bild im Terminal zu zeichnen.

   # Create sixel writer object
   w = SixelWriter()
   
   # Draw the sixel image in the terminal
   w.draw(mem_file)
   

Beispiel Inferenzergebnisse

Vollständiges Code-Beispiel

import io

import cv2 as cv

from ultralytics import YOLO
from sixel import SixelWriter

# Load a model
model = YOLO("yolov8n.pt")

# Run inference on an image
results = model.predict(source="ultralytics/assets/bus.jpg")

# Plot inference results
plot = results[0].plot() #(3)!

# Results image as bytes
im_bytes = cv.imencode(
    ".png", #(1)!
    plot,
    )[1].tobytes() #(2)!

mem_file = io.BytesIO(im_bytes)
w = SixelWriter()
w.draw(mem_file)

1. Es ist auch möglich, andere Bilderweiterungen zu verwenden.
2. Nur das Objekt mit dem Index 1 die zurückgegeben wird, benötigt wird.
3. Siehe Parameter der Plot-Methode, um zu sehen, welche Argumente du verwenden kannst.

Kommentare