Afficher les résultats de l'inférence dans un terminal

Image tirée du site web de libsixel.

Motivation

Lors de la connexion à une machine distante, normalement la visualisation des résultats des images n'est pas possible ou nécessite de déplacer les données vers un appareil local doté d'une interface graphique. Le terminal intégré VSCode permet de rendre directement les images. Voici une courte démonstration de l'utilisation de ce terminal en conjonction avec ultralytics avec résultats des prédictions.

Les protocoles compatibles avec le VSCode pour la visualisation des images à l'aide du terminal intégré sont les suivants sixel et iTerm. Ce guide présente l'utilisation de l'outil sixel protocole.

Processus

1. Tout d'abord, tu dois activer les paramètres terminal.integrated.enableImages et terminal.integrated.gpuAcceleration dans le VSCode.

   "terminal.integrated.gpuAcceleration": "auto" # "auto" is default, can also use "on"
   "terminal.integrated.enableImages": false
   

1. Installe le python-sixel dans ton environnement virtuel. Il s'agit d'une fourchette de la PySixel qui n'est plus maintenue.

   pip install sixel
   

2. Importe les bibliothèques concernées

   import io
   
   import cv2 as cv
   
   from ultralytics import YOLO
   from sixel import SixelWriter
   

3. Charge un modèle et exécute l'inférence, puis trace les résultats et les stocke dans une variable. Pour en savoir plus sur les arguments d'inférence et l'utilisation des résultats, consulte la page du mode prédire.

   from ultralytics import YOLO
   
   # Load a model
   model = YOLO("yolov8n.pt")
   
   # Run inference on an image
   results = model.predict(source="ultralytics/assets/bus.jpg")
   
   # Plot inference results
   plot = results[0].plot() #(1)!
   

   1. Voir les paramètres de la méthode de traçage pour connaître les arguments possibles à utiliser.

4. Maintenant, utilise OpenCV pour convertir le numpy.ndarray à bytes données. Utilise ensuite io.BytesIO pour créer un objet qui ressemble à un fichier.

   # Results image as bytes
   im_bytes = cv.imencode(
       ".png", #(1)!
       plot,
       )[1].tobytes() #(2)!
   
   # Image bytes as a file-like object
   mem_file = io.BytesIO(im_bytes)
   

   1. Il est également possible d'utiliser d'autres extensions d'images.
   2. Seul l'objet à l'index 1 qui est renvoyée est nécessaire.

5. Crée un SixelWriter et utilise ensuite l'instance .draw() pour dessiner l'image dans le terminal.

   # Create sixel writer object
   w = SixelWriter()
   
   # Draw the sixel image in the terminal
   w.draw(mem_file)
   

Exemple de résultats d'inférence

Exemple de code complet

import io

import cv2 as cv

from ultralytics import YOLO
from sixel import SixelWriter

# Load a model
model = YOLO("yolov8n.pt")

# Run inference on an image
results = model.predict(source="ultralytics/assets/bus.jpg")

# Plot inference results
plot = results[0].plot() #(3)!

# Results image as bytes
im_bytes = cv.imencode(
    ".png", #(1)!
    plot,
    )[1].tobytes() #(2)!

mem_file = io.BytesIO(im_bytes)
w = SixelWriter()
w.draw(mem_file)

1. Il est également possible d'utiliser d'autres extensions d'images.
2. Seul l'objet à l'index 1 qui est renvoyée est nécessaire.
3. Voir les paramètres de la méthode de traçage pour connaître les arguments possibles à utiliser.

Commentaires