Ver los resultados de la inferencia en un terminal

Imagen de la web libsixel.

Motivación

Cuando te conectas a una máquina remota, normalmente no es posible visualizar los resultados de las imágenes o es necesario trasladar los datos a un dispositivo local con una interfaz gráfica de usuario. El terminal integrado VSCode permite visualizar directamente las imágenes. Ésta es una breve demostración de cómo utilizarlo junto con ultralytics con resultados de la predicción.

Los protocolos compatibles con VSCode para visualizar imágenes utilizando el terminal integrado son sixel y iTerm. Esta guía mostrará el uso del sixel protocolo.

Proceso

1. Primero, debes activar los ajustes terminal.integrated.enableImages y terminal.integrated.gpuAcceleration en VSCode.

   "terminal.integrated.gpuAcceleration": "auto" # "auto" is default, can also use "on"
   "terminal.integrated.enableImages": false
   

1. Instala el python-sixel en tu entorno virtual. Se trata de un horquilla de la PySixel que ya no se mantiene.

   pip install sixel
   

2. Importa las bibliotecas pertinentes

   import io
   
   import cv2 as cv
   
   from ultralytics import YOLO
   from sixel import SixelWriter
   

3. Carga un modelo y ejecuta la inferencia, luego traza los resultados y almacénalos en una variable. Consulta más información sobre los argumentos de inferencia y el trabajo con los resultados en la página del modo Predecir.

   from ultralytics import YOLO
   
   # Load a model
   model = YOLO("yolov8n.pt")
   
   # Run inference on an image
   results = model.predict(source="ultralytics/assets/bus.jpg")
   
   # Plot inference results
   plot = results[0].plot() #(1)!
   

   1. Consulta los parámetros del método de trazado para ver los posibles argumentos a utilizar.

4. Ahora, utiliza OpenCV para convertir el numpy.ndarray a bytes datos. A continuación, utiliza io.BytesIO para hacer un objeto "similar a un archivo".

   # Results image as bytes
   im_bytes = cv.imencode(
       ".png", #(1)!
       plot,
       )[1].tobytes() #(2)!
   
   # Image bytes as a file-like object
   mem_file = io.BytesIO(im_bytes)
   

   1. También es posible utilizar otras extensiones de imagen.
   2. Sólo el objeto del índice 1 que se devuelve es necesario.

5. Crea una SixelWriter y luego utiliza la función .draw() para dibujar la imagen en el terminal.

   # Create sixel writer object
   w = SixelWriter()
   
   # Draw the sixel image in the terminal
   w.draw(mem_file)
   

Ejemplo de resultados de inferencia

Ejemplo de código completo

import io

import cv2 as cv

from ultralytics import YOLO
from sixel import SixelWriter

# Load a model
model = YOLO("yolov8n.pt")

# Run inference on an image
results = model.predict(source="ultralytics/assets/bus.jpg")

# Plot inference results
plot = results[0].plot() #(3)!

# Results image as bytes
im_bytes = cv.imencode(
    ".png", #(1)!
    plot,
    )[1].tobytes() #(2)!

mem_file = io.BytesIO(im_bytes)
w = SixelWriter()
w.draw(mem_file)

1. También es posible utilizar otras extensiones de imagen.
2. Sólo el objeto del índice 1 que se devuelve es necesario.
3. Consulta los parámetros del método de trazado para ver los posibles argumentos a utilizar.

Comentarios