Saltar al contenido

Ver los resultados de la inferencia en un terminal

Sixel ejemplo de imagen en Terminal

Imagen de la web libsixel.

Motivación

Cuando te conectas a una máquina remota, normalmente no es posible visualizar los resultados de las imágenes o es necesario trasladar los datos a un dispositivo local con una interfaz gráfica de usuario. El terminal integrado VSCode permite visualizar directamente las imágenes. Ésta es una breve demostración de cómo utilizarlo junto con ultralytics con resultados de la predicción.

Advertencia

Sólo compatible con Linux y MacOS. Comprueba el VSCode repositorioComprueba Estado de la cuestióno documentación para actualizaciones sobre la compatibilidad con Windows para ver imágenes en el terminal con sixel.

Los protocolos compatibles con VSCode para visualizar imágenes utilizando el terminal integrado son sixel y iTerm. Esta guía mostrará el uso del sixel protocolo.

Proceso

  1. Primero, debes activar los ajustes terminal.integrated.enableImages y terminal.integrated.gpuAcceleration en VSCode.

    "terminal.integrated.gpuAcceleration": "auto" # "auto" is default, can also use "on"
    "terminal.integrated.enableImages": false
    

VSCode habilita el ajuste de las imágenes del terminal

  1. Instala el python-sixel en tu entorno virtual. Se trata de un horquilla de la PySixel que ya no se mantiene.

    pip install sixel
    
  2. Importa las bibliotecas pertinentes

    import io
    
    import cv2 as cv
    from sixel import SixelWriter
    from ultralytics import YOLO
    
  3. Carga un modelo y ejecuta la inferencia, luego traza los resultados y almacénalos en una variable. Consulta más información sobre los argumentos de inferencia y el trabajo con los resultados en la página del modo Predecir.

    from ultralytics import YOLO
    
    # Load a model
    model = YOLO("yolov8n.pt")
    
    # Run inference on an image
    results = model.predict(source="ultralytics/assets/bus.jpg")
    
    # Plot inference results
    plot = results[0].plot()  # (1)!
    
    1. Consulta los parámetros del método de trazado para ver los posibles argumentos a utilizar.
  4. Ahora, utiliza OpenCV para convertir el numpy.ndarray a bytes datos. A continuación, utiliza io.BytesIO para hacer un objeto "similar a un archivo".

    # Results image as bytes
    im_bytes = cv.imencode(
        ".png",  # (1)!
        plot,
    )[1].tobytes()  # (2)!
    
    # Image bytes as a file-like object
    mem_file = io.BytesIO(im_bytes)
    
    1. También es posible utilizar otras extensiones de imagen.
    2. Sólo el objeto del índice 1 que se devuelve es necesario.
  5. Crea una SixelWriter y luego utiliza la función .draw() para dibujar la imagen en el terminal.

    # Create sixel writer object
    w = SixelWriter()
    
    # Draw the sixel image in the terminal
    w.draw(mem_file)
    

Ejemplo de resultados de inferencia

Ver imagen en el terminal

Peligro

No se ha probado la utilización de este ejemplo con vídeos o fotogramas GIF animados. Inténtalo bajo tu propia responsabilidad.

Ejemplo de código completo

import io

import cv2 as cv
from sixel import SixelWriter
from ultralytics import YOLO

# Load a model
model = YOLO("yolov8n.pt")

# Run inference on an image
results = model.predict(source="ultralytics/assets/bus.jpg")

# Plot inference results
plot = results[0].plot()  # (3)!

# Results image as bytes
im_bytes = cv.imencode(
    ".png",  # (1)!
    plot,
)[1].tobytes()  # (2)!

mem_file = io.BytesIO(im_bytes)
w = SixelWriter()
w.draw(mem_file)
  1. También es posible utilizar otras extensiones de imagen.
  2. Sólo el objeto del índice 1 que se devuelve es necesario.
  3. Consulta los parámetros del método de trazado para ver los posibles argumentos a utilizar.

Consejo

Puede que necesites utilizar clear para "borrar" la vista de la imagen en el terminal.



Creado 2024-03-09, Actualizado 2024-05-19
Autores: glenn-jocher (3), Burhan-Q (1)

Comentarios