Visualizando resultados de inferência em um terminal
Imagem do sítio Web da libsixel.
Motivação
Quando te ligas a uma máquina remota, normalmente não é possível visualizar os resultados da imagem ou é necessário mover os dados para um dispositivo local com uma GUI. O terminal integrado VSCode permite a renderização direta de imagens. Esta é uma breve demonstração de como usá-lo em conjunto com o ultralytics
com resultados das previsões.
Aviso
Só é compatível com Linux e MacOS. Verifica o Repositório VSCode, verifica Estado da questão, ou documentação para obter actualizações sobre o suporte do Windows para ver imagens no terminal com sixel
.
Os protocolos compatíveis com VSCode para visualizar imagens utilizando o terminal integrado são sixel
e iTerm
. Este guia irá demonstrar a utilização do sixel
protocolo.
Processo
-
Primeiro, tens de ativar as definições
terminal.integrated.enableImages
eterminal.integrated.gpuAcceleration
no VSCode."terminal.integrated.gpuAcceleration": "auto" # "auto" is default, can also use "on" "terminal.integrated.enableImages": false
-
Instala o
python-sixel
no teu ambiente virtual. Este é um garfo doPySixel
que já não é mantida. -
Carrega um modelo e executa a inferência, depois traça os resultados e armazena-os numa variável. Vê mais sobre argumentos de inferência e como trabalhar com resultados na página do modo de previsão.
from ultralytics import YOLO # Load a model model = YOLO("yolo11n.pt") # Run inference on an image results = model.predict(source="ultralytics/assets/bus.jpg") # Plot inference results plot = results[0].plot() # (1)!
- Vê os parâmetros do método plot para veres os argumentos possíveis a utilizar.
-
Now, use OpenCV to convert the
numpy.ndarray
parabytes
dados. Depois utilizaio.BytesIO
para criar um objeto "tipo ficheiro".import io import cv2 # Results image as bytes im_bytes = cv2.imencode( ".png", # (1)! plot, )[1].tobytes() # (2)! # Image bytes as a file-like object mem_file = io.BytesIO(im_bytes)
- Também é possível utilizar outras extensões de imagem.
- Apenas o objeto no índice
1
que te é devolvido é necessário.
-
Cria um
SixelWriter
e depois usa a instância.draw()
para desenhares a imagem no terminal.
Exemplo de resultados de inferência
Perigo
A utilização deste exemplo com vídeos ou quadros GIF animados não foi testada. Tenta por tua conta e risco.
Exemplo de código completo
import io
import cv2
from sixel import SixelWriter
from ultralytics import YOLO
# Load a model
model = YOLO("yolo11n.pt")
# Run inference on an image
results = model.predict(source="ultralytics/assets/bus.jpg")
# Plot inference results
plot = results[0].plot() # (3)!
# Results image as bytes
im_bytes = cv2.imencode(
".png", # (1)!
plot,
)[1].tobytes() # (2)!
mem_file = io.BytesIO(im_bytes)
w = SixelWriter()
w.draw(mem_file)
- Também é possível utilizar outras extensões de imagem.
- Apenas o objeto no índice
1
que te é devolvido é necessário. - Vê os parâmetros do método plot para veres os argumentos possíveis a utilizar.
Dica
Podes ter de utilizar clear
para "apagar" a visualização da imagem no terminal.
FAQ
Como posso ver os resultados da inferência YOLO num terminal VSCode em macOS ou Linux?
Para ver os resultados da inferência YOLO num terminal VSCode no macOS ou Linux, segue estes passos:
-
Ativa as definições VSCode necessárias:
-
Instala a biblioteca sixel:
-
Carrega o teu modelo YOLO e executa a inferência:
-
Converte a imagem do resultado da inferência em bytes e apresenta-a no terminal:
Para mais informações, visita a página do modo de previsão.
Porque é que o protocolo sixel só funciona em Linux e macOS?
Atualmente, o protocolo sixel só é suportado em Linux e macOS porque estas plataformas têm capacidades de terminal nativas compatíveis com gráficos sixel. O suporte do Windows para gráficos de terminal usando sixel ainda está em desenvolvimento. Para obter atualizações sobre a compatibilidade do Windows, verifica o status e a documentação do problema do VSCode.
E se eu tiver problemas com a apresentação de imagens no terminal VSCode?
Se tiveres problemas com a apresentação de imagens no terminal VSCode utilizando o sixel:
-
Certifica-te de que as definições necessárias no VSCode estão activadas:
-
Verifica a instalação da biblioteca sixel:
-
Verifica se existem erros no código de conversão de dados de imagem e de plotagem. Por exemplo:
Se os problemas persistirem, consulta o repositório VSCode e visita a secção de parâmetros do método de plotagem para obteres orientações adicionais.
O YOLO pode apresentar os resultados da inferência de vídeo no terminal utilizando o sixel?
A exibição de resultados de inferência de vídeo ou quadros GIF animados usando o sixel no terminal não foi testada no momento e pode não ser suportada. Recomendamos que comeces com imagens estáticas e verifiques a compatibilidade. Tenta resultados de vídeo por tua conta e risco, tendo em conta as restrições de desempenho. Para obter mais informações sobre a plotagem de resultados de inferência, visita a página do modo de previsão.
Como é que posso resolver problemas com o python-sixel
biblioteca?
Para solucionar problemas com o python-sixel
biblioteca:
-
Certifica-te de que a biblioteca está corretamente instalada no teu ambiente virtual:
-
Verifica se tens as dependências de sistema e Python necessárias.
-
Consulta o repositório GitHubpython -sixel para documentação adicional e suporte da comunidade.
-
Verifica novamente o teu código quanto a possíveis erros, especificamente a utilização de
SixelWriter
e os passos de conversão de dados de imagem.
Para obter mais assistência sobre como trabalhar com os modelos YOLO e a integração do sixel, consulta as páginas de documentação do modo de exportação e previsão.