Exportação de modelo TFLite para implantação (obsoleto)#

Implantar modelos de visão computacional em dispositivos de borda ou dispositivos embarcados requer um formato que possa garantir um desempenho fluido.

O formato de exportação anterior do TensorFlow Lite ou TFLite otimizava os modelos do Ultralytics YOLO26 para tarefas como detecção de objetos e classificação de imagens em aplicações de borda. Este guia preserva o contexto de implantação legada do TFLite; usa o LiteRT para novas exportações.

Por que o TFLite era usado para exportação?#

Introduzido pelo Google em maio de 2017 como parte do seu framework TensorFlow, o TensorFlow Lite, ou TFLite para abreviar, era um framework de deep learning de código aberto projetado para inferência em dispositivos, também conhecido como computação de borda. Ele dava aos desenvolvedores ferramentas para executar modelos treinados em dispositivos móveis, embarcados e de IoT, bem como em computadores tradicionais.

O TensorFlow Lite suportava uma ampla gama de plataformas, incluindo Linux embarcado, Android, iOS e microcontroladores (MCUs). As exportações TFLite permitiam que as aplicações executassem modelos localmente e offline.

Principais recursos dos modelos TFLite#

Os modelos TFLite oferecem uma ampla gama de recursos principais que permitem o aprendizado de máquina no dispositivo, ajudando os desenvolvedores a executar seus modelos em dispositivos móveis, embarcados e de borda:

• Otimização no dispositivo: O TFLite otimiza para ML no dispositivo, reduzindo a latência ao processar dados localmente, aumentando a privacidade ao não transmitir dados pessoais e minimizando o tamanho do modelo para economizar espaço.

• Suporte a múltiplas plataformas: O TFLite oferece ampla compatibilidade de plataforma, suportando Android, iOS, Linux embarcado e microcontroladores.

• Suporte a diversos idiomas: O TFLite é compatível com várias linguagens de programação, incluindo Java, Swift, Objective-C, C++ e Python.

• Alto desempenho: Alcança desempenho superior por meio de aceleração de hardware e otimização de modelo.

Desempenho medido (histórico)#

Ambos os formatos foram executados no mesmo varrimento consecutivo de GPU nos tamanhos de entrada mostrados. Cada célula é o tempo total (pré-processamento + inferência + pós-processamento), com a divisão por estágio abaixo dela; logs nativos confirmaram que ambos os formatos delegaram o grafo completo para o LiteRT OpenCL (LITERT_CL) na GPU Adreno.

A mesma execução de migração também comparou os formatos de quantização de deteção do YOLO26n. A inferência é a métrica comparável e dependente do formato:

Nesta execução, o w8a16 recorreu à CPU a cerca de 660 ms no total, em comparação com cerca de 17 ms para os formatos de GPU. Estes resultados motivaram o envio de w8a32, mas a compatibilidade do delegado e o desempenho dependem do dispositivo e da versão do runtime. Testa o dispositivo de destino e confirma o posicionamento do acelerador nos respetivos logs de runtime.

Opções de implantação no TFLite#

Antes de analisarmos o exemplo de exportação de substituição pelo LiteRT, vamos entender como os modelos TFLite são normalmente usados.

O TFLite oferece várias opções de implantação no dispositivo para modelos de aprendizado de máquina, incluindo:

• Implantando com Android e iOS: Tanto aplicações Android quanto iOS com TFLite podem analisar feeds de câmeras baseadas em borda e sensores para detectar e identificar objetos. O TFLite também oferece bibliotecas nativas para iOS escritas em Swift e Objective-C. O diagrama de arquitetura abaixo mostra o processo de implantação de um modelo treinado em plataformas Android e iOS usando o TensorFlow Lite.

• Implementando com Linux Embarcado: Se a execução de inferências em um Raspberry Pi usando o Guia do Ultralytics não atender aos requisitos de velocidade para o teu caso de uso, podes usar um modelo TFLite exportado para acelerar os tempos de inferência. Além disso, é possível melhorar ainda mais o desempenho utilizando um dispositivo Coral Edge TPU.

• Implantando com microcontroladores: Os modelos TFLite também podem ser implantados em microcontroladores e outros dispositivos com apenas alguns kilobytes de memória. O tempo de execução principal cabe em apenas 16 KB em um Arm Cortex M3 e pode executar muitos modelos básicos. Ele não requer suporte a sistema operacional, bibliotecas C ou C++ padrão ou alocação dinâmica de memória.

Substitua a exportação TFLite por LiteRT#

Para novas exportações, converte o teu modelo para LiteRT. O modelo resultante mantém a extensão de arquivo .tflite.

Instalação#

Para instalar os pacotes necessários, execute:

# Install the required package for YOLO26
pip install ultralytics

Para instruções detalhadas e melhores práticas relacionadas com o processo de instalação, consulta o nosso guia de instalação do Ultralytics. Ao instalar os pacotes necessários para o YOLO26, se encontrares alguma dificuldade, consulta o nosso guia de problemas comuns para obter soluções e dicas.

Uso#

Todos os modelos Ultralytics YOLO26 são projetados para suportar exportação nativamente, facilitando a integração deles no teu fluxo de trabalho de implantação preferido. Podes ver a lista completa de formatos de exportação suportados e opções de configuração para escolher a melhor configuração para a tua aplicação.

O formato LiteRT substituto suporta os modos Export, Predict e Validate. Exporta o teu modelo e, em seguida, carrega o modelo .tflite exportado para executar a inferência ou validar a sua precisão.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to LiteRT format
model.export(format="litert", imgsz=640)  # use imgsz=224 for classification

from ultralytics import YOLO

# Load the exported TFLite model
model = YOLO("yolo26n.tflite")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported TFLite model
model = YOLO("yolo26n.tflite")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Argumentos de Exportação#

Para mais detalhes sobre o processo de exportação, visita a página de documentação do Ultralytics sobre exportação.

Implantando modelos YOLO26 TFLite exportados#

Após exportar o teu modelo Ultralytics YOLO26 para o formato LiteRT, podes implantar o modelo .tflite resultante. O primeiro passo principal e recomendado para executar um modelo TFLite é utilizar o método YOLO("model.tflite"), conforme descrito no trecho de código de uso anterior. No entanto, para instruções detalhadas sobre como implantar os teus modelos TFLite em várias outras configurações, dá uma vista de olhos nos seguintes recursos:

• Android: Um guia de início rápido para integrar o TensorFlow Lite em aplicações Android, fornecendo passos fáceis de seguir para configurar e executar modelos de aprendizagem automática.

• iOS: Consulta este guia detalhado para desenvolvedores sobre como integrar e implantar modelos do TensorFlow Lite em aplicações iOS, oferecendo instruções passo a passo e recursos.

• Exemplos de Ponta a Ponta: Esta página fornece uma visão geral de vários exemplos do TensorFlow Lite, mostrando aplicações práticas e tutoriais criados para ajudar os desenvolvedores a implementar o TensorFlow Lite nos seus projetos de aprendizagem automática em dispositivos móveis e de borda.

Resumo#

Este guia preserva o fluxo de trabalho de implantação legada do TFLite. Para novas exportações, usa o LiteRT para criar modelos .tflite para ambientes de computação de borda.

Para mais detalhes sobre o uso, visita a documentação oficial do TFLite.

Além disso, se tiveres curiosidade sobre outras integrações do Ultralytics YOLO26, consulta a nossa página do guia de integração. Encontrarás muitas informações e percepções úteis lá.

FAQ#