Exportação Ambarella CVflow para Modelos Ultralytics YOLO#

Implantar modelos do Ultralytics YOLO em SoCs da Ambarella requer um formato de modelo otimizado para o motor de IA CVflow®. Esta bifurcação do Ultralytics integra o kit de ferramentas de compactação SpongeTorch da Ambarella diretamente no pipeline de treino, validação e exportação, para que possas produzir modelos podados e otimizados por quantização que executam eficientemente no hardware da Ambarella. Este guia descreve o fluxo de trabalho atual de detecção de objetos: treino ciente da compactação, exportação ONNX, compilação com o conjunto de ferramentas CVflow e inferência com o modelo AmbaPB compilado.

O que é o Ambarella CVflow?#

A Ambarella é uma empresa de semicondutores sediada em Santa Clara, conhecida pelos seus SoCs de visão de IA de baixo consumo, amplamente utilizados em câmeras de segurança IP, câmeras de painel, drones, robótica e sistemas automotivos. Os seus chips são construídos em torno do CVflow®, uma arquitetura de processamento vetorial neural dedicada (o acelerador de IA no chip, ou NPU) que entrega alta taxa de transferência de inferência com consumo de energia muito baixo — o CV72S executa cargas de trabalho de IA de câmera de segurança 4K abaixo de 3 W. Modelos treinados em frameworks padrão como PyTorch são compilados para o formato nativo do CVflow com o conjunto de ferramentas offline da Ambarella antes da implantação.

Famílias de SoC CVflow atuais e as suas aplicações típicas:

Porquê implantar YOLO na Ambarella?#

• Desempenho por watt: Os SoCs CVflow são projetados para IA de borda sempre ativa, executando detecção de objetos em tempo real dentro de limites de energia de nível de câmera.
• Treino ciente da compactação: O SpongeTorch aplica otimização ciente de poda e quantização durante o treino, para que o modelo aprenda a permanecer preciso enquanto se torna amigável à NPU.
• Validação de host bit a bit exata: o modelo AmbaPB compilado é executado através do Ultralytics predict/val na tua estação de trabalho exatamente como será executado no chip, para que possas medir o mAP quantizado antes de tocar no hardware.
• Pipeline de câmara integrado: Os SoCs da Ambarella combinam o motor de IA com um ISP e codificadores de vídeo, tornando-os uma solução de chip único para câmaras com IA.

Visão geral do fluxo de trabalho#

O pipeline tem quatro estágios:

1. Treino ciente da compactação — treina com uma configuração do SpongeKit (amba_config) para que o SpongeTorch aplique poda/quantização progressivamente durante o treino.
2. Exportação ONNX — exporta o ponto de verificação compactado com o mesmo amba_config, preservando a estrutura de compactação no grafo ONNX.
3. Compilação CVflow — compila o modelo ONNX para um artefacto AmbaPB com o conjunto de ferramentas CVflow.
4. Inferência e validação — executa o modelo *.ambapb.ckpt.onnx compilado através do Ultralytics predict/val via backend AmbaPB, e depois implanta na placa.

O treino do SpongeTorch e a exportação ciente do SpongeTorch podem ser substituídos por uma exportação ONNX simples se não precisares das otimizações de tempo de treino do SpongeTorch (consulta Exportando Sem SpongeTorch).

Pré-requisitos#

Instalação#

Instala esta bifurcação do Ultralytics e, em seguida, instala os wheels do conjunto de ferramentas da Ambarella a partir da distribuição do SDK:

!!! Tip "Instalação"

# Install this Ultralytics fork from source
git clone https://github.com/Ambarella-Inc/ultralytics
cd ultralytics
git checkout amba_v8.4.46
pip install -e .

# Install Ambarella toolchain wheels from the SDK
pip install /path/to/spongetorch-*.whl
pip install /path/to/cvflowbackend-*.whl

O backend de inferência AmbaPB localiza cvflowbackend através do comando tv2 do conjunto de ferramentas CVflow (tv2 -libpath cvflowbackend), portanto o conjunto de ferramentas deve estar instalado e no teu PATH antes de executar a inferência ou validação com modelos compilados.

Ficheiro de configuração do SpongeKit#

O SpongeTorch é impulsionado por um arquivo de configuração do SpongeKit (formato protobuf-text, .prototxt) que define as passagens de compactação a serem aplicadas: metas de esparridade de poda, configurações de quantização e o cronograma de compactação. Obtém configurações de exemplo e a documentação de esquema correspondente no lançamento do teu SDK da Ambarella. Usa a configuração de treino sempre que a validação precisar preparar um modelo não preparado, e usa sempre a mesma configuração ao exportar um ponto de verificação compactado.

Argumentos Amba#

Dois argumentos controlam a integração do SpongeTorch nos modos train, val e export:

O fork também adiciona um argumento de exportação geral:

Treino ciente da compressão#

Treina (ou ajusta) o teu modelo com a compressão SpongeTorch ativada:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.train(
    data="coco8.yaml",
    epochs=100,
    amba_config="config.prototxt",
    amba_chipset="CV72",
)

Quando amba_config está definido, o treinador envolve o modelo e o otimizador com spongetorch.prepare() na configuração. A compactação é aplicada progressivamente em um cronograma de etapas, para que a rede aprenda a permanecer precisa enquanto se torna esparsa e amigável à quantização. O ponto de verificação treinado armazena o estado esparso do SpongeTorch (tensores _orig/_mask), que a etapa de exportação exige posteriormente. O arquivo de configuração é copiado para o diretório de execução como amba_config.prototxt para reprodutibilidade.

Validar o checkpoint comprimido#

Valida a precisão antes de compilar, utilizando a mesma configuração:

yolo val model=runs/detect/train/weights/best.pt data=coco8.yaml \
  amba_config=config.prototxt amba_chipset=CV72

O validador reaplica spongetorch.prepare() quando necessário e desativa a fusão Conv+BN para que a estrutura de compactação seja preservada. Compara o mAP com a tua linha de base não compactada; se a queda de precisão for muito grande, ajusta a configuração do SpongeKit e retreina.

Exportar para ONNX#

Exporta o ponto de verificação compactado com o mesmo amba_config usado no treino:

from ultralytics import YOLO

model = YOLO("runs/detect/train/weights/best.pt")
model.export(
    format="onnx",
    amba_config="config.prototxt",
    amba_chipset="CV72",
)

O exportador recompõe o modelo, reaplica spongetorch.prepare() com a tua configuração, recarrega os pesos do ponto de verificação esparso na estrutura preparada e traça para ONNX com a fusão Conv+BN desativada — produzindo um grafo na forma exata que o compilador CVflow espera.

Preservar metadados do modelo#

A exportação ONNX incorpora a tarefa do modelo, nomes das classes, passo (stride) e tamanho da entrada no arquivo ONNX, enquanto o backend AmbaPB lê essas informações de um arquivo auxiliar metadata.yaml próximo ao modelo compilado. A menos que o teu compilador CVflow crie este arquivo auxiliar, extraia-o do modelo ONNX antes da compilação:

import onnx

from ultralytics.utils import YAML

model = onnx.load("model.onnx")
YAML.save("metadata.yaml", {item.key: item.value for item in model.metadata_props})

Mantém metadata.yaml no mesmo diretório que o arquivo *.ambapb.ckpt.onnx ou *.ambapb.fastckpt.onnx compilado.

Compilar com o conjunto de ferramentas CVflow#

Compila o modelo ONNX exportado para o teu chipset alvo utilizando o compilador CVflow do SDK, seguindo o guia de compilação do SDK. O compilador mapeia o grafo para o motor de IA CVflow (quantização, agendamento, planeamento de memória) e produz o artefacto AmbaPB implantável.

Executar inferência com o modelo compilado#

O modelo AmbaPB compilado é carregado diretamente através da API do Ultralytics — o AutoBackend detecta o sufixo .ambapb e encaminha a inferência através de cvflowbackend, executando o modelo de forma bit a bit exata como será executado no motor de IA:

from ultralytics import YOLO

model = YOLO("model.ambapb.ckpt.onnx")

# Inference
results = model("https://ultralytics.com/images/bus.jpg")

# Validation
metrics = model.val(data="coco8.yaml")

Esta é a verificação final de precisão antes da implantação no hardware, incluindo todos os efeitos de quantização do compilador. Se um arquivo metadata.yaml estiver próximo ao modelo compilado, o backend lê os nomes das classes, o passo e as informações da tarefa a partir dele. O backend usa o modo de inferência CVflow acinf por padrão; define a variável de ambiente ULTRALYTICS_AMBAPB_DEBUG=1 para registrar detalhes de entrada/saída para depuração.

Implantar na placa#

Carrega o modelo compilado no teu dispositivo Ambarella usando o tempo de execução do SDK da Ambarella. O pré-processamento e o pós-processamento devem corresponder ao que o modelo de detecção foi compilado para: entrada RGB com margens (letterbox) no intervalo 0–255 (o backend Ultralytics AmbaPB alimenta o modelo compilado com RGB 0–255), e decodificação de detecção YOLO padrão nas saídas. Consulta a documentação de implantação do SDK para APIs de tempo de execução.

Exportar sem SpongeTorch#

Se não precisares das otimizações de poda e quantização cientes do treino do SpongeTorch, o pipeline Ultralytics padrão também produz um modelo compilável por CVflow:

yolo export model=yolo26n.pt format=onnx

Compila o ONNX resultante com o conjunto de ferramentas CVflow, que realiza a quantização pós-treino por conta própria. Este caminho troca parte do desempenho da NPU e da precisão quantizada por um fluxo de trabalho mais simples, sem nenhuma dependência de spongetorch no momento do treino.

Aplicações do Mundo Real#

Os modelos Ultralytics YOLO em SoCs Ambarella CVflow alimentam visão sempre ativa na edge:

• Câmaras de segurança com IA: detecção de pessoas e veículos em tempo real em câmaras IP 4K dentro de um orçamento de energia abaixo de 3 W.
• Drones e robótica: detecção e rastreamento de objetos a bordo para navegação, inspeção e entrega em chips da classe CV5.
• Automotivo: cargas de trabalho de percepção ADAS como detecção de peões e veículos em controladores de domínio CV3-AD.
• Análise industrial e retalhista: contagem de pessoas multi-stream, detecção de EPI e monitorização de prateleiras em aparelhos de edge.

Resumo#

Este guia de prévia delineou o fluxo de trabalho atual para implantar modelos Ultralytics YOLO em SoCs Ambarella CVflow: treino ciente da compactação com SpongeTorch (amba_config/amba_chipset), exportação ONNX do ponto de verificação compactado, compilação offline para AmbaPB com o conjunto de ferramentas CVflow e validação bit a bit exata do modelo compilado através do Ultralytics antes da implantação na placa.

Para outros destinos de IA de borda, consulta os guias relacionados de Hailo, Rockchip RKNN, Sony IMX500, Qualcomm QNN, DEEPX e Axelera. Para a lista completa de formatos de exportação, visita a documentação do Modo de exportação e a página de integrações.

FAQ#