Exportação e implementação com Axelera AI#

A Ultralytics estabelece parcerias com a Axelera AI para permitir inferência de alto desempenho e eficiência energética em dispositivos de IA de borda. Exporta e implementa modelos Ultralytics YOLO diretamente na AIPU Metis® com o Voyager SDK.

A Axelera AI oferece aceleração de hardware dedicada para visão computacional na borda, usando uma arquitetura proprietária de fluxo de dados e computação em memória para fornecer até 856 TOPS com baixo consumo de energia.

Escolher o hardware certo#

A Axelera AI oferece vários formatos para atender a diferentes restrições de implementação. O gráfico abaixo ajuda a identificar o hardware ideal para a tua implementação do Ultralytics YOLO.

Portefólio de hardware#

A linha de hardware da Axelera está otimizada para executar Ultralytics YOLO26 e versões anteriores com alta eficiência de FPS por watt.

Placas aceleradoras#

Estas placas permitem acelerar a IA em dispositivos host existentes, facilitando implementações em instalações existentes.

Sistemas integrados#

Para soluções prontas a utilizar, a Axelera estabelece parcerias com fabricantes para fornecer sistemas previamente validados para a AIPU Metis.

• Placa de computação Metis: dispositivo de borda autónomo que combina a AIPU Metis com uma CPU ARM Rockchip RK3588.
• Estações de trabalho: torres empresariais da Dell (Precision 3460XE) e da Lenovo (ThinkStation P360 Ultra).
• PCs industriais: sistemas robustos da Advantech e da Aetina, concebidos para a automação industrial.

Tarefas suportadas#

A exportação para Axelera é compatível com todas as sete tarefas da Ultralytics. A segmentação semântica e a estimativa de profundidade estão disponíveis apenas com YOLO26, a única família que inclui essas cabeças.

Por padrão, os modelos YOLO26 de detecção, segmentação de instâncias, pose e OBB exportam sua cabeça um-para-um sem NMS, e o runtime da Axelera a decodifica no host. Passar nms=True exporta a cabeça um-para-muitos, que tem pontuação inferior no Metis: a detecção YOLO26n alcança mAP50-95 de 0.212 no COCO128 dessa forma, contra 0.453 com a cabeça sem NMS.

Instalação#

Instalação da Ultralytics#

pip install ultralytics

Para instruções detalhadas, consulta o nosso guia de instalação da Ultralytics. Se tiveres dificuldades, consulta o nosso guia de problemas comuns.

Instalação do controlador Axelera#

1. Adiciona a chave do repositório Axelera:

   sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

2. Adiciona o repositório ao apt:

   Escolhe o fragmento apropriado abaixo, de acordo com o sistema operativo utilizado.

   # Ubuntu 22.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

   # Ubuntu 24.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu24 main' > /etc/apt/sources.list.d/axelera.list"

3. Instala o driver e carrega-o. O SDK 1.9 requer metis-dkms 1.7.0 ou mais recente; por isso, a versão mais recente é instalada aqui:

   sudo apt update
   sudo apt install -y metis-dkms
   sudo modprobe metis

[libaxldev.c:285] Found kernel driver version 1.6.2, but at least version 1.7.0 is required. Please update the kernel driver
ERROR: AXR_ERROR_CONNECTION_ERROR: Failed to open device metis-0:4:0

sudo apt update
sudo apt install -y metis-dkms
sudo rmmod metis
sudo modprobe metis

pip install axelera-devkit==1.9.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple
pip install axelera-rt==1.9.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple

Error: Unsupported model version: 4.0, expected at least 5.0
Please re-deploy or re-download the model.

Exportar modelos YOLO para Axelera#

O formato Axelera suporta os modos Exportar, Prever e Validar. A inferência e a validação são executadas no hardware AIPU Metis da Axelera. Exporta o teu modelo e, em seguida, carrega o modelo exportado para executar a inferência ou validar a respetiva precisão.

from ultralytics import YOLO

# Carrega um modelo YOLO26
model = YOLO("yolo26n.pt")

# Exportar o modelo para o formato Axelera
model.export(format="axelera")  # creates 'yolo26n_axelera_model'

from ultralytics import YOLO

# Carregar o modelo Axelera exportado
model = YOLO("yolo26n_axelera_model")

# Executar inferência
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Carregar o modelo Axelera exportado
model = YOLO("yolo26n_axelera_model")

# Validar a precisão no conjunto de dados COCO8
metrics = model.val(data="coco8.yaml")

Argumentos de exportação#

* Os modelos são compilados para uma única imagem, por isso a exportação batch define apenas o tamanho do lote de calibração. Em vez disso, passa batch para predict para enviar várias imagens de uma só vez ao escalonador da Axelera (Voyager SDK 1.8.0 ou mais recente): consulta Desempenho máximo.

Para consultar todas as opções de exportação, vê a documentação do modo Exportar.

Estrutura de saída#

yolo26n_axelera_model/
├── yolo26n.axm                  # Axelera model file
├── compiler_config_final.toml  # Compiler configuration used for the build
└── metadata.yaml               # Model metadata (classes, image size, etc.)

Benchmarks da Axelera AI#

A AIPU Metis maximiza a capacidade de processamento e minimiza o consumo de energia.

Benchmarks baseados em dados da Axelera AI. O FPS real depende do tamanho do modelo, do agrupamento em lotes e da resolução de entrada.

Estes são valores de capacidade de processamento do host, medidos pelo zoo de modelos com o pipeline de streaming do Voyager SDK sobre um ficheiro de vídeo de 720p. Uma única chamada predict indica a latência por imagem, que é uma medida diferente.

Aplicações no mundo real#

O Ultralytics YOLO em hardware Axelera possibilita soluções avançadas de computação de borda:

• Retalho inteligente: Contagem de objetos e análise de mapas de calor em tempo real para otimizar lojas.
• Segurança industrial: Deteção de EPI com baixa latência em ambientes de produção.
• Análise com drones: Deteção de objetos a alta velocidade em UAVs para agricultura e operações de busca e salvamento.
• Sistemas de trânsito: Reconhecimento de matrículas e estimativa de velocidade na borda.

Fluxo de trabalho recomendado#

1. Treina o teu modelo com o Modo de Treino da Ultralytics
2. Exporta para o formato Axelera com model.export(format="axelera")
3. Valida a precisão com yolo val para verificar se a perda de quantização é mínima
4. Faz previsões com yolo predict para validação qualitativa
5. Implementa um pipeline de ponta a ponta de alto desempenho sem dependência do PyTorch — consulta os exemplos do YOLO no Voyager SDK para ver pipelines Python compostos com axelera-rt

Verificação do estado do dispositivo#

Verifica se o teu dispositivo Axelera está a funcionar corretamente:

# if axdevice cannot be found, please run at least one inference (see above) to ensure the required packages are installed
axdevice

Para obter diagnósticos detalhados, consulta a documentação do AxDevice.

Desempenho máximo#

Os modelos são compilados para uma única imagem, e uma única imagem é executada num núcleo AIPU. Passar várias imagens para Predict envia-as juntas ao escalonador da Axelera, que as distribui pelos núcleos do dispositivo:

yolo predict model=yolo26n_axelera_model source=path/to/images batch=32

yolo26n em imgsz=640 nas 128 imagens do COCO128 num diretório, Metis PCIe, mediana de três execuções:

No SDK 1.9, é o lote que aumenta a taxa de processamento, 2,7 vezes em batch=32, enquanto a versão 1.8 se mantém perto de 40 img/s com qualquer tamanho de lote. Usa um lote grande para maximizar a taxa de processamento offline e batch=1 quando a latência por imagem for importante. Um segundo dispositivo acrescenta pouco a predict: em batch=32, cada imagem já passa cerca de 4 ms no pré-processamento no host, o mesmo tempo que passa no dispositivo.

Além de predict#

Para produção que exige capacidade de processamento máxima, o Axelera Voyager SDK oferece:

• Pipelines de inferência em streaming que mantêm vários fotogramas em processamento
• Compilação de um modelo em vários núcleos
• Inferência em mosaicos para câmaras de maior resolução

Esses caminhos ignoram o pré-processamento e o pós-processamento PyTorch que predict executa no host. Consulta o zoológico de modelos para ver os benchmarks de FPS ou contacta a Axelera para obter suporte à produção.

Problemas conhecidos#

Para obter suporte, visita a comunidade Axelera.

Perguntas frequentes#