Implantação do Luxonis OAK para Ultralytics YOLO#

As câmeras Luxonis OAK executam modelos Ultralytics YOLO no dispositivo após a conversão com as ferramentas Luxonis. Este é um fluxo de implantação manual; Luxonis não é um destino nativo de model.export(format="...") da Ultralytics.

Este guia abrange dispositivos RVC2 e RVC4. Converte para a plataforma da tua câmera: os artefatos RVC2 e RVC4 não são intercambiáveis. As famílias de modelos e tarefas compatíveis variam; consulta a matriz de compatibilidade do Luxonis Tools antes da conversão.

Começa com um checkpoint YOLO .pt compatível, como yolo26n.pt, ou com o teu próprio modelo treinado. O NN Archive convertido reúne o modelo e os metadados do ambiente de execução.

Conversão na nuvem com Luxonis Hub#

1. Inicia sessão no Luxonis Hub e abre Quick Conversion.
2. Seleciona YOLO, escolhe RVC2 ou RVC4 e carrega o checkpoint .pt.
3. Define o formato de entrada e os parâmetros de conversão e, em seguida, envia a solicitação de conversão.
4. Quando a conversão terminar, copia o identificador do modelo convertido para o exemplo de inferência abaixo ou descarrega o NN Archive.

Para conversão automatizada ou dados de calibração RVC4 personalizados, usa o HubAI SDK. Segue as instruções de instalação em um ambiente Python 3.10 ou superior. Detailed Conversion oferece gerenciamento do registro e conjuntos de dados de calibração predefinidos.

Conversão local com Tools e ModelConverter#

Usa Python 3.10 ou superior e Docker. Instala o Luxonis Tools seguindo as instruções de configuração do projeto original, incluindo as restrições de dependências. O Tools prepara as saídas YOLO para análise pelo Luxonis; uma exportação ONNX genérica não substitui esta etapa.

# Export the checkpoint to an ONNX NN Archive
tools yolo26n.pt --imgsz "640 640" --output-dir output

# Install the target-platform converter
pip install modelconv==0.6.0

O Tools grava yolo26n.tar.xz em um diretório com registro de data e hora dentro de output/. Substitui o caminho de exemplo abaixo pelo caminho desse arquivo. Para conversão RVC4 INT8, adiciona imagens representativas da implantação a calibration_images/; consulta os requisitos dos dados de calibração.

modelconverter convert rvc4 --path output/yolo26n_20260807_104858/yolo26n.tar.xz \
  calibration.path calibration_images/

Para RVC2, usa rvc2 em vez de rvc4; não são necessárias imagens de calibração para a conversão FP16. Para inferência, usa o NN Archive compilado resultante do diretório de saída do ModelConverter, em vez do arquivo ONNX intermediário. Consulta ModelConverter para ver os caminhos de saída e as opções específicas de cada plataforma.

Executar inferência em uma câmera OAK#

Conecta uma câmera OAK compatível e instala DepthAI no teu ambiente Python:

pip install depthai==3.9.0

Para um modelo privado do Hub, define DEPTHAI_HUB_API_KEY com uma chave de API do Luxonis Hub antes de executar o script. Substitui your-model-identifier pelo identificador do Hub ou usa a alternativa local do NN Archive compilado.

import depthai as dai

model = "your-model-identifier"
# Como alternativa, usa o artefato local convertido:
# model = dai.NNArchive("path/to/model.rvc4.tar.xz")

visualizer = dai.RemoteConnection()

with dai.Pipeline() as pipeline:
    camera = pipeline.create(dai.node.Camera).build()
    detection = pipeline.create(dai.node.DetectionNetwork).build(camera, model)

    visualizer.addTopic("rgb", detection.passthrough, group="RGB")
    visualizer.addTopic("detections", detection.out, group="RGB")

    pipeline.start()
    visualizer.registerPipeline(pipeline)

    while pipeline.isRunning():
        if visualizer.waitKey(1) == ord("q"):
            pipeline.stop()

Abre http://localhost:8082 para ver o fluxo RGB e as detecções. DetectionNetwork também é compatível com modelos de segmentação de instâncias e pose compatíveis. Para outras tarefas, incluindo segmentação semântica e classificação, segue as orientações de inferência específicas da tarefa.

Para pipelines de profundidade estéreo, consulta o exemplo de detecção espacial. Avalia o modelo na câmera de destino seguindo o guia de benchmarking; a taxa de transferência depende do modelo, do tamanho da entrada, da precisão e da configuração do pipeline.

Perguntas frequentes#