Despliegue de Ultralytics YOLO en Luxonis OAK#

Las cámaras Luxonis OAK ejecutan modelos Ultralytics YOLO en el dispositivo tras convertirlos con las herramientas de Luxonis. Este es un flujo de trabajo de despliegue manual; Luxonis no es un destino nativo de model.export(format="...") en Ultralytics.

Esta guía abarca los dispositivos RVC2 y RVC4. Convierte el modelo para la plataforma de tu cámara: los artefactos RVC2 y RVC4 no son intercambiables. Las familias de modelos y las tareas compatibles varían; consulta la matriz de compatibilidad de Luxonis Tools antes de convertir.

Empieza con un punto de control .pt de YOLO compatible, como yolo26n.pt, o con tu propio modelo entrenado. El NN Archive convertido incluye el modelo y los metadatos del entorno de ejecución.

Conversión en la nube con Luxonis Hub#

1. Inicia sesión en Luxonis Hub y abre Quick Conversion.
2. Selecciona YOLO, elige RVC2 o RVC4 y carga tu punto de control .pt.
3. Establece la forma de entrada y los parámetros de conversión; después, inicia la conversión.
4. Cuando termine, copia el identificador del modelo convertido para usarlo en el ejemplo de inferencia que aparece a continuación o descarga su NN Archive.

Para automatizar la conversión o usar datos de calibración RVC4 personalizados, utiliza el HubAI SDK. Sigue las instrucciones de instalación en un entorno Python 3.10 o posterior. Detailed Conversion ofrece gestión del registro y conjuntos de datos de calibración predefinidos.

Conversión local con Tools y ModelConverter#

Usa Python 3.10 o posterior y Docker. Instala Luxonis Tools siguiendo sus instrucciones de configuración originales, incluidas las restricciones de dependencias. Tools prepara las salidas de YOLO para que Luxonis las procese; una exportación ONNX genérica no sustituye este paso.

# Export the checkpoint to an ONNX NN Archive
tools yolo26n.pt --imgsz "640 640" --output-dir output

# Install the target-platform converter
pip install modelconv==0.6.0

Tools escribe yolo26n.tar.xz en un directorio con marca de tiempo dentro de output/. Sustituye la ruta de ejemplo que aparece a continuación por la de ese archivo. Para la conversión RVC4 INT8, añade imágenes representativas del despliegue a calibration_images/; consulta los requisitos de los datos de calibración.

modelconverter convert rvc4 --path output/yolo26n_20260807_104858/yolo26n.tar.xz \
  calibration.path calibration_images/

Para RVC2, usa rvc2 en lugar de rvc4; no se necesitan imágenes de calibración para su conversión FP16. Para la inferencia, usa el NN Archive compilado que se encuentra en el directorio de salida de ModelConverter, no el archivo ONNX intermedio. Consulta ModelConverter para ver las rutas de salida y las opciones específicas de cada plataforma.

Ejecutar inferencias en una cámara OAK#

Conecta una cámara OAK compatible e instala DepthAI en tu entorno Python:

pip install depthai==3.9.0

Para un modelo privado de Hub, establece DEPTHAI_HUB_API_KEY con una clave de API de Luxonis Hub antes de ejecutar el script. Sustituye your-model-identifier por el identificador de Hub o usa la alternativa local del NN Archive compilado.

import depthai as dai

model = "your-model-identifier"
# Como alternativa, usa el artefacto local convertido:
# model = dai.NNArchive("path/to/model.rvc4.tar.xz")

visualizer = dai.RemoteConnection()

with dai.Pipeline() as pipeline:
    camera = pipeline.create(dai.node.Camera).build()
    detection = pipeline.create(dai.node.DetectionNetwork).build(camera, model)

    visualizer.addTopic("rgb", detection.passthrough, group="RGB")
    visualizer.addTopic("detections", detection.out, group="RGB")

    pipeline.start()
    visualizer.registerPipeline(pipeline)

    while pipeline.isRunning():
        if visualizer.waitKey(1) == ord("q"):
            pipeline.stop()

Abre http://localhost:8082 para ver el flujo RGB y las detecciones. DetectionNetwork también admite modelos compatibles de segmentación de instancias y estimación de pose. Para otras tareas, como la segmentación semántica y la clasificación, sigue las instrucciones de inferencia específicas de cada tarea.

Para canalizaciones de profundidad estereoscópica, consulta el ejemplo de detección espacial. Evalúa el modelo en la cámara de destino con la guía de pruebas de rendimiento; el rendimiento depende del modelo, el tamaño de entrada, la precisión y la configuración de la canalización.

Preguntas frecuentes#