Exportación de modelos YOLO26 a TensorRT#

Implementar modelos de visión artificial en entornos de alto rendimiento puede requerir un formato que maximice la velocidad y la eficiencia. Esto es especialmente importante si implementas el modelo en GPU NVIDIA.

Al usar el formato de exportación TensorRT, puedes optimizar tus modelos Ultralytics YOLO26 para realizar inferencias rápidas y eficientes en hardware NVIDIA. Esta guía te ofrece pasos sencillos para el proceso de conversión y te ayuda a aprovechar al máximo la tecnología avanzada de NVIDIA en tus proyectos de aprendizaje profundo.

TensorRT#

TensorRT, desarrollado por NVIDIA, es un kit de desarrollo de software (SDK) avanzado diseñado para realizar inferencias de aprendizaje profundo a alta velocidad. Es idóneo para aplicaciones en tiempo real, como la detección de objetos.

Este conjunto de herramientas optimiza los modelos de aprendizaje profundo para GPU NVIDIA y permite realizar operaciones más rápidas y eficientes. Los modelos TensorRT se someten a optimización con TensorRT, que incluye técnicas como la fusión de capas, la calibración de precisión (INT8 y FP16), la gestión dinámica de la memoria de tensores y el ajuste automático de kernels. Convertir modelos de aprendizaje profundo al formato TensorRT permite a los desarrolladores aprovechar plenamente el potencial de las GPU NVIDIA.

TensorRT es conocido por su compatibilidad con varios formatos de modelo, como TensorFlow, PyTorch y ONNX, lo que proporciona a los desarrolladores una solución flexible para integrar y optimizar modelos de distintos marcos de trabajo. Esta versatilidad permite una implementación de modelos eficiente en diversos entornos de hardware y software.

Características principales de los modelos TensorRT#

Los modelos TensorRT ofrecen una serie de características clave que contribuyen a su eficiencia y eficacia al realizar inferencias de aprendizaje profundo a alta velocidad:

• Calibración de precisión: TensorRT admite la calibración de precisión, lo que permite ajustar los modelos a requisitos de precisión específicos. Incluye compatibilidad con formatos de precisión reducida como INT8 y FP16, que pueden acelerar aún más la inferencia y mantener unos niveles de precisión aceptables.

• Fusión de capas: El proceso de optimización de TensorRT incluye la fusión de capas, que combina varias capas de una red neuronal en una sola operación. Esto reduce la sobrecarga computacional y mejora la velocidad de inferencia al minimizar los accesos a memoria y los cálculos.

• Gestión dinámica de la memoria de tensores: TensorRT gestiona eficazmente el uso de la memoria de tensores durante la inferencia, reduce la sobrecarga de memoria y optimiza su asignación. Esto permite aprovechar la memoria de la GPU con mayor eficiencia.

• Ajuste automático de kernels: TensorRT ajusta automáticamente los kernels para seleccionar el kernel de GPU más optimizado para cada capa del modelo. Este enfoque adaptativo garantiza que el modelo aproveche al máximo la capacidad de cálculo de la GPU.

Opciones de implementación de TensorRT#

Antes de ver el código para exportar modelos YOLO26 al formato TensorRT, veamos dónde se suelen utilizar los modelos TensorRT.

TensorRT ofrece varias opciones de implementación, cada una con un equilibrio distinto entre facilidad de integración, optimización del rendimiento y flexibilidad:

• Implementación dentro de TensorFlow: Este método integra TensorRT en TensorFlow, lo que permite ejecutar modelos optimizados en un entorno de TensorFlow conocido. Es útil para modelos que combinan capas compatibles y no compatibles, ya que TF-TRT puede gestionarlas de forma eficiente.

• API de ejecución independiente de TensorRT: Ofrece un control detallado y es ideal para aplicaciones en las que el rendimiento es fundamental. Es más compleja, pero permite implementar operadores no compatibles de forma personalizada.

• Servidor de inferencia NVIDIA Triton: Esta opción admite modelos de distintos marcos de trabajo. Es especialmente adecuada para la inferencia en la nube o en dispositivos periféricos y ofrece funciones como la ejecución simultánea de modelos y su análisis.

Tareas compatibles#

La exportación a TensorRT admite las siete tareas de Ultralytics. La segmentación semántica y la estimación de profundidad solo están disponibles con YOLO26, la única familia que incluye esas cabezas.

Exportación de modelos YOLO26 a TensorRT#

Puedes mejorar la eficiencia de ejecución y optimizar el rendimiento convirtiendo los modelos YOLO26 al formato TensorRT.

Instalación#

Para instalar el paquete necesario, ejecuta:

# Install the required package for YOLO26
pip install ultralytics

Para obtener instrucciones detalladas y buenas prácticas sobre el proceso de instalación, consulta nuestra guía de instalación de YOLO26. Si tienes dificultades al instalar los paquetes necesarios para YOLO26, consulta nuestra guía de problemas habituales, donde encontrarás soluciones y consejos.

Uso#

Antes de consultar las instrucciones de uso, echa un vistazo a la gama de modelos YOLO26 que ofrece Ultralytics. Así podrás elegir el modelo más adecuado para los requisitos de tu proyecto.

El formato TensorRT admite los modos Exportar, Predecir y Validar. La inferencia y la validación requieren una GPU NVIDIA. Exporta el modelo y, a continuación, carga el modelo exportado para ejecutar inferencias o validar su precisión.

from ultralytics import YOLO

# Carga un modelo YOLO26
model = YOLO("yolo26n.pt")

# Exporta el modelo al formato TensorRT
model.export(format="engine")  # crea 'yolo26n.engine'

from ultralytics import YOLO

# Carga el modelo exportado a TensorRT
model = YOLO("yolo26n.engine")

# Ejecutar inferencia
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Carga el modelo exportado a TensorRT
model = YOLO("yolo26n.engine")

# Valida la precisión con el conjunto de datos COCO8
metrics = model.val(data="coco8.yaml")

Argumentos de exportación#

Para obtener más información sobre el proceso de exportación, visita la página de documentación de Ultralytics sobre exportación.

Exportación a TensorRT con cuantización INT8#

La exportación de modelos Ultralytics YOLO con TensorRT y precisión INT8 realiza una cuantización posterior al entrenamiento (PTQ). TensorRT utiliza la calibración para PTQ: mide la distribución de activaciones de cada tensor de activación mientras el modelo YOLO realiza inferencias con datos de entrada representativos y, a continuación, utiliza esa distribución para estimar los valores de escala de cada tensor. Cada tensor de activación candidato a la cuantización tiene una escala asociada, que se determina mediante un proceso de calibración. Un punto de control ajustado con quantize=8 mediante entrenamiento con conocimiento de la cuantización ya contiene sus rangos INT8, por lo que la exportación los utiliza y omite la calibración.

Al procesar redes cuantizadas implícitamente, TensorRT utiliza INT8 cuando resulta oportuno para optimizar el tiempo de ejecución de las capas. Si una capa se ejecuta más rápido en INT8 y tiene asignadas escalas de cuantización en sus entradas y salidas de datos, se le asigna un kernel con precisión INT8; de lo contrario, TensorRT selecciona para el kernel una precisión FP32 o FP16, según cuál permita ejecutar esa capa más rápido.

Configuración de la exportación INT8#

Los argumentos que se proporcionan al usar export para un modelo Ultralytics YOLO influirán en gran medida en el rendimiento del modelo exportado. También tendrás que seleccionarlos según los recursos disponibles en el dispositivo, aunque los argumentos predeterminados deberían funcionar en la mayoría de las GPU NVIDIA discretas Ampere (o posteriores). El algoritmo de calibración utilizado es "MINMAX_CALIBRATION" para las exportaciones a GPU, mientras que las exportaciones a DLA en NVIDIA Jetson usan "ENTROPY_CALIBRATION_2". Puedes consultar más información sobre las opciones disponibles en la guía para desarrolladores de TensorRT. Las pruebas de Ultralytics determinaron que "MINMAX_CALIBRATION" era la mejor opción para las exportaciones a GPU; el algoritmo se selecciona automáticamente según el dispositivo de exportación.

• workspace : Controla el tamaño (en GiB) de la asignación de memoria del dispositivo durante la conversión de los pesos del modelo.

  • Ajusta el valor de workspace según tus necesidades de calibración y los recursos disponibles. Aunque un valor mayor de workspace puede aumentar el tiempo de calibración, permite que TensorRT explore un abanico más amplio de estrategias de optimización, lo que puede mejorar el rendimiento y la precisión del modelo. Por el contrario, un valor menor de workspace puede reducir el tiempo de calibración, pero también limitar las estrategias de optimización y afectar a la calidad del modelo cuantizado.

  • El valor predeterminado es workspace=None, que permite a TensorRT asignar memoria automáticamente. Si configuras este valor manualmente, quizá tengas que aumentarlo si la calibración falla (el proceso se cierra sin avisar).

  • Durante la exportación, TensorRT mostrará UNSUPPORTED_STATE si el valor de workspace supera la memoria disponible en el dispositivo; en ese caso, reduce el valor de workspace o establécelo en None.

  • Si workspace está establecido en el valor máximo y la calibración falla o se interrumpe, prueba a usar None para la asignación automática o reduce los valores de imgsz y batch para disminuir los requisitos de memoria.

  • Recuerda que la calibración para INT8 es específica de cada dispositivo; usar una GPU «de gama alta» para calibrar puede dar lugar a un rendimiento deficiente si la inferencia se ejecuta en otro dispositivo.

• batch : El tamaño máximo del lote que se utilizará para la inferencia. Con dynamic=True, se pueden usar lotes más pequeños durante la inferencia, pero no se aceptarán lotes mayores que el tamaño especificado.

A partir de sus experimentos, NVIDIA recomienda usar al menos 500 imágenes de calibración representativas de los datos del modelo para la calibración de cuantización INT8. Se trata de una recomendación, no de un requisito estricto, y tendrás que experimentar para determinar qué se necesita para obtener un buen rendimiento con tu conjunto de datos. Como los datos de calibración son necesarios para la calibración INT8 con TensorRT, asegúrate de usar el argumento data al exportar a TensorRT con quantize=8 un punto de control que no se haya entrenado con quantize=8 (cuantización posterior al entrenamiento), y usa data="my_dataset.yaml", que utilizará las imágenes de validación para la calibración. Los puntos de control entrenados con quantize=8 omiten la calibración, así que no incluyas data. Si no se proporciona ningún valor para data al exportar a TensorRT con cuantización INT8, se utilizará de forma predeterminada uno de los conjuntos de datos de ejemplo «pequeños» según la tarea del modelo en lugar de generar un error.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    quantize=8,
    data="coco.yaml",  # (4)!
)

# Cargar el modelo TensorRT INT8 exportado
model = YOLO("yolo26n.engine", task="detect")

# Ejecutar inferencia
result = model.predict("https://ultralytics.com/images/bus.jpg")

Ventajas de usar YOLO con TensorRT INT8#

• Tamaño reducido del modelo: La cuantización de FP32 a INT8 puede reducir el tamaño del modelo 4 veces (en disco o en memoria), lo que permite descargas más rápidas, reduce los requisitos de almacenamiento y ocupa menos memoria al desplegar un modelo.

• Menor consumo energético: Las operaciones de precisión reducida de los modelos YOLO exportados a INT8 pueden consumir menos energía que los modelos FP32, especialmente en dispositivos alimentados por batería.

• Mayor velocidad de inferencia: TensorRT optimiza el modelo para el hardware de destino, lo que puede acelerar la inferencia en GPU, dispositivos integrados y aceleradores.

Inconvenientes de usar YOLO con TensorRT INT8#

• Descenso de las métricas de evaluación: El uso de una precisión menor implica que mAP, Precision, Recall o cualquier otra métrica utilizada para evaluar el rendimiento del modelo probablemente empeore en cierta medida. Las capas Sigmoid se mantienen a una precisión mayor para conservar la calibración de las puntuaciones, pero INT8 puede seguir desplazando los valores de confianza, así que selecciona el umbral operativo a partir de la propia curva F1 del modelo INT8. Consulta la sección de resultados de rendimiento para comparar las diferencias de mAP50 y mAP50-95 al exportar con INT8 usando una pequeña muestra de distintos dispositivos.

• Aumento del tiempo de desarrollo: Encontrar los ajustes «óptimos» para la calibración INT8 en un conjunto de datos y dispositivo puede requerir muchas pruebas.

• Dependencia del hardware: La calibración y las mejoras de rendimiento pueden depender mucho del hardware, y los pesos del modelo son menos transferibles.

Rendimiento de la exportación de Ultralytics YOLO a TensorRT#

NVIDIA A100#

GPU de consumo#

Dispositivos integrados#

Métodos de evaluación#

Despliega las secciones siguientes para obtener información sobre cómo se exportaron y probaron estos modelos.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=16)

# TensorRT INT8 con calibración `data` (es decir, COCO, ImageNet o DOTAv1 para la tarea del modelo correspondiente)
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=8, data="coco8.yaml"
)

import cv2

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 de la misma imagen
        verbose=False,
        device="cuda",
    )

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet o DOTAv1 para la tarea del modelo correspondiente
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

Despliegue de modelos YOLO26 exportados a TensorRT#

Ahora que has exportado correctamente tus modelos Ultralytics YOLO26 al formato TensorRT, ya puedes desplegarlos. Para consultar instrucciones detalladas sobre cómo desplegar tus modelos TensorRT en distintos entornos, echa un vistazo a estos recursos:

• Desplegar Ultralytics con un servidor Triton: nuestra guía sobre cómo usar NVIDIA Triton Inference Server (antes TensorRT Inference Server) específicamente con modelos Ultralytics YOLO.

• Despliegue de redes neuronales profundas con NVIDIA TensorRT: este artículo explica cómo usar NVIDIA TensorRT para desplegar redes neuronales profundas de forma eficiente en plataformas de despliegue basadas en GPU.

• IA integral para PC con NVIDIA: despliegue de NVIDIA TensorRT: esta entrada del blog explica cómo usar NVIDIA TensorRT para optimizar y desplegar modelos de IA en PC con NVIDIA.

• Repositorio de NVIDIA TensorRT en GitHub: este es el repositorio oficial de GitHub, que contiene el código fuente y la documentación de NVIDIA TensorRT.

Resumen#

En esta guía, nos hemos centrado en convertir modelos Ultralytics YOLO26 al formato de modelo NVIDIA TensorRT. Este paso de conversión es fundamental para mejorar la eficiencia y la velocidad de los modelos YOLO26, y hacerlos más eficaces y adecuados para diversos entornos de despliegue.

Para obtener más información sobre su uso, consulta la documentación oficial de TensorRT.

Si te interesan otras integraciones de Ultralytics YOLO26, nuestra página de la guía de integración ofrece una amplia selección de recursos e información útiles.

Preguntas frecuentes#