Экспорт в TensorRT для моделей YOLO26#

Развертывание моделей computer vision в высокопроизводительных средах может потребовать формата, который максимизирует скорость и эффективность. Это особенно актуально при развертывании модели на GPU от NVIDIA.

Используя формат экспорта TensorRT, ты можешь улучшить свои модели Ultralytics YOLO26 для быстрого и эффективного инференса на оборудовании NVIDIA. Это руководство предоставит тебе простые пошаговые инструкции по процессу конвертации и поможет максимально эффективно использовать передовые технологии NVIDIA в твоих проектах deep learning.

TensorRT#

TensorRT, разработанный NVIDIA, представляет собой передовой комплект средств разработки программного обеспечения (SDK), предназначенный для высокоскоростного инференса глубокого обучения. Он отлично подходит для приложений реального времени, таких как object detection.

Этот инструментарий оптимизирует модели глубокого обучения для GPU NVIDIA, что обеспечивает более быструю и эффективную работу. Модели TensorRT проходят оптимизацию TensorRT, которая включает такие методы, как слияние слоев (layer fusion), калибровка точности (INT8 и FP16), динамическое управление памятью тензоров и автонастройка ядер (kernel auto-tuning). Преобразование моделей глубокого обучения в формат TensorRT позволяет разработчикам полностью раскрыть потенциал GPU NVIDIA.

TensorRT известен своей совместимостью с различными форматами моделей, включая TensorFlow, PyTorch и ONNX, предоставляя разработчикам гибкое решение для интеграции и оптимизации моделей из разных фреймворков. Эта универсальность обеспечивает эффективное model deployment в разнообразных аппаратных и программных средах.

Ключевые особенности моделей TensorRT#

Модели TensorRT предлагают ряд ключевых особенностей, которые способствуют их эффективности и результативности при высокоскоростном выводе глубокого обучения:

• Калибровка точности: TensorRT поддерживает калибровку точности, позволяя тонко настраивать модели под конкретные требования к точности. Сюда входит поддержка форматов с пониженной точностью, таких как INT8 и FP16, что может дополнительно увеличить скорость вывода при сохранении приемлемого уровня точности.

• Слияние слоев (Layer Fusion): Процесс оптимизации TensorRT включает слияние слоев, при котором несколько слоев neural network объединяются в одну операцию. Это снижает вычислительные затраты и увеличивает скорость инференса за счет минимизации обращений к памяти и вычислений.

• Динамическое управление памятью тензоров: TensorRT эффективно управляет использованием памяти тензоров во время вывода, уменьшая накладные расходы памяти и оптимизируя ее выделение. Это приводит к более эффективному использованию видеопамяти GPU.

• Автоматическая настройка ядер (Automatic Kernel Tuning): TensorRT применяет автоматическую настройку ядер для выбора наиболее оптимизированного ядра GPU для каждого слоя модели. Этот адаптивный подход гарантирует, что модель максимально эффективно использует вычислительную мощность GPU.

Варианты развертывания в TensorRT#

Прежде чем мы рассмотрим код для экспорта моделей YOLO26 в формат TensorRT, давай разберемся, где обычно используются модели TensorRT.

TensorRT предлагает несколько вариантов развертывания, и каждый из них по-своему балансирует между простотой интеграции, оптимизацией производительности и гибкостью:

• Развертывание в среде TensorFlow: Этот метод интегрирует TensorRT в TensorFlow, позволяя запускать оптимизированные модели в привычной среде TensorFlow. Он полезен для моделей с набором поддерживаемых и неподдерживаемых слоев, так как TF-TRT может эффективно справляться с ними.

• Автономный API среды выполнения TensorRT (Standalone TensorRT Runtime API): Предлагает гранулярный контроль, идеально подходит для критически важных для производительности приложений. Это более сложный путь, но он позволяет реализовать нестандартные операторы.

• NVIDIA Triton Inference Server: Вариант, поддерживающий модели из различных фреймворков. Особенно подходит для облачного вывода или вывода на периферии (edge), предоставляя такие функции, как параллельное выполнение моделей и их анализ.

Поддерживаемые задачи#

Экспорт в TensorRT поддерживает все семь задач Ultralytics. Семантическая сегментация и оценка глубины доступны только в YOLO26, единственном семействе, в котором поставляются эти «головы».

Экспорт моделей YOLO26 в TensorRT#

Ты можешь повысить эффективность выполнения и оптимизировать производительность, преобразовав модели YOLO26 в формат TensorRT.

Установка#

Чтобы установить необходимый пакет, выполни:

# Install the required package for YOLO26
pip install ultralytics

Для получения подробных инструкций и лучших практик, связанных с процессом установки, ознакомься с нашим руководством по установке YOLO26. Если при установке необходимых пакетов для YOLO26 ты столкнешься с какими-либо трудностями, обратись к нашему руководству по общим проблемам за решениями и советами.

Использование#

Прежде чем погружаться в инструкции по использованию, обязательно ознакомься с ассортиментом моделей YOLO26, предлагаемых Ultralytics. Это поможет тебе выбрать наиболее подходящую модель под требования твоего проекта.

Формат TensorRT поддерживает режимы Export, Predict и Validate. Для инференса и валидации требуется GPU от NVIDIA. Экспортируй свою модель, а затем загрузи ее, чтобы запустить инференс или проверить ее точность.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT format
model.export(format="engine")  # creates 'yolo26n.engine'

from ultralytics import YOLO

# Load the exported TensorRT model
model = YOLO("yolo26n.engine")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported TensorRT model
model = YOLO("yolo26n.engine")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Аргументы экспорта#

Дополнительную информацию о процессе экспорта см. на странице документации Ultralytics по экспорту.

Экспорт TensorRT с квантованием INT8#

Экспорт моделей Ultralytics YOLO с использованием TensorRT с precisoin INT8 выполняет квантование после обучения (PTQ). TensorRT использует калибровку для PTQ, которая измеряет распределение активаций внутри каждого тензора активации по мере того, как модель YOLO обрабатывает инференс на репрезентативных входных данных, а затем использует это распределение для оценки значений масштаба для каждого тензора. Каждый тензор активации, являющийся кандидатом на квантование, имеет связанный масштаб, который вычисляется в процессе калибровки.

При обработке неявно квантованных сетей TensorRT оппортунистически использует INT8 для оптимизации времени выполнения слоев. Если слой работает быстрее в INT8 и имеет назначенные шкалы квантования на своих входных и выходных данных, то для этого слоя назначается ядро с точностью INT8, в противном случае TensorRT выбирает для ядра точность FP32 или FP16, основываясь на том, что дает меньшее время выполнения для этого слоя.

Настройка экспорта INT8#

Аргументы, предоставляемые при использовании export для модели Ultralytics YOLO, сильно влияют на производительность экспортированной модели. Их также необходимо выбирать на основе доступных ресурсов устройства, однако аргументы по умолчанию должны работать для большинства дискретных GPU NVIDIA Ampere (или новее). Используемый алгоритм калибровки — "MINMAX_CALIBRATION" для экспорта на GPU, в то время как при экспорте на DLA для NVIDIA Jetson используется "ENTROPY_CALIBRATION_2". Ты можешь прочитать более подробную информацию о доступных опциях в Руководстве разработчика TensorRT. Тесты Ultralytics показали, что "MINMAX_CALIBRATION" является лучшим выбором для экспорта на GPU, и алгоритм выбирается автоматически в зависимости от устройства экспорта.

• workspace : Управляет размером (в ГиБ) выделяемой памяти устройства при конвертации весов модели.

  • Настрой значение workspace в соответствии со своими потребностями в калибровке и доступными ресурсами. Хотя большее значение workspace может увеличить время калибровки, оно позволяет TensorRT исследовать более широкий спектр стратегий оптимизации, потенциально повышая производительность и accuracy модели. И наоборот, меньшее значение workspace может сократить время калибровки, но ограничить стратегии оптимизации, влияя на качество квантованной модели.

  • Значением по умолчанию является workspace=None, что позволяет TensorRT автоматически выделять память; при ручной настройке это значение может потребоваться увеличить, если калибровка завершается сбоем (выходит без предупреждения).

  • TensorRT выдаст UNSUPPORTED_STATE во время экспорта, если значение для workspace превышает объем памяти, доступный устройству, что означает, что значение для workspace должно быть уменьшено или установлено в None.

  • Если workspace установлено в максимальное значение и калибровка не удается/завершается с ошибкой, попробуй использовать None для автораспределения или уменьшить значения imgsz и batch, чтобы снизить требования к памяти.

  • Помни, что калибровка для INT8 специфична для каждого устройства; заимствование "топового" GPU для калибровки может привести к низкой производительности при запуске вывода на другом устройстве.

• batch : Максимальный размер батча, который будет использоваться для инференса. Во время инференса можно использовать меньшие батчи, но инференс не будет принимать батчи больше указанного.

Эксперименты NVIDIA привели к рекомендации использовать не менее 500 калибровочных изображений, которые репрезентативны для данных твоей модели, при калибровке квантования INT8. Это рекомендация, а не жесткое требование, и тебе нужно будет поэкспериментировать с тем, что требуется для хорошей работы на твоем датасете. Поскольку калибровочные данные необходимы для калибровки INT8 с помощью TensorRT, обязательно используй аргумент data, когда quantize=8 для TensorRT, и используй data="my_dataset.yaml", который будет использовать изображения из validation для калибровки. Если при экспорте в TensorRT с квантованием INT8 для data не передано никакого значения, по умолчанию будет использоваться один из «маленьких» примеров датасетов на основе задачи модели вместо вызова ошибки.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    quantize=8,
    data="coco.yaml",  # (4)!
)

# Load the exported TensorRT INT8 model
model = YOLO("yolo26n.engine", task="detect")

# Run inference
result = model.predict("https://ultralytics.com/images/bus.jpg")

Преимущества использования YOLO с TensorRT INT8#

• Уменьшенный размер модели: Квантование из FP32 в INT8 может уменьшить размер модели в 4 раза (на диске или в памяти), что приводит к более быстрой загрузке, меньшим требованиям к хранилищу и снижению использования памяти при развертывании модели.

• Сниженное энергопотребление: Операции с пониженной точностью для экспортированных моделей YOLO INT8 могут потреблять меньше энергии по сравнению с моделями FP32, что особенно актуально для устройств с питанием от батареи.

• Улучшенная скорость вывода: TensorRT оптимизирует модель под целевое оборудование, что потенциально ведет к более высокой скорости вывода на GPU, встроенных устройствах и ускорителях.

Недостатки использования YOLO с TensorRT INT8#

• Снижение метрик оценки: Использование более низкой точности означает, что mAP, Precision, Recall или любая другая метрика, используемая для оценки производительности модели, скорее всего, окажутся несколько хуже. Сигмоидные слои сохраняются с более высокой точностью для поддержания калибровки оценок, но INT8 все же может смещать значения уверенности, поэтому выбирай рабочий порог по собственной F1-кривой модели INT8. См. раздел результатов производительности, чтобы сравнить различия в mAP50 и mAP50-95 при экспорте с INT8 на небольшой выборке различных устройств.

• Увеличенное время разработки: Поиск "оптимальных" настроек для калибровки INT8 для набора данных и устройства может потребовать значительного объема тестирования.

• Аппаратная зависимость: Калибровка и прирост производительности могут сильно зависеть от оборудования, а веса моделей менее переносимы.

Производительность экспорта Ultralytics YOLO в TensorRT#

NVIDIA A100#

Потребительские GPU#

Встраиваемые устройства#

Методы оценки#

Разверни разделы ниже для получения информации о том, как эти модели были экспортированы и протестированы.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=16)

# TensorRT INT8 with calibration `data` (i.e. COCO, ImageNet, or DOTAv1 for appropriate model task)
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=8, data="coco8.yaml"
)

import cv2

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 of the same image
        verbose=False,
        device="cuda",
    )

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet, or DOTAv1 for appropriate model task
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

Развертывание экспортированных моделей YOLO26 TensorRT#

Успешно экспортировав свои модели Ultralytics YOLO26 в формат TensorRT, ты готов к их развертыванию. Для получения подробных инструкций по развертыванию твоих моделей TensorRT в различных окружениях, изучи следующие ресурсы:

• Развертывание Ultralytics с помощью сервера Triton Server: Наше руководство по использованию сервера Triton Inference Server от NVIDIA (ранее TensorRT Inference Server) специально для работы с моделями Ultralytics YOLO.

• Развертывание глубоких нейронных сетей с помощью NVIDIA TensorRT: В этой статье объясняется, как эффективно использовать NVIDIA TensorRT для развертывания глубоких нейронных сетей на платформах развертывания на базе GPU.

• Сквозной ИИ для ПК на базе NVIDIA: Развертывание с помощью NVIDIA TensorRT: В этой записи блога объясняется использование NVIDIA TensorRT для оптимизации и развертывания моделей ИИ на ПК на базе NVIDIA.

• Репозиторий GitHub для NVIDIA TensorRT:: Это официальный репозиторий GitHub, содержащий исходный код и документацию для NVIDIA TensorRT.

Резюме#

В этом руководстве мы сосредоточились на конвертации моделей Ultralytics YOLO26 в формат моделей NVIDIA TensorRT. Этот этап конвертации критически важен для повышения эффективности и скорости работы моделей YOLO26, делая их более производительными и подходящими для различных сред развертывания.

Для получения дополнительной информации об использовании загляни в официальную документацию TensorRT.

Если тебе интересны другие интеграции Ultralytics YOLO26, на нашей странице руководства по интеграции представлен широкий выбор полезных ресурсов и сведений.

FAQ#