Экспорт моделей YOLO26 в TensorRT#

Для развёртывания моделей компьютерного зрения в высокопроизводительных средах может потребоваться формат, обеспечивающий максимальные скорость и эффективность. Это особенно важно при развёртывании модели на GPU NVIDIA.

С помощью формата экспорта TensorRT ты сможешь оптимизировать модели Ultralytics YOLO26 для быстрого и эффективного инференса на оборудовании NVIDIA. В этом руководстве приведены простые пошаговые инструкции по преобразованию, которые помогут максимально использовать передовые технологии NVIDIA в проектах глубокого обучения.

TensorRT#

TensorRT, разработанный NVIDIA, — это современный комплект средств разработки программного обеспечения (SDK) для высокоскоростного инференса глубокого обучения. Он отлично подходит для приложений реального времени, например для обнаружения объектов.

Этот инструментарий оптимизирует модели глубокого обучения для GPU NVIDIA, повышая скорость и эффективность операций. Модели TensorRT проходят оптимизацию TensorRT, которая включает такие методы, как объединение слоёв, калибровка точности (INT8 и FP16), динамическое управление памятью тензоров и автоматическая настройка ядер. Преобразование моделей глубокого обучения в формат TensorRT позволяет разработчикам в полной мере использовать возможности GPU NVIDIA.

TensorRT поддерживает различные форматы моделей, включая TensorFlow, PyTorch и ONNX, предоставляя разработчикам гибкое решение для интеграции и оптимизации моделей из разных фреймворков. Благодаря этой универсальности можно эффективно выполнять развёртывание моделей в различных аппаратных и программных средах.

Основные возможности моделей TensorRT#

Модели TensorRT обладают рядом ключевых возможностей, которые обеспечивают их эффективность и высокую производительность при инференсе глубокого обучения:

• Калибровка точности: TensorRT поддерживает калибровку точности, позволяя адаптировать модели к конкретным требованиям к точности. Поддерживаются форматы с пониженной точностью, такие как INT8 и FP16: они могут дополнительно ускорить инференс, сохраняя приемлемый уровень точности.

• Объединение слоёв: оптимизация TensorRT включает объединение нескольких слоёв нейронной сети в одну операцию. Это сокращает вычислительные затраты и ускоряет инференс за счёт уменьшения числа обращений к памяти и вычислений.

• Динамическое управление памятью тензоров: TensorRT эффективно управляет памятью тензоров во время инференса, сокращая накладные расходы и оптимизируя распределение памяти. Это повышает эффективность использования памяти GPU.

• Автоматическая настройка ядер: TensorRT автоматически подбирает наиболее оптимизированное ядро GPU для каждого слоя модели. Такой адаптивный подход позволяет модели в полной мере использовать вычислительные возможности GPU.

Варианты развёртывания в TensorRT#

Прежде чем перейти к коду экспорта моделей YOLO26 в формат TensorRT, давай разберёмся, где обычно используют модели TensorRT.

TensorRT предлагает несколько вариантов развёртывания, каждый из которых по-разному сочетает простоту интеграции, оптимизацию производительности и гибкость:

• Развёртывание в TensorFlow: этот способ интегрирует TensorRT в TensorFlow и позволяет запускать оптимизированные модели в привычной среде TensorFlow. Он полезен для моделей, сочетающих поддерживаемые и неподдерживаемые слои, поскольку TF-TRT эффективно обрабатывает такие модели.

• Автономный API среды выполнения TensorRT: обеспечивает точный контроль и идеально подходит для приложений, критичных к производительности. Этот вариант сложнее, но позволяет самостоятельно реализовать поддержку неподдерживаемых операторов.

• Сервер инференса NVIDIA Triton: поддерживает модели из различных фреймворков. Особенно подходит для инференса в облаке и на периферийных устройствах и предоставляет такие функции, как одновременное выполнение и анализ моделей.

Поддерживаемые задачи#

Экспорт в TensorRT поддерживает все семь задач Ultralytics. Семантическая сегментация и оценка глубины доступны только в YOLO26 — единственном семействе, в котором есть соответствующие выходные блоки.

Экспорт моделей YOLO26 в TensorRT#

Преобразовав модели YOLO26 в формат TensorRT, ты сможешь повысить эффективность выполнения и оптимизировать производительность.

Установка#

Чтобы установить необходимый пакет, выполни команду:

# Install the required package for YOLO26
pip install ultralytics

Подробные инструкции и рекомендации по установке смотри в нашем руководстве по установке YOLO26. Если при установке необходимых пакетов для YOLO26 возникнут трудности, решения и полезные советы найдёшь в нашем руководстве по распространённым проблемам.

Использование#

Прежде чем перейти к инструкциям по использованию, ознакомься с линейкой моделей YOLO26 от Ultralytics. Это поможет выбрать модель, которая лучше всего подходит для требований твоего проекта.

Формат TensorRT поддерживает режимы Export, Predict и Validate. Для инференса и валидации требуется GPU NVIDIA. Экспортируй модель, затем загрузи экспортированную модель для выполнения инференса или проверки её точности.

from ultralytics import YOLO

# Загрузи модель YOLO26
model = YOLO("yolo26n.pt")

# Экспортируй модель в формат TensorRT
model.export(format="engine")  # создаёт 'yolo26n.engine'

from ultralytics import YOLO

# Загрузи экспортированную модель TensorRT
model = YOLO("yolo26n.engine")

# Выполнить инференс
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Загрузи экспортированную модель TensorRT
model = YOLO("yolo26n.engine")

# Проверить точность на наборе данных COCO8
metrics = model.val(data="coco8.yaml")

Аргументы экспорта#

Подробнее о процессе экспорта смотри на странице документации Ultralytics об экспорте.

Экспорт TensorRT с квантованием INT8#

Экспорт моделей Ultralytics YOLO в TensorRT с точностью INT8 выполняет посттренировочное квантование (PTQ). Для PTQ TensorRT использует калибровку: она измеряет распределение активаций в каждом тензоре активаций, пока модель YOLO выполняет инференс на репрезентативных входных данных, а затем использует это распределение, чтобы оценить значения масштабирования для каждого тензора. Для каждого тензора активаций, который можно квантовать, процесс калибровки определяет соответствующий масштаб. Чекпойнт, дообученный с помощью quantize=8 посредством квантования с учётом обучения, уже содержит диапазоны INT8, поэтому при экспорте используются они, а калибровка пропускается.

При обработке сетей с неявным квантованием TensorRT использует INT8 для ускорения выполнения слоёв, когда это возможно. Если слой выполняется быстрее в INT8 и для его входных и выходных данных назначены масштабы квантования, этому слою назначается ядро с точностью INT8. В противном случае TensorRT выбирает для ядра точность FP32 или FP16 — ту, которая обеспечивает более быстрое выполнение слоя.

Настройка экспорта INT8#

Аргументы, передаваемые при экспорте модели Ultralytics YOLO, сильно влияют на производительность экспортированной модели. Их также нужно выбирать с учётом доступных ресурсов устройства, однако аргументы по умолчанию должны подойти для большинства дискретных GPU NVIDIA поколения Ampere и новее. Для экспорта на GPU используется алгоритм калибровки "MINMAX_CALIBRATION", а для экспорта на DLA устройств NVIDIA Jetson — "ENTROPY_CALIBRATION_2". Подробнее о доступных параметрах читай в руководстве разработчика TensorRT. По результатам тестирования Ultralytics, для экспорта на GPU лучше всего подходит "MINMAX_CALIBRATION"; алгоритм выбирается автоматически в зависимости от устройства экспорта.

• workspace : управляет размером (в GiB) выделяемой памяти устройства при преобразовании весов модели.

  • Настрой значение workspace с учётом требований калибровки и доступных ресурсов. Увеличение workspace может продлить калибровку, но позволит TensorRT рассмотреть больше вариантов оптимизации и, возможно, повысить производительность и точность модели. И наоборот, уменьшение workspace сократит время калибровки, но может ограничить набор стратегий оптимизации и повлиять на качество квантованной модели.

  • По умолчанию используется workspace=None, и TensorRT автоматически выделяет память. При ручной настройке это значение, возможно, придётся увеличить, если во время калибровки происходит сбой (процесс завершается без предупреждения).

  • Во время экспорта TensorRT сообщит о UNSUPPORTED_STATE, если значение workspace превышает доступный объём памяти устройства. В таком случае нужно уменьшить значение workspace или задать None.

  • Если для workspace задано максимальное значение, а калибровка завершается с ошибкой или происходит сбой, попробуй использовать None для автоматического выделения памяти либо уменьши значения imgsz и batch, чтобы снизить требования к памяти.

  • Помни, что калибровка для INT8 зависит от устройства: использование для калибровки мощного GPU, взятого у коллег, может привести к низкой производительности при инференсе на другом устройстве.

• batch : максимальный размер пакета для инференса. При использовании dynamic=True во время инференса можно задавать пакеты меньшего размера, но размер пакета не может превышать указанное значение.

По результатам экспериментов NVIDIA рекомендует использовать для калибровки квантования INT8 не менее 500 изображений, репрезентативных для данных твоей модели. Это рекомендация, а не строгое требование, и тебе нужно будет экспериментировать, чтобы определить, что необходимо для хороших результатов на твоем наборе данных. Поскольку для калибровки INT8 в TensorRT необходимы калибровочные данные, обязательно используй аргумент data при экспорте чекпойнта, который не обучался с использованием quantize=8 (квантования после обучения) при quantize=8 для TensorRT, и используй data="my_dataset.yaml", чтобы для калибровки применялись изображения из валидационного набора. Для чекпойнта, обученного с quantize=8, калибровка пропускается, поэтому не указывай для него data. Если при экспорте в TensorRT с квантованием INT8 для data не задано значение, по умолчанию вместо ошибки будет использоваться один из «небольших» демонстрационных наборов данных, подходящих для задачи модели.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    quantize=8,
    data="coco.yaml",  # (4)!
)

# Загрузи экспортированную модель TensorRT INT8
model = YOLO("yolo26n.engine", task="detect")

# Выполнить инференс
result = model.predict("https://ultralytics.com/images/bus.jpg")

Преимущества использования YOLO с TensorRT INT8#

• Уменьшение размера модели: Квантование с FP32 до INT8 может уменьшить размер модели в 4 раза (на диске или в памяти), что ускоряет загрузку, снижает требования к хранилищу и уменьшает объем памяти, необходимый для развертывания модели.

• Снижение энергопотребления: Операции с пониженной точностью в экспортированных моделях YOLO INT8 могут потреблять меньше энергии по сравнению с моделями FP32, особенно на устройствах с питанием от аккумулятора.

• Ускорение инференса: TensorRT оптимизирует модель для целевого оборудования, что может ускорить инференс на GPU, встроенных устройствах и ускорителях.

Недостатки использования YOLO с TensorRT INT8#

• Снижение оценочных метрик: Использование пониженной точности означает, что mAP, Precision, Recall или любая другая метрика для оценки качества модели, вероятно, покажет несколько худший результат. Слои Sigmoid остаются в более высокой точности, чтобы сохранить калибровку оценок, но INT8 все же может сместить значения уверенности, поэтому выбирай рабочий порог по собственной F1-кривой модели INT8. Сравнение различий в mAP50 и mAP50-95 при экспорте с INT8 на небольшой выборке различных устройств смотри в разделе Результаты производительности.

• Увеличение времени разработки: Подбор «оптимальных» настроек калибровки INT8 для датасета и устройства может потребовать значительного количества тестирований.

• Зависимость от оборудования: Калибровка и прирост производительности могут сильно зависеть от оборудования, а веса модели хуже переносятся между устройствами.

Производительность экспорта Ultralytics YOLO в TensorRT#

NVIDIA A100#

Потребительские GPU#

Встроенные устройства#

Методы оценки#

Разверни разделы ниже, чтобы узнать, как экспортировали и тестировали эти модели.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=16)

# TensorRT INT8 с калибровочным `data` (например, COCO, ImageNet или DOTAv1 для соответствующей задачи модели)
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=8, data="coco8.yaml"
)

import cv2

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 одного и того же изображения
        verbose=False,
        device="cuda",
    )

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet или DOTAv1 для соответствующей задачи модели
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

Развертывание экспортированных моделей YOLO26 TensorRT#

После успешного экспорта моделей Ultralytics YOLO26 в формат TensorRT ты можешь приступить к их развертыванию. Подробные инструкции по развертыванию моделей TensorRT в различных средах смотри в следующих материалах:

• Развертывание Ultralytics с помощью сервера Triton: наше руководство по использованию NVIDIA Triton Inference Server (ранее TensorRT Inference Server) именно с моделями Ultralytics YOLO.

• Развертывание глубоких нейронных сетей с NVIDIA TensorRT: в этой статье объясняется, как эффективно использовать NVIDIA TensorRT для развертывания глубоких нейронных сетей на платформах с GPU.

• Комплексные решения на базе ИИ для ПК с NVIDIA: развертывание NVIDIA TensorRT: в этой статье блога рассказывается об использовании NVIDIA TensorRT для оптимизации и развертывания моделей ИИ на ПК с оборудованием NVIDIA.

• Репозиторий NVIDIA TensorRT на GitHub: официальный репозиторий GitHub с исходным кодом и документацией для NVIDIA TensorRT.

Итоги#

В этом руководстве мы рассмотрели преобразование моделей Ultralytics YOLO26 в формат моделей NVIDIA TensorRT. Этот шаг важен для повышения эффективности и скорости моделей YOLO26, делая их производительнее и подходящими для разных сред развертывания.

Подробнее об использовании читай в официальной документации TensorRT.

Если тебя интересуют другие интеграции Ultralytics YOLO, загляни на нашу страницу руководства по интеграциям: там собрано много полезных материалов и сведений.

Часто задаваемые вопросы#