Экспорт моделей YOLO26 в TensorRT#

Развертывание моделей компьютерного зрения в высокопроизводительных средах может потребовать формата, максимально повышающего скорость и эффективность. Это особенно актуально при развертывании модели на GPU NVIDIA.

Используя формат экспорта TensorRT, ты можешь оптимизировать модели Ultralytics YOLO26 для быстрого и эффективного выполнения инференса на оборудовании NVIDIA. В этом руководстве приведены понятные пошаговые инструкции по процессу конвертации, которые помогут максимально эффективно использовать передовые технологии NVIDIA в проектах глубокого обучения.

TensorRT#

TensorRT, разработанный NVIDIA, — это современный комплект разработки ПО (SDK) для высокоскоростного инференса моделей глубокого обучения. Он хорошо подходит для приложений реального времени, таких как обнаружение объектов.

Этот набор инструментов оптимизирует модели глубокого обучения для GPU NVIDIA, обеспечивая более быстрые и эффективные операции. Модели TensorRT проходят оптимизацию TensorRT, которая включает такие методы, как объединение слоев, калибровка точности (INT8 и FP16), динамическое управление памятью тензоров и автоматическая настройка ядер. Конвертация моделей глубокого обучения в формат TensorRT позволяет разработчикам полностью раскрыть потенциал GPU NVIDIA.

TensorRT известен совместимостью с различными форматами моделей, включая TensorFlow, PyTorch и ONNX, что предоставляет разработчикам гибкое решение для интеграции и оптимизации моделей из разных фреймворков. Такая универсальность обеспечивает эффективное развертывание моделей в различных аппаратных и программных средах.

Ключевые особенности моделей TensorRT#

Модели TensorRT обладают рядом ключевых особенностей, повышающих их эффективность и производительность при высокоскоростном инференсе моделей глубокого обучения:

• Калибровка точности: TensorRT поддерживает калибровку точности, позволяя точно настроить модели под конкретные требования к точности. Поддерживаются форматы с пониженной точностью, такие как INT8 и FP16, которые могут дополнительно повысить скорость инференса при сохранении приемлемого уровня точности.

• Объединение слоев: процесс оптимизации TensorRT включает объединение слоев, при котором несколько слоев нейронной сети объединяются в одну операцию. Это снижает вычислительные накладные расходы и повышает скорость инференса за счет минимизации обращений к памяти и количества вычислений.

• Динамическое управление памятью тензоров: TensorRT эффективно управляет использованием памяти тензоров во время инференса, снижая накладные расходы на память и оптимизируя ее выделение. В результате память GPU используется эффективнее.

• Автоматическая настройка ядер: TensorRT автоматически настраивает ядра, выбирая наиболее оптимизированное ядро GPU для каждого слоя модели. Такой адаптивный подход гарантирует, что модель в полной мере использует вычислительную мощность GPU.

Варианты развертывания в TensorRT#

Прежде чем перейти к коду экспорта моделей YOLO26 в формат TensorRT, разберемся, где обычно используются модели TensorRT.

TensorRT предлагает несколько вариантов развертывания, и каждый из них по-разному сочетает простоту интеграции, оптимизацию производительности и гибкость:

• Развертывание внутри TensorFlow: этот метод интегрирует TensorRT в TensorFlow, позволяя запускать оптимизированные модели в знакомой среде TensorFlow. Он полезен для моделей, содержащих поддерживаемые и неподдерживаемые слои, поскольку TF-TRT эффективно обрабатывает такие комбинации.

• Автономный Runtime API TensorRT: предоставляет детальный контроль и идеально подходит для приложений, критичных к производительности. Он сложнее, но позволяет реализовать собственную поддержку неподдерживаемых операторов.

• NVIDIA Triton Inference Server: поддерживает модели из различных фреймворков. Он особенно хорошо подходит для облачного инференса и инференса на периферийных устройствах, предоставляя такие возможности, как параллельное выполнение моделей и анализ моделей.

Поддерживаемые задачи#

Экспорт в TensorRT поддерживает все семь задач Ultralytics. Семантическая сегментация и оценка глубины доступны только в YOLO26 — единственном семействе, поставляемом с такими головами.

Экспорт моделей YOLO26 в TensorRT#

Ты можешь повысить эффективность выполнения и оптимизировать производительность, конвертировав модели YOLO26 в формат TensorRT.

Установка#

Чтобы установить необходимый пакет, выполни:

# Install the required package for YOLO26
pip install ultralytics

Подробные инструкции и рекомендации по процессу установки см. в нашем руководстве по установке YOLO26. Если при установке необходимых пакетов для YOLO26 возникнут трудности, обратитесь к нашему руководству по распространённым проблемам, где приведены решения и советы.

Использование#

Прежде чем перейти к инструкциям по использованию, ознакомься с ассортиментом моделей YOLO26 от Ultralytics. Это поможет выбрать наиболее подходящую модель для требований твоего проекта.

Формат TensorRT поддерживает режимы Export, Predict и Validate. Для инференса и валидации требуется GPU NVIDIA. Экспортируй модель, затем загрузи экспортированную модель для выполнения инференса или проверки ее точности.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT format
model.export(format="engine")  # creates 'yolo26n.engine'

from ultralytics import YOLO

# Load the exported TensorRT model
model = YOLO("yolo26n.engine")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported TensorRT model
model = YOLO("yolo26n.engine")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Аргументы экспорта#

Подробнее о процессе экспорта см. на странице документации Ultralytics об экспорте.

Экспорт TensorRT с INT8-квантизацией#

Экспорт моделей Ultralytics YOLO с использованием TensorRT с точностью INT8 выполняет квантование после обучения (PTQ). TensorRT использует калибровку для квантования после обучения, которая измеряет распределение активаций внутри каждого тензора активации по мере того, как модель YOLO выполняет вывод на репрезентативных входных данных, а затем использует это распределение для оценки значений масштаба для каждого тензора. Каждый тензор активации, являющийся кандидатом на квантование, имеет связанный масштаб, который выводится в процессе калибровки. Чекпоинт, дообученный с помощью quantize=8 посредством обучения с учетом квантования, уже содержит свои диапазоны INT8, поэтому его экспорт использует эти диапазоны и пропускает калибровку.

При обработке сетей с неявной квантизацией TensorRT использует INT8 для оптимизации времени выполнения слоев, когда это возможно. Если слой выполняется быстрее в INT8 и для его входных и выходных данных назначены масштабы квантизации, этому слою назначается ядро с точностью INT8; в противном случае TensorRT выбирает для ядра точность FP32 или FP16 в зависимости от того, какая из них обеспечивает более быстрое выполнение этого слоя.

Настройка экспорта INT8#

Аргументы, задаваемые при использовании экспорта модели Ultralytics YOLO, значительно влияют на производительность экспортированной модели. Их также необходимо выбирать с учетом доступных ресурсов устройства, однако аргументы по умолчанию должны работать на большинстве дискретных GPU NVIDIA Ampere (или более новых). Для экспорта на GPU используется алгоритм калибровки "MINMAX_CALIBRATION", а для экспорта на DLA в NVIDIA Jetson — "ENTROPY_CALIBRATION_2". Подробнее о доступных параметрах можно прочитать в руководстве разработчика TensorRT. Тесты Ultralytics показали, что "MINMAX_CALIBRATION" — лучший выбор для экспорта на GPU; алгоритм выбирается автоматически на основе устройства экспорта.

• workspace : управляет размером (в ГиБ) выделяемой памяти устройства при конвертации весов модели.

  • Настрой значение workspace в соответствии с требованиями калибровки и доступными ресурсами. Хотя большее значение workspace может увеличить время калибровки, оно позволяет TensorRT исследовать более широкий набор стратегий оптимизации, потенциально повышая производительность и точность модели. И наоборот, меньшее значение workspace может сократить время калибровки, но ограничить стратегии оптимизации и ухудшить качество квантизированной модели.

  • По умолчанию используется workspace=None, что позволяет TensorRT автоматически выделять память; при ручной настройке это значение может потребоваться увеличить, если калибровка завершается сбоем (завершается без предупреждения).

  • Во время экспорта TensorRT сообщит UNSUPPORTED_STATE, если значение workspace превышает доступный объем памяти устройства; это означает, что значение workspace следует уменьшить или установить равным None.

  • Если для workspace установлено максимальное значение, а калибровка завершается с ошибкой или аварийно, попробуй использовать None для автоматического выделения памяти либо уменьшить значения imgsz и batch, чтобы снизить требования к памяти.

  • Помни: калибровка INT8 зависит от конкретного устройства; использование «высокопроизводительного» GPU для калибровки может привести к низкой производительности при выполнении инференса на другом устройстве.

• batch : максимальный размер пакета, который будет использоваться для инференса. Во время инференса можно использовать пакеты меньшего размера, но инференс не примет пакеты больше указанного размера.

Эксперименты NVIDIA привели к рекомендации использовать по крайней мере 500 калибровочных изображений, которые являются репрезентативными для данных вашей модели, с калибровкой квантования INT8. Это рекомендация, а не жесткое требование, и тебе потребуется поэкспериментировать с тем, что необходимо для хорошей работы для твоего датасета. Поскольку калибровочные данные требуются для калибровки INT8 с помощью TensorRT, обязательно используй аргумент data при экспорте чекпоинта, который не был обучен с помощью quantize=8 (квантование после обучения) в quantize=8 для TensorRT, и используй data="my_dataset.yaml", который будет использовать изображения из валидации для калибровки. Чекпоинт, обученный с помощью quantize=8, пропускает калибровку, поэтому опусти data для чекпоинта. Когда для data не передается значение при экспорте в TensorRT с квантованием INT8, по умолчанию будет использоваться один из «маленьких» примеров датасетов на основе задачи модели вместо вызова ошибки.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    quantize=8,
    data="coco.yaml",  # (4)!
)

# Load the exported TensorRT INT8 model
model = YOLO("yolo26n.engine", task="detect")

# Run inference
result = model.predict("https://ultralytics.com/images/bus.jpg")

Преимущества использования YOLO с TensorRT INT8#

• Уменьшенный размер модели: квантизация с FP32 до INT8 может уменьшить размер модели в 4 раза (на диске или в памяти), обеспечивая более быструю загрузку, снижая требования к хранилищу и уменьшая объем памяти, необходимый при развертывании модели.

• Сниженное энергопотребление: операции с пониженной точностью для экспортированных моделей YOLO INT8 могут потреблять меньше энергии по сравнению с моделями FP32, особенно на устройствах с питанием от аккумулятора.

• Повышенная скорость инференса: TensorRT оптимизирует модель под целевое оборудование, что потенциально обеспечивает более высокую скорость инференса на GPU, встраиваемых устройствах и ускорителях.

Недостатки использования YOLO с TensorRT INT8#

• Снижение оценочных метрик: использование более низкой точности означает, что mAP, Precision, Recall или любой другой метрики, используемой для оценки производительности модели, скорее всего, будут несколько хуже. Слои Sigmoid сохраняются с более высокой точностью для сохранения калибровки оценок, но INT8 все же может сместить значения уверенности, поэтому выбирай рабочий порог по собственной F1-кривой модели INT8. См. раздел с результатами производительности, чтобы сравнить различия в mAP50 и mAP50-95 при экспорте с INT8 на небольшом наборе образцов с различных устройств.

• Увеличение времени разработки: поиск «оптимальных» настроек калибровки INT8 для набора данных и устройства может потребовать значительного объема тестирования.

• Зависимость от оборудования: калибровка и прирост производительности могут сильно зависеть от оборудования, а веса модели становятся менее переносимыми.

Производительность экспорта Ultralytics YOLO в TensorRT#

NVIDIA A100#

Потребительские GPU#

Встраиваемые устройства#

Методы оценки#

Разверни разделы ниже, чтобы узнать, как экспортировались и тестировались эти модели.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=16)

# TensorRT INT8 with calibration `data` (i.e. COCO, ImageNet, or DOTAv1 for appropriate model task)
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=8, data="coco8.yaml"
)

import cv2

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 of the same image
        verbose=False,
        device="cuda",
    )

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet, or DOTAv1 for appropriate model task
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

Развертывание экспортированных моделей YOLO26 TensorRT#

После успешного экспорта моделей Ultralytics YOLO26 в формат TensorRT ты готов к их развертыванию. Подробные инструкции по развертыванию моделей TensorRT в различных средах смотри в следующих ресурсах:

• Развертывание Ultralytics с Triton Server: наше руководство по использованию NVIDIA Triton Inference (ранее TensorRT Inference) Server специально для моделей Ultralytics YOLO.

• Развертывание глубоких нейронных сетей с NVIDIA TensorRT: в этой статье объясняется, как эффективно использовать NVIDIA TensorRT для развертывания глубоких нейронных сетей на платформах развертывания на базе GPU.

• Комплексный ИИ для ПК на базе NVIDIA: развертывание NVIDIA TensorRT: в этой статье блога объясняется использование NVIDIA TensorRT для оптимизации и развертывания моделей ИИ на ПК на базе NVIDIA.

• Репозиторий GitHub для NVIDIA TensorRT: Это официальный репозиторий GitHub, содержащий исходный код и документацию для NVIDIA TensorRT.

Итоги#

В этом руководстве мы рассмотрели преобразование моделей Ultralytics YOLO26 в формат моделей NVIDIA TensorRT. Этот этап преобразования крайне важен для повышения эффективности и скорости моделей YOLO26, что делает их более производительными и подходящими для различных сред развертывания.

Дополнительные сведения об использовании смотри в официальной документации TensorRT.

Если тебе интересны дополнительные интеграции Ultralytics YOLO26, на нашей странице руководства по интеграциям представлен обширный выбор информативных ресурсов и материалов.

Часто задаваемые вопросы#