TensorRT Экспорт для моделей YOLOv8

Для развертывания моделей компьютерного зрения в высокопроизводительных средах может потребоваться формат, обеспечивающий максимальную скорость и эффективность. Это особенно актуально при развертывании модели на графических процессорах NVIDIA .

Используя формат экспорта TensorRT , вы можете улучшить свои Ultralytics YOLOv8 модели для быстрых и эффективных выводов на оборудовании NVIDIA . В этом руководстве вы найдете простые и понятные шаги по конвертации и сможете максимально использовать передовые технологии NVIDIA в своих проектах глубокого обучения.

TensorRT

TensorRTразработанный компанией NVIDIA, представляет собой расширенный набор средств разработки программного обеспечения (SDK), предназначенный для высокоскоростного глубокого обучения выводам. Он хорошо подходит для приложений реального времени, таких как обнаружение объектов.

Этот инструментарий оптимизирует модели глубокого обучения для графических процессоров NVIDIA и обеспечивает более быструю и эффективную работу. Модели TensorRT подвергаются оптимизации TensorRT , которая включает такие техники, как слияние слоев, калибровка точности (INT8 и FP16), динамическое управление памятью tensor и автонастройка ядра. Преобразование моделей глубокого обучения в формат TensorRT позволяет разработчикам в полной мере реализовать потенциал NVIDIA GPU.

TensorRT известен своей совместимостью с различными форматами моделей, включая TensorFlow, PyTorch, и ONNX, предоставляя разработчикам гибкое решение для интеграции и оптимизации моделей из различных фреймворков. Такая универсальность позволяет эффективно развертывать модели в различных аппаратных и программных средах.

Ключевые особенности моделей TensorRT

TensorRT Модели обладают рядом ключевых особенностей, которые способствуют их эффективности и результативности в высокоскоростном глубоком обучении:

• Точная калибровка: TensorRT поддерживает точную калибровку, позволяя настраивать модели в соответствии с конкретными требованиями к точности. В том числе поддерживаются форматы пониженной точности, такие как INT8 и FP16, что позволяет еще больше увеличить скорость вычислений при сохранении приемлемого уровня точности.

• Слияние слоев: Процесс оптимизации TensorRT включает в себя объединение слоев, когда несколько слоев нейронной сети объединяются в одну операцию. Это снижает вычислительные затраты и повышает скорость вывода за счет минимизации доступа к памяти и вычислений.

• Динамическое управление памятью Tensor : TensorRT эффективно управляет использованием памяти tensor во время вывода, сокращая накладные расходы памяти и оптимизируя ее выделение. Это приводит к более эффективному использованию памяти GPU .

• Автоматическая настройка ядра: TensorRT применяет автоматическую настройку ядра для выбора наиболее оптимизированного GPU ядра для каждого слоя модели. Этот адаптивный подход гарантирует, что модель полностью использует вычислительные возможности GPU.

Варианты развертывания в TensorRT

Прежде чем мы рассмотрим код для экспорта моделей YOLOv8 в формат TensorRT , давайте разберемся, где обычно используются модели TensorRT .

TensorRT Предлагается несколько вариантов развертывания, и в каждом из них по-разному сочетаются простота интеграции, оптимизация производительности и гибкость:

• Развертывание внутри TensorFlow: Этот метод интегрирует TensorRT в TensorFlow, позволяя оптимизированным моделям работать в знакомой среде TensorFlow . Это полезно для моделей со смесью поддерживаемых и неподдерживаемых слоев, так как TF-TRT может эффективно обрабатывать их.

• Автономный TensorRT Runtime API: Обеспечивает гранулярный контроль, идеально подходит для приложений, критичных к производительности. Он более сложен, но позволяет реализовать неподдерживаемые операторы.

• NVIDIA Triton Сервер выводов: Вариант, поддерживающий модели из различных фреймворков. Он особенно подходит для облачных или пограничных выводов и предоставляет такие возможности, как одновременное выполнение моделей и их анализ.

Экспорт моделей YOLOv8 в TensorRT

Вы можете повысить эффективность выполнения и оптимизировать производительность, конвертируя модели YOLOv8 в формат TensorRT .

Установка

Чтобы установить необходимый пакет, выполните команду:

# Install the required package for YOLOv8
pip install ultralytics

Для получения подробных инструкций и лучших практик, связанных с процессом установки, ознакомьтесь с нашим руководством по установкеYOLOv8 . При установке необходимых пакетов для YOLOv8, если вы столкнетесь с какими-либо трудностями, обратитесь к нашему руководству по общим проблемам, чтобы найти решения и советы.

Использование

Прежде чем приступить к изучению инструкции по эксплуатации, обязательно ознакомьтесь с ассортиментом моделейYOLOv8 , предлагаемых компанией Ultralytics. Это поможет вам выбрать наиболее подходящую модель, соответствующую требованиям вашего проекта.

from ultralytics import YOLO

# Load the YOLOv8 model
model = YOLO("yolov8n.pt")

# Export the model to TensorRT format
model.export(format="engine")  # creates 'yolov8n.engine'

# Load the exported TensorRT model
tensorrt_model = YOLO("yolov8n.engine")

# Run inference
results = tensorrt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLOv8n PyTorch model to TensorRT format
yolo export model=yolov8n.pt format=engine  # creates 'yolov8n.engine''

# Run inference with the exported model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

Более подробную информацию о процессе экспорта можно найти на странице документацииUltralytics , посвященной экспорту.

Экспорт TensorRT с квантованием INT8

Экспорт моделей Ultralytics YOLO с помощью TensorRT с точностью INT8 выполняет квантование после обучения (PTQ). TensorRT использует калибровку для PTQ, которая измеряет распределение активаций внутри каждой активации tensor по мере того, как модель YOLO обрабатывает вывод на репрезентативных входных данных, а затем использует это распределение для оценки значений шкалы для каждой tensor. Каждая активация tensor , являющаяся кандидатом на квантование, имеет соответствующую шкалу, которая определяется в процессе калибровки.

При обработке сетей с неявным квантованием TensorRT использует INT8 оппортунистически для оптимизации времени выполнения слоя. Если слой работает быстрее в INT8 и имеет назначенные шкалы квантования на входах и выходах данных, то этому слою назначается ядро с точностью INT8, в противном случае TensorRT выбирает точность FP32 или FP16 для ядра, основываясь на том, что приводит к более быстрому времени выполнения для данного слоя.

Настройка экспорта INT8

Аргументы, предоставляемые при использовании экспорт для модели Ultralytics YOLO будет очень влияют на производительность экспортируемой модели. Их также необходимо выбирать в зависимости от доступных ресурсов устройства, однако аргументы по умолчанию следует работать для большинства Дискретные графические процессоры Ampere (или более новые) NVIDIA. Используется следующий алгоритм калибровки "ENTROPY_CALIBRATION_2" и вы можете прочитать более подробную информацию о доступных опциях в руководстве для разработчиков TensorRT .. Ultralytics тесты показали, что "ENTROPY_CALIBRATION_2" оказался наилучшим выбором, и экспортные поставки будут осуществляться именно по этому алгоритму.

• workspace : Управляет размером (в GiB) выделяемой памяти устройства при преобразовании весов модели.

  • Отрегулируйте workspace значение в соответствии с вашими потребностями в калибровке и доступностью ресурсов. Хотя большее workspace может увеличить время калибровки, но позволяет TensorRT исследовать более широкий спектр тактик оптимизации, потенциально повышая производительность модели и точность. И наоборот, меньший workspace может сократить время калибровки, но может ограничить стратегии оптимизации, что скажется на качестве квантованной модели.

  • По умолчанию workspace=None, что позволит TensorRT автоматически выделять память, при ручной настройке это значение может потребоваться увеличить, если калибровка завершится аварийно (без предупреждения).

  • TensorRT сообщит UNSUPPORTED_STATE во время экспорта, если значение для workspace больше, чем объем памяти, доступной устройству, что означает, что значение для workspace должен быть снижен или установлен на None.

  • Если workspace установлено на максимальное значение, и калибровка не проходит/проваливается, рассмотрите возможность использования None для автораспределения или уменьшая значения для imgsz и batch чтобы снизить требования к памяти.

  • Помните, что калибровка для INT8 специфична для каждого устройства, поэтому заимствование "высококлассного" GPU для калибровки может привести к ухудшению производительности при выполнении выводов на другом устройстве.

• batch : Максимальный размер партии, который будет использоваться для вывода. В процессе вычисления могут использоваться меньшие партии, но вычисление не будет принимать партии больше указанной.

Эксперименты NVIDIA привели к тому, что они рекомендуют использовать не менее 500 калибровочных изображений, представляющих данные для вашей модели, с калибровкой квантования INT8. Это рекомендация, а не твердый требование, и вам придется поэкспериментировать с тем, что необходимо для достижения высоких результатов в вашем наборе данных. Поскольку калибровочные данные требуются для калибровки INT8 с помощью TensorRT, обязательно используйте data аргумент, когда int8=True для TensorRT и используйте data="my_dataset.yaml", который будет использовать изображения из валидация для калибровки. Если значение не передано для data при экспорте на TensorRT с квантованием INT8, по умолчанию будет использоваться один из вариантов "маленькие" наборы примеров, основанные на модельной задаче вместо того, чтобы выдать ошибку.

from ultralytics import YOLO

model = YOLO("yolov8n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    int8=True,
    data="coco.yaml",  # (4)!
)

# Load the exported TensorRT INT8 model
model = YOLO("yolov8n.engine", task="detect")

# Run inference
result = model.predict("https://ultralytics.com/images/bus.jpg")

# Export a YOLOv8n PyTorch model to TensorRT format with INT8 quantization
yolo export model=yolov8n.pt format=engine batch=8 workspace=4 int8=True data=coco.yaml  # creates 'yolov8n.engine''

# Run inference with the exported TensorRT quantized model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

Преимущества использования YOLO с TensorRT INT8

• Уменьшение размера модели: Квантование с FP32 на INT8 позволяет уменьшить размер модели в 4 раза (на диске или в памяти), что приводит к ускорению загрузки, снижению требований к хранению и уменьшению занимаемой памяти при развертывании модели.

• Более низкое энергопотребление: Операции пониженной точности для INT8, экспортируемые в модели YOLO , могут потреблять меньше энергии по сравнению с моделями FP32, особенно в устройствах с питанием от батарей.

• Повышение скорости вывода: TensorRT оптимизирует модель для целевого оборудования, что потенциально может привести к повышению скорости вывода на графических процессорах, встроенных устройствах и ускорителях.

Недостатки использования YOLO с TensorRT INT8

• Снижение показателей оценки: Использование более низкой точности означает, что mAP, Precision, Recall или любой другая метрика, используемая для оценки эффективности модели скорее всего, будет несколько хуже. См. Раздел результатов работы чтобы сравнить различия в mAP50 и mAP50-95 при экспорте с INT8 на небольшой выборке различных устройств.

• Увеличение времени разработки: Поиск "оптимальных" настроек калибровки INT8 для набора данных и устройства может потребовать значительного количества испытаний.

• Аппаратная зависимость: Калибровка и повышение производительности могут сильно зависеть от аппаратного обеспечения, а весовые коэффициенты моделей менее переносимы.

Ultralytics YOLO TensorRT Показатели экспорта

NVIDIA A100

Потребительские графические процессоры

Встраиваемые устройства

Методы оценки

Информация о том, как экспортировались и тестировались эти модели, представлена в следующих разделах.

from ultralytics import YOLO

model = YOLO("yolov8n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, half=True)

# TensorRT INT8 with calibration `data` (i.e. COCO, ImageNet, or DOTAv1 for appropriate model task)
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, int8=True, data="coco8.yaml"
)

import cv2

from ultralytics import YOLO

model = YOLO("yolov8n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 of the same image
        verbose=False,
        device="cuda",
    )

from ultralytics import YOLO

model = YOLO("yolov8n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet, or DOTAv1 for appropriate model task
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

Развертывание экспортированных моделей YOLOv8 TensorRT

Успешно экспортировав модели Ultralytics YOLOv8 в формат TensorRT , вы теперь готовы к их развертыванию. Для получения подробных инструкций по развертыванию моделей TensorRT в различных условиях ознакомьтесь со следующими ресурсами:

• Развертывание Ultralytics с помощью сервера Triton : Наше руководство по использованию NVIDIA's Triton Inference (ранее TensorRT Inference) Server специально для использования с Ultralytics YOLO моделями.

• Развертывание глубоких нейронных сетей с помощью NVIDIA TensorRT: В этой статье рассказывается о том, как использовать NVIDIA TensorRT для эффективного развертывания глубоких нейронных сетей на платформах развертывания, основанных на GPU.

• Комплексный искусственный интеллект для компьютеров на базе NVIDIA: NVIDIA TensorRT Развертывание: В этой статье блога рассказывается об использовании NVIDIA TensorRT для оптимизации и развертывания моделей ИИ на NVIDIA-базированных ПК.

• Репозиторий GitHub для NVIDIA TensorRT :: Это официальный репозиторий GitHub, содержащий исходный код и документацию для NVIDIA TensorRT .

Резюме

В этом руководстве мы сосредоточились на преобразовании моделей Ultralytics YOLOv8 в формат моделей NVIDIA's TensorRT . Этот шаг преобразования имеет решающее значение для повышения эффективности и скорости работы моделей YOLOv8 , делая их более эффективными и подходящими для различных сред развертывания.

Более подробную информацию об особенностях использования можно найти в официальной документацииTensorRT .

Если вам интересно узнать о дополнительных интеграциях Ultralytics YOLOv8 , на странице нашего руководства по интеграции вы найдете обширную подборку информативных ресурсов.

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ

Как конвертировать модели YOLOv8 в формат TensorRT ?

Чтобы преобразовать модели Ultralytics YOLOv8 в формат TensorRT для оптимизированного вывода NVIDIA GPU , выполните следующие действия:

1. Установите необходимый пакет:

   pip install ultralytics
   

2. Экспортируйте модель YOLOv8 :

   from ultralytics import YOLO
   
   model = YOLO("yolov8n.pt")
   model.export(format="engine")  # creates 'yolov8n.engine'
   
   # Run inference
   model = YOLO("yolov8n.engine")
   results = model("https://ultralytics.com/images/bus.jpg")
   

Более подробную информацию можно найти в руководстве по установкеYOLOv8 и в документации по экспорту.

В чем преимущества использования TensorRT для моделей YOLOv8 ?

Использование сайта TensorRT для оптимизации моделей YOLOv8 дает ряд преимуществ:

• Более высокая скорость вывода: TensorRT оптимизирует слои модели и использует прецизионную калибровку (INT8 и FP16) для ускорения вывода без существенного снижения точности.
• Эффективность использования памяти: TensorRT управляет памятью tensor динамически, снижая накладные расходы и повышая эффективность использования памяти GPU .
• Слияние слоев: Объединяет несколько слоев в одну операцию, снижая вычислительную сложность.
• Автоматическая настройка ядра: Автоматически выбирает оптимизированные ядра GPU для каждого слоя модели, обеспечивая максимальную производительность.

Для получения дополнительной информации ознакомьтесь с подробными возможностями TensorRT здесь и прочитайте наш обзорTensorRT .

Могу ли я использовать квантование INT8 с TensorRT для моделей YOLOv8 ?

Да, вы можете экспортировать модели YOLOv8 , используя TensorRT с квантованием INT8. Этот процесс включает квантование после обучения (PTQ) и калибровку:

1. Экспорт с помощью INT8:

   from ultralytics import YOLO
   
   model = YOLO("yolov8n.pt")
   model.export(format="engine", batch=8, workspace=4, int8=True, data="coco.yaml")
   

2. Выполните вывод:

   from ultralytics import YOLO
   
   model = YOLO("yolov8n.engine", task="detect")
   result = model.predict("https://ultralytics.com/images/bus.jpg")
   

Более подробную информацию см. в разделе "Экспорт TensorRT с квантованием INT8".

Как развернуть YOLOv8 TensorRT модели на NVIDIA Triton Inference Server?

Развертывание YOLOv8 TensorRT моделей на NVIDIA Triton Inference Server можно выполнить с помощью следующих ресурсов:

• Разверните Ultralytics YOLOv8 с помощью Triton Server: Пошаговое руководство по настройке и использованию Triton Inference Server.
• NVIDIA Triton Документация по серверу выводов: Официальная документация NVIDIA для подробного описания вариантов развертывания и конфигураций.

Эти руководства помогут вам эффективно интегрировать модели YOLOv8 в различные среды развертывания.

Какие улучшения производительности наблюдаются при экспорте моделей YOLOv8 в TensorRT?

Увеличение производительности с помощью TensorRT может зависеть от используемого оборудования. Вот несколько типичных бенчмарков:

• NVIDIA A100:

  • FP32 Inference: ~0,52 мс / изображение
  • Вывод FP16: ~0,34 мс / изображение
  • Вывод INT8: ~0,28 мс / изображение
  • Небольшое уменьшение mAP при использовании точности INT8, но значительное увеличение скорости.

• Потребительские графические процессоры (например, RTX 3080):

  • FP32 Inference: ~1,06 мс / изображение
  • FP16 Inference: ~0,62 мс / изображение
  • INT8 Inference: ~0,52 мс / изображение

Подробные бенчмарки производительности для различных аппаратных конфигураций можно найти в разделе "Производительность".

Для получения более полной информации о производительности TensorRT обратитесь к документацииUltralytics и нашим отчетам по анализу производительности.

📅 Created 10 months ago ✏️ Updated 17 days ago

Комментарии