Руководство по быстрому старту: NVIDIA Jetson с Ultralytics YOLOv8

В этом подробном руководстве ты найдешь подробную инструкцию по развертыванию Ultralytics YOLOv8 на устройствах NVIDIA Jetson. Кроме того, в нем представлены бенчмарки производительности, демонстрирующие возможности YOLOv8 на этих небольших и мощных устройствах.

Что такое NVIDIA Jetson?

NVIDIA Jetson - это серия встраиваемых вычислительных плат, призванных принести ускоренные вычисления ИИ (искусственного интеллекта) на граничные устройства. Эти компактные и мощные устройства построены на базе архитектуры GPU NVIDIA и способны выполнять сложные алгоритмы ИИ и модели глубокого обучения непосредственно на устройстве, не прибегая к облачным вычислительным ресурсам. Платы Jetson часто используются в робототехнике, автономных транспортных средствах, промышленной автоматизации и других приложениях, где ИИ-выводы должны выполняться локально с низкой задержкой и высокой эффективностью. Кроме того, эти платы основаны на архитектуре ARM64 и работают с меньшей мощностью по сравнению с традиционными GPU-вычислителями.

Сравнение серий NVIDIA Jetson

Jetson Orin - это последняя итерация семейства NVIDIA Jetson, основанная на архитектуре NVIDIA Ampere, которая обеспечивает радикально улучшенную производительность искусственного интеллекта по сравнению с предыдущими поколениями. Ниже в таблице приведено сравнение нескольких устройств Jetson в экосистеме.

Более подробную сравнительную таблицу ты можешь найти в разделе технических характеристик на официальной странице NVIDIA Jetson.

Что такое NVIDIA JetPack?

NVIDIA JetPack SDK на базе модулей Jetson - это самое комплексное решение, которое предоставляет полную среду разработки для создания сквозных ускоренных AI-приложений и сокращает время выхода на рынок. JetPack включает в себя Jetson Linux с загрузчиком, ядро Linux, окружение рабочего стола Ubuntu и полный набор библиотек для ускорения вычислений на GPU, мультимедиа, графики и компьютерного зрения. В комплект также входят примеры, документация и инструменты разработчика как для хост-компьютера, так и для набора разработчика, а также поддержка SDK более высокого уровня, таких как DeepStream для аналитики потокового видео, Isaac для робототехники и Riva для разговорного ИИ.

Flash JetPack для NVIDIA Jetson

Первый шаг после получения в руки устройства NVIDIA Jetson - прошить на него NVIDIA JetPack. Существует несколько различных способов прошивки устройств NVIDIA Jetson.

1. Если у тебя есть официальный набор разработчика NVIDIA, например Jetson Orin Nano Developer Kit, ты можешь перейти по этой ссылке, чтобы скачать образ и подготовить SD-карту с JetPack для загрузки устройства.
2. Если у тебя есть любой другой комплект разработки NVIDIA, ты можешь перейти по этой ссылке, чтобы прошить JetPack на устройство с помощью SDK Manager.
3. Если у тебя есть устройство Seeed Studio reComputer J4012, то ты можешь перейти по этой ссылке, чтобы прошить JetPack на прилагаемый SSD-накопитель.
4. Если ты являешься владельцем любого другого стороннего устройства, работающего на модуле NVIDIA Jetson, рекомендуется выполнить прошивку из командной строки по этой ссылке.

Настройка Ultralytics

Существует два способа установки пакета Ultralytics на NVIDIA Jetson для создания твоего следующего проекта по компьютерному зрению. Ты можешь использовать любой из них.

• Начни с Docker
• Запуск без Docker

Начни с Docker

Самый быстрый способ начать работу с Ultralytics YOLOv8 на NVIDIA Jetson - запустить его с помощью предварительно созданного образа докера для Jetson.

Выполни приведенную ниже команду, чтобы вытащить Docker-контейнер и запустить его на Jetson. Это основано на докер-образе l4t-pytorch, который содержит PyTorch и Torchvision в среде Python3.

t=ultralytics/ultralytics:latest-jetson && sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

После этого переходи к разделу "Использование TensorRT на NVIDIA Jetson".

Запуск без Docker

Установи пакет Ultralytics

Здесь мы установим пакет ultralyics на Jetson с дополнительными зависимостями, чтобы мы могли экспортировать модели PyTorch в другие различные форматы. В основном мы сосредоточимся на экспорте в NVIDIA TensorRT , потому что TensoRT позволит нам получить максимальную производительность от устройств Jetson.

1. Обнови список пакетов, установи pip и обновись до последней версии

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Установи ultralytics Пакет pip с дополнительными зависимостями

   pip install ultralytics[export]
   

3. Перезагрузите устройство

   sudo reboot
   

Установи PyTorch и Torchvision

Приведенная выше установка ultralytics установит Torch и Torchvision. Однако эти два пакета, установленные через pip, несовместимы для работы на платформе Jetson, которая основана на архитектуре ARM64. Поэтому нам нужно вручную установить предварительно собранный PyTorch pip wheel и скомпилировать/установить Torchvision из исходников.

1. Деинсталлируй установленные в данный момент PyTorch и Torchvision

   pip uninstall torch torchvision
   

2. Установи PyTorch 2.1.0 в соответствии с JP5.1.3.

   sudo apt-get install -y libopenblas-base libopenmpi-dev
   wget https://developer.download.nvidia.com/compute/redist/jp/v512/pytorch/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl -O torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   

3. Установи Torchvision v0.16.2 по адресу PyTorch v2.1.0.

   sudo apt install -y libjpeg-dev zlib1g-dev
   git clone https://github.com/pytorch/vision torchvision
   cd torchvision
   git checkout v0.16.2
   python3 setup.py install --user
   

Посети страницуPyTorch for Jetson, чтобы получить доступ ко всем различным версиям PyTorch для разных версий JetPack. Более подробный список совместимости PyTorch и Torchvision можно найти на страницеPyTorch и Torchvision.

Установи onnxruntime-gpu

The onnxruntime-gpu Пакет, размещенный в PyPI, не имеет aarch64 двоичные файлы для Jetson. Поэтому нам нужно вручную установить этот пакет. Этот пакет нужен для некоторых экспортов.

Все разные onnxruntime-gpu Перечислены пакеты, соответствующие различным версиям JetPack и Python . здесь. Однако здесь мы будем скачивать и устанавливать onnxruntime-gpu 1.17.0 с Python3.8 поддержка JetPack, который мы используем в этом руководстве.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Используй TensorRT на NVIDIA Jetson

Из всех форматов экспорта моделей, поддерживаемых Ultralytics, TensorRT обеспечивает наилучшую производительность при работе с устройствами NVIDIA Jetson, поэтому мы рекомендуем использовать TensorRT для работы с Jetson. У нас также есть подробный документ по TensorRT здесь.

Преобразуй модель в TensorRT и выполни вывод

Модель YOLOv8n в формате PyTorch конвертируется в TensorRT , чтобы запустить вывод с экспортированной моделью.

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Export the model
model.export(format='engine')  # creates 'yolov8n.engine'

# Load the exported TensorRT model
trt_model = YOLO('yolov8n.engine')

# Run inference
results = trt_model('https://ultralytics.com/images/bus.jpg')

# Export a YOLOv8n PyTorch model to TensorRT format
yolo export model=yolov8n.pt format=engine  # creates 'yolov8n.engine'

# Run inference with the exported model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

Бенчмарки NVIDIA Jetson Orin YOLOv8

YOLOv8 Команда Ultralytics провела бенчмарки на 10 различных форматах моделей, измеряя скорость и точность: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel , TF Graphdef , TF Lite, PaddlePaddle, NCNN. Бенчмарки запускались на Seeed Studio reComputer J4012 на базе устройства Jetson Orin NX 16GB с точностью FP32 и размером входного изображения по умолчанию 640.

Сравнительная таблица

Несмотря на то что все экспортируемые модели работают на NVIDIA Jetson, мы включили в сравнительную таблицу только PyTorch, TorchScript, TensorRT, потому что они используют GPU Jetson и гарантированно дают наилучшие результаты. Все остальные экспорты используют только CPU, и их производительность не так хороша, как у трех вышеперечисленных. Бенчмарки для всех экспортов ты можешь найти в разделе после этой диаграммы.

Подробная сравнительная таблица

В таблице ниже представлены результаты бенчмарка для пяти различных моделей (YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) в десяти различных форматах (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel , TF Graphdef , TF Lite, PaddlePaddle, NCNN), дающие нам статус, размер, метрику mAP50-95(B) и время вывода для каждой комбинации.

Перейди по этой ссылке, чтобы изучить другие бенчмарки Seeed Studio, работающие на разных версиях аппаратного обеспечения NVIDIA Jetson.

Воспроизведи наши результаты

Чтобы воспроизвести приведенные выше Ultralytics бенчмарки на всех форматах экспорта, выполни этот код:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmarks(data='coco8.yaml', imgsz=640)

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml imgsz=640

Лучшие рекомендации при использовании NVIDIA Jetson

При использовании NVIDIA Jetson есть несколько лучших практик, которым нужно следовать, чтобы обеспечить максимальную производительность на NVIDIA Jetson под управлением YOLOv8.

1. Включи режим максимальной мощности

   Включив режим MAX Power Mode на Jetson, ты убедишься, что все ядра CPU и GPU включены.

   sudo nvpmodel -m 0
   

2. Включи часы Jetson

   Включив Jetson Clocks, ты убедишься, что все ядра CPU и GPU работают на максимальной частоте.

   sudo jetson_clocks
   

3. Установи приложение Jetson Stats

   Мы можем использовать приложение jetson stats для мониторинга температур компонентов системы и проверки других системных данных, например, просмотреть загрузку CPU, GPU, RAM, изменить режимы питания, установить максимальные часы, проверить информацию о JetPack.

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

Следующие шаги

Поздравляю тебя с успешной установкой YOLOv8 на твой NVIDIA Jetson! Для дальнейшего обучения и поддержки посети дополнительное руководство на Ultralytics YOLOv8 Docs!

Комментарии