Краткое руководство по запуску: NVIDIA Jetson с Ultralytics YOLOv8

В этом подробном руководстве ты найдешь подробное описание развертывания Ultralytics YOLOv8 на устройствах NVIDIA Jetson. Кроме того, в нем приведены эталоны производительности, демонстрирующие возможности YOLOv8 на этих небольших и мощных устройствах.

Смотри: Как настроить NVIDIA Jetson с Ultralytics YOLOv8

Что такое NVIDIA Джетсон?

NVIDIA Jetson is a series of embedded computing boards designed to bring accelerated AI (artificial intelligence) computing to edge devices. These compact and powerful devices are built around NVIDIA's GPU architecture and are capable of running complex AI algorithms and deep learning models directly on the device, without needing to rely on cloud computing resources. Jetson boards are often used in robotics, autonomous vehicles, industrial automation, and other applications where AI inference needs to be performed locally with low latency and high efficiency. Additionally, these boards are based on the ARM64 architecture and runs on lower power compared to traditional GPU computing devices.

NVIDIA Сравнение серии Jetson

Jetson Orin - это последняя итерация семейства NVIDIA Jetson, основанная на архитектуре NVIDIA Ampere, которая обеспечивает радикально улучшенную производительность искусственного интеллекта по сравнению с предыдущими поколениями. Ниже в таблице приведено сравнение нескольких устройств Jetson в экосистеме.

Более подробную сравнительную таблицу ты можешь найти в разделе " Технические характеристики " на официальной странице NVIDIA Jetson.

Что такое NVIDIA JetPack?

NVIDIA JetPack SDK powering the Jetson modules is the most comprehensive solution and provides full development environment for building end-to-end accelerated AI applications and shortens time to market. JetPack includes Jetson Linux with bootloader, Linux kernel, Ubuntu desktop environment, and a complete set of libraries for acceleration of GPU computing, multimedia, graphics, and computer vision. It also includes samples, documentation, and developer tools for both host computer and developer kit, and supports higher level SDKs such as DeepStream for streaming video analytics, Isaac for robotics, and Riva for conversational AI.

Флеш JetPack на NVIDIA Jetson

Первый шаг после получения в руки устройства NVIDIA Jetson - прошить NVIDIA JetPack на него. Существует несколько различных способов прошивки NVIDIA Jetson-устройств.

1. Если у тебя есть официальный NVIDIA Development Kit, например Jetson Orin Nano Developer Kit, ты можешь загрузить образ и подготовить SD-карту с JetPack для загрузки устройства.
2. Если ты являешься владельцем любого другого NVIDIA Development Kit, ты можешь прошить JetPack на устройство с помощью SDK Manager.
3. Если ты владелец устройства Seeed Studio reComputer J4012, то можешь прошить JetPack на прилагаемый SSD, а если ты владелец устройства Seeed Studio reComputer J1020 v2, то можешь прошить JetPack на eMMC/ SSD.
4. Если ты являешься владельцем любого другого стороннего устройства, работающего на модуле NVIDIA Jetson, рекомендуется выполнить прошивку из командной строки.

Поддержка JetPack на базе устройства Jetson

В таблице ниже приведены версии NVIDIA JetPack, поддерживаемые различными устройствами NVIDIA Jetson.

Быстрый старт с Docker

Самый быстрый способ начать работу с Ultralytics YOLOv8 на NVIDIA Jetson - это запустить с помощью предварительно собранных докер-образов для Jetson. Обратись к таблице выше и выбери версию JetPack в соответствии с устройством Jetson, которым ты владеешь.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack5
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack6
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

После этого переходи к разделу Use TensorRT on NVIDIA Jetson.

Начни с родной установки

Для нативной установки без Docker, пожалуйста, обратись к шагам ниже.

Запуск на JetPack 6.x

Установи пакет Ultralytics

Here we will install Ultralytics package on the Jetson with optional dependencies so that we can export the PyTorch models to other different formats. We will mainly focus on NVIDIA TensorRT exports because TensorRT will make sure we can get the maximum performance out of the Jetson devices.

1. Обнови список пакетов, установи pip и обновись до последней версии

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Установи ultralytics Пакет pip с дополнительными зависимостями

   pip install ultralytics[export]
   

3. Перезагрузите устройство

   sudo reboot
   

Установи PyTorch и Torchvision

Приведенная выше установка ultralytics установит Torch и Torchvision. Однако эти два пакета, установленные через pip, несовместимы для работы на платформе Jetson, которая основана на архитектуре ARM64. Поэтому нам нужно вручную установить предварительно собранный PyTorch pip wheel и скомпилировать/установить Torchvision из исходников.

Установи torch 2.3.0 и torchvision 0.18 в соответствии с JP6.0

sudo apt-get install libopenmpi-dev libopenblas-base libomp-dev -y
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.3.0-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.18.0a0+6043bc2-cp310-cp310-linux_aarch64.whl

Посети страницуPyTorch for Jetson, чтобы получить доступ ко всем различным версиям PyTorch для разных версий JetPack. Более подробный список совместимости PyTorch и Torchvision можно найти на страницеPyTorch и Torchvision.

Установи onnxruntime-gpu

The onnxruntime-gpu Пакет, размещенный в PyPI, не имеет aarch64 двоичные файлы для Jetson. Поэтому нам нужно вручную установить этот пакет. Этот пакет нужен для некоторых экспортов.

Все разные onnxruntime-gpu Перечислены пакеты, соответствующие различным версиям JetPack и Python здесь. Однако здесь мы будем скачивать и устанавливать onnxruntime-gpu 1.18.0 с Python3.10 поддержка.

wget https://nvidia.box.com/shared/static/48dtuob7meiw6ebgfsfqakc9vse62sg4.whl -O onnxruntime_gpu-1.18.0-cp310-cp310-linux_aarch64.whl
pip install onnxruntime_gpu-1.18.0-cp310-cp310-linux_aarch64.whl

Запуск на JetPack 5.x

Установи пакет Ultralytics

Здесь мы установим на Jetson пакет Ultralytics с дополнительными зависимостями, чтобы мы могли экспортировать модели PyTorch в другие различные форматы. В основном мы сосредоточимся на экспортеNVIDIA TensorRT , потому что TensorRT позволит нам добиться максимальной производительности от устройств Jetson.

1. Обнови список пакетов, установи pip и обновись до последней версии

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Установи ultralytics Пакет pip с дополнительными зависимостями

   pip install ultralytics[export]
   

3. Перезагрузите устройство

   sudo reboot
   

Установи PyTorch и Torchvision

Приведенная выше установка ultralytics установит Torch и Torchvision. Однако эти два пакета, установленные через pip, несовместимы для работы на платформе Jetson, которая основана на архитектуре ARM64. Поэтому нам нужно вручную установить предварительно собранный PyTorch pip wheel и скомпилировать/установить Torchvision из исходников.

1. Деинсталлируй установленные в данный момент PyTorch и Torchvision

   pip uninstall torch torchvision
   

2. Установи PyTorch 2.1.0 в соответствии с JP5.1.3.

   sudo apt-get install -y libopenblas-base libopenmpi-dev
   wget https://developer.download.nvidia.com/compute/redist/jp/v512/pytorch/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl -O torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   

3. Установи Torchvision v0.16.2 по адресу PyTorch v2.1.0.

   sudo apt install -y libjpeg-dev zlib1g-dev
   git clone https://github.com/pytorch/vision torchvision
   cd torchvision
   git checkout v0.16.2
   python3 setup.py install --user
   

Посети страницуPyTorch for Jetson, чтобы получить доступ ко всем различным версиям PyTorch для разных версий JetPack. Более подробный список совместимости PyTorch и Torchvision можно найти на страницеPyTorch и Torchvision.

Установи onnxruntime-gpu

The onnxruntime-gpu Пакет, размещенный в PyPI, не имеет aarch64 двоичные файлы для Jetson. Поэтому нам нужно вручную установить этот пакет. Этот пакет нужен для некоторых экспортов.

Все разные onnxruntime-gpu Перечислены пакеты, соответствующие различным версиям JetPack и Python здесь. Однако здесь мы будем скачивать и устанавливать onnxruntime-gpu 1.17.0 с Python3.8 поддержка.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Используй TensorRT на сайте NVIDIA Jetson.

Из всех форматов экспорта моделей, поддерживаемых Ultralytics, TensorRT обеспечивает наилучшую производительность вывода при работе с устройствами NVIDIA Jetson, и мы рекомендуем использовать TensorRT с Jetson. Также у нас есть подробный документ по TensorRT здесь.

Преобразуй модель в TensorRT и выполни вывод

Модель YOLOv8n в формате PyTorch конвертируется в TensorRT , чтобы запустить вывод с экспортированной моделью.

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="engine")  # creates 'yolov8n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolov8n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLOv8n PyTorch model to TensorRT format
yolo export model=yolov8n.pt format=engine  # creates 'yolov8n.engine'

# Run inference with the exported model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA Jetson Orin YOLOv8 Бенчмарки

YOLOv8 benchmarks were run by the Ultralytics team on 10 different model formats measuring speed and accuracy: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, PaddlePaddle, NCNN. Benchmarks were run on Seeed Studio reComputer J4012 powered by Jetson Orin NX 16GB device at FP32 precision with default input image size of 640.

Сравнительная таблица

Несмотря на то что все экспортируемые модели работают с NVIDIA Jetson, мы включили в сравнительную таблицу ниже только PyTorch, TorchScript, TensorRT, потому что они используют GPU на Jetson и гарантированно дают наилучшие результаты. Все остальные экспорты используют только CPU , и их производительность не так хороша, как у трех вышеперечисленных. Бенчмарки для всех экспортов ты можешь найти в разделе после этого графика.

Подробная сравнительная таблица

В таблице ниже представлены результаты тестов для пяти различных моделей (YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) в десяти различных форматах (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Облегченный, PaddlePaddle, NCNN), предоставляя нам статус, размер, метрику mAP50-95(B) и время вывода для каждой комбинации.

Изучи другие бенчмарки Seeed Studio, работающие на разных версиях аппаратного обеспечения NVIDIA Jetson.

Воспроизведи наши результаты

Чтобы воспроизвести приведенные выше Ultralytics бенчмарки на всех форматах экспорта, выполни этот код:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmarks(data="coco8.yaml", imgsz=640)

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml imgsz=640

Лучшие практики при использовании NVIDIA Jetson

При использовании NVIDIA Jetson есть несколько лучших практик, которым стоит следовать, чтобы обеспечить максимальную производительность на NVIDIA Jetson под управлением YOLOv8.

1. Включи режим максимальной мощности

   Включив режим MAX Power Mode на Jetson, ты убедишься, что все ядра CPU, GPU включены.

   sudo nvpmodel -m 0
   

2. Включи часы Jetson

   Включив Jetson Clocks, ты убедишься, что все ядра CPU, GPU работают на максимальной частоте.

   sudo jetson_clocks
   

3. Установи приложение Jetson Stats

   Мы можем использовать приложение jetson stats для мониторинга температуры компонентов системы и проверки других системных деталей, таких как просмотр CPU, GPU, использование оперативной памяти, изменение режимов питания, установка максимальных часов, проверка информации о JetPack.

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

Следующие шаги

Поздравляю с успешной настройкой YOLOv8 на твоем NVIDIA Jetson! Для дальнейшего обучения и поддержки посети дополнительное руководство на Ultralytics YOLOv8 Docs!

ВОПРОСЫ И ОТВЕТЫ

Как развернуть Ultralytics YOLOv8 на устройствах NVIDIA Jetson?

Развертывание Ultralytics YOLOv8 на NVIDIA устройствах Jetson - процесс несложный. Сначала прошей свое устройство Jetson с помощью NVIDIA JetPack SDK. Затем либо используй готовый образ Docker для быстрой настройки, либо вручную установи необходимые пакеты. Подробные шаги для каждого подхода можно найти в разделах "Быстрый старт с Docker" и "Старт с нативной установкой".

Какие бенчмарки производительности можно ожидать от моделей YOLOv8 на устройствах NVIDIA Jetson?

YOLOv8 модели были протестированы на различных устройствах NVIDIA Jetson и показали значительный прирост производительности. Например, формат TensorRT обеспечивает наилучшую производительность при проведении выводов. Таблица в разделе " Подробная таблица сравнения " дает полное представление о таких метриках производительности, как mAP50-95 и время вывода для разных форматов моделей.

Почему я должен использовать TensorRT для развертывания YOLOv8 на NVIDIA Jetson?

TensorRT настоятельно рекомендуется для развертывания YOLOv8 моделей на NVIDIA Jetson благодаря своей оптимальной производительности. Он ускоряет проведение выводов за счет использования возможностей GPU Jetson, обеспечивая максимальную эффективность и скорость. Подробнее о том, как конвертировать в TensorRT и запустить inference, читай в разделе " Использование TensorRT на NVIDIA Jetson".

Как установить PyTorch и Torchvision на NVIDIA Jetson?

Чтобы установить PyTorch и Torchvision на NVIDIA Jetson, сначала удали все существующие версии, которые могли быть установлены через pip. Затем вручную установи совместимые версии PyTorch и Torchvision для ARM64-архитектуры Jetson. Подробные инструкции по этому процессу приведены в разделе " Установка PyTorch и Torchvision ".

Каковы лучшие практики для максимизации производительности на NVIDIA Jetson при использовании YOLOv8?

Чтобы добиться максимальной производительности на NVIDIA Jetson с YOLOv8, следуй этим лучшим рекомендациям:

1. Включи режим MAX Power Mode, чтобы задействовать все ядра CPU и GPU .
2. Включи Jetson Clocks, чтобы запустить все ядра на максимальной частоте.
3. Установи приложение Jetson Stats для мониторинга системных показателей.

Команды и дополнительные подробности смотри в разделе " Лучшие практики при использовании NVIDIA Jetson".

📅 Created 6 months ago ✏️ Updated 28 days ago

Комментарии