Перейти к содержимому

Руководство по быстрому старту: NVIDIA Jetson с Ultralytics YOLOv8

В этом подробном руководстве ты найдешь подробную инструкцию по развертыванию Ultralytics YOLOv8 на устройствах NVIDIA Jetson. Кроме того, в нем представлены бенчмарки производительности, демонстрирующие возможности YOLOv8 на этих небольших и мощных устройствах.

Экосистема NVIDIA Jetson

Примечание

Это руководство было протестировано на Seeed Studio reComputer J4012, который основан на NVIDIA Jetson Orin NX 16GB и работает под управлением последнего стабильного релиза JetPack JP5.1.3. Использование этого руководства для более старых устройств Jetson, таких как Jetson Nano (он поддерживает только до JP4.6.4), не может быть гарантировано. Однако ожидается, что оно будет работать на всех устройствах Jetson Orin, Xavier NX, AGX Xavier, работающих под управлением JP5.1.3.

Что такое NVIDIA Jetson?

NVIDIA Jetson - это серия встраиваемых вычислительных плат, призванных принести ускоренные вычисления ИИ (искусственного интеллекта) на граничные устройства. Эти компактные и мощные устройства построены на базе архитектуры GPU NVIDIA и способны выполнять сложные алгоритмы ИИ и модели глубокого обучения непосредственно на устройстве, не прибегая к облачным вычислительным ресурсам. Платы Jetson часто используются в робототехнике, автономных транспортных средствах, промышленной автоматизации и других приложениях, где ИИ-выводы должны выполняться локально с низкой задержкой и высокой эффективностью. Кроме того, эти платы основаны на архитектуре ARM64 и работают с меньшей мощностью по сравнению с традиционными GPU-вычислителями.

Сравнение серий NVIDIA Jetson

Jetson Orin - это последняя итерация семейства NVIDIA Jetson, основанная на архитектуре NVIDIA Ampere, которая обеспечивает радикально улучшенную производительность искусственного интеллекта по сравнению с предыдущими поколениями. Ниже в таблице приведено сравнение нескольких устройств Jetson в экосистеме.

Jetson AGX Orin 64GB Jetson Orin NX 16GB Jetson Orin Nano 8GB Jetson AGX Xavier Джетсон Ксавьер NX Jetson Nano
Производительность искусственного интеллекта 275 TOPS 100 ТОПОВ 40 ТОПов 32 TOPS 21 TOPS 472 GFLOPS
GPU 2048-ядерный графический процессор архитектуры NVIDIA Ampere с 64 ядрами Tensor 1024-ядерный графический процессор с архитектурой NVIDIA Ampere и 32 ядрами Tensor 1024-ядерный графический процессор с архитектурой NVIDIA Ampere и 32 ядрами Tensor 512-ядерный графический процессор архитектуры NVIDIA Volta с 64 ядрами Tensor 384-ядерный графический процессор архитектуры NVIDIA Volta™ с 48 ядрами Tensor 128-ядерный графический процессор архитектуры NVIDIA Maxwell™
Максимальная частота графического процессора 1,3 ГГц 918 МГц 625 МГц 1377 МГц 1100 МГц 921 МГц
ПРОЦЕССОР 12-ядерный 64-битный процессор NVIDIA Arm® Cortex A78AE v8.2 3 МБ L2 + 6 МБ L3 8-ядерный 64-битный процессор NVIDIA Arm® Cortex A78AE v8.2 2 МБ L2 + 4 МБ L3. 6-ядерный 64-битный процессор Arm® Cortex®-A78AE v8.2 1,5 МБ L2 + 4 МБ L3. 8-ядерный 64-битный процессор NVIDIA Carmel Arm®v8.2 8 МБ L2 + 4 МБ L3 6-ядерный 64-битный процессор NVIDIA Carmel Arm®v8.2 6 МБ L2 + 4 МБ L3 Четырехъядерный процессор Arm® Cortex®-A57 MPCore
Максимальная частота процессора 2,2 ГГц 2,0 ГГц 1,5 ГГц 2,2 ГГц 1,9 ГГц 1,43 ГГц
Память 64 Гб 256-битной LPDDR5 204,8 Гб/с 16 Гб 128-битной LPDDR5 102,4 Гб/с 8 Гб 128-битной LPDDR5 68 Гб/с 32 Гб 256-битной LPDDR4x 136,5 Гб/с 8 Гб 128-битной LPDDR4x 59,7 Гб/с 4 Гб 64-битной LPDDR4 25,6 Гб/с"

Более подробную сравнительную таблицу ты можешь найти в разделе технических характеристик на официальной странице NVIDIA Jetson.

Что такое NVIDIA JetPack?

NVIDIA JetPack SDK на базе модулей Jetson - это самое комплексное решение, которое предоставляет полную среду разработки для создания сквозных ускоренных AI-приложений и сокращает время выхода на рынок. JetPack включает в себя Jetson Linux с загрузчиком, ядро Linux, окружение рабочего стола Ubuntu и полный набор библиотек для ускорения вычислений на GPU, мультимедиа, графики и компьютерного зрения. В комплект также входят примеры, документация и инструменты разработчика как для хост-компьютера, так и для набора разработчика, а также поддержка SDK более высокого уровня, таких как DeepStream для аналитики потокового видео, Isaac для робототехники и Riva для разговорного ИИ.

Flash JetPack для NVIDIA Jetson

Первый шаг после получения в руки устройства NVIDIA Jetson - прошить на него NVIDIA JetPack. Существует несколько различных способов прошивки устройств NVIDIA Jetson.

  1. Если у тебя есть официальный набор разработчика NVIDIA, например Jetson Orin Nano Developer Kit, ты можешь перейти по этой ссылке, чтобы скачать образ и подготовить SD-карту с JetPack для загрузки устройства.
  2. Если у тебя есть любой другой комплект разработки NVIDIA, ты можешь перейти по этой ссылке, чтобы прошить JetPack на устройство с помощью SDK Manager.
  3. Если у тебя есть устройство Seeed Studio reComputer J4012, то ты можешь перейти по этой ссылке, чтобы прошить JetPack на прилагаемый SSD-накопитель.
  4. Если ты являешься владельцем любого другого стороннего устройства, работающего на модуле NVIDIA Jetson, рекомендуется выполнить прошивку из командной строки по этой ссылке.

Примечание

Для методов 3 и 4 выше, после прошивки системы и загрузки устройства, пожалуйста, введите "sudo apt update && sudo apt install nvidia-jetpack -y" в терминале устройства, чтобы установить все оставшиеся необходимые компоненты JetPack.

Начни с Docker

Самый быстрый способ начать работу с Ultralytics YOLOv8 на NVIDIA Jetson - запустить его с помощью предварительно созданного образа докера для Jetson.

Выполни приведенную ниже команду, чтобы вытащить Docker-образ и запустить его на Jetson. Это основано на докер-образе l4t-pytorch, который содержит PyTorch и Torchvision в окружении Python3.

t=ultralytics/ultralytics:latest-jetson && sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Запуск без Docker

Установи пакет Ultralytics

Здесь мы установим пакет ultralyics на Jetson с дополнительными зависимостями, чтобы мы могли экспортировать модели PyTorch в другие различные форматы. В основном мы сосредоточимся на экспорте в NVIDIA TensorRT , потому что TensoRT позволит нам получить максимальную производительность от устройств Jetson.

  1. Обнови список пакетов, установи pip и обновись до последней версии
sudo apt update
sudo apt install python3-pip -y
pip install -U pip
  1. Установи ultralytics Пакет pip с дополнительными зависимостями
pip install ultralytics[export]
  1. Перезагрузите устройство
sudo reboot

Установи PyTorch и Torchvision

Приведенная выше установка ultralytics установит Torch и Torchvision. Однако эти два пакета, установленные через pip, несовместимы для работы на платформе Jetson, которая основана на архитектуре ARM64. Поэтому нам нужно вручную установить предварительно собранный PyTorch pip wheel и скомпилировать/установить Torchvision из исходников.

  1. Деинсталлируй установленные в данный момент PyTorch и Torchvision
pip uninstall torch torchvision
  1. Установи PyTorch 2.1.0 в соответствии с JP5.1.3.
sudo apt-get install -y libopenblas-base libopenmpi-dev
wget https://developer.download.nvidia.com/compute/redist/jp/v512/pytorch/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl -O torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
pip install torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
  1. Установи Torchvision v0.16.2 по адресу PyTorch v2.1.0.
sudo apt install -y libjpeg-dev zlib1g-dev
git clone https://github.com/pytorch/vision torchvision
cd torchvision
git checkout v0.16.2
python3 setup.py install --user

Посети эту страницу, чтобы получить доступ ко всем различным версиям PyTorch для разных версий JetPack. Более подробный список совместимости PyTorch, Torchvision, пожалуйста, смотри здесь.

Используй TensorRT на NVIDIA Jetson

Из всех форматов экспорта моделей, поддерживаемых Ultralytics, TensorRT обеспечивает наилучшую производительность при работе с устройствами NVIDIA Jetson, поэтому мы рекомендуем использовать TensorRT для работы с Jetson. У нас также есть подробный документ по TensorRT здесь.

Преобразуй модель в TensorRT и выполни вывод

Модель YOLOv8n в формате PyTorch конвертируется в TensorRT , чтобы запустить вывод с экспортированной моделью.

Пример

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Export the model
model.export(format='engine')  # creates 'yolov8n.engine'

# Load the exported TensorRT model
trt_model = YOLO('yolov8n.engine')

# Run inference
results = trt_model('https://ultralytics.com/images/bus.jpg')
# Export a YOLOv8n PyTorch model to TensorRT format
yolo export model=yolov8n.pt format=engine  # creates 'yolov8n.engine'

# Run inference with the exported model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

Аргументы

Ключ Значение Описание
format 'engine' Формат, в который нужно экспортировать
imgsz 640 Размер изображения в виде скаляра или списка (h, w), то есть (640, 480)
half False Квантование FP16

Бенчмарки NVIDIA Jetson Orin YOLOv8

YOLOv8 Бенчмарки, приведенные ниже, были выполнены командой Ultralytics на 3 разных форматах моделей, измеряющих скорость и точность: PyTorch, TorchScript и TensorRT. Бенчмарки запускались на Seeed Studio reComputer J4012 на базе устройства Jetson Orin NX 16GB с точностью FP32 и размером входного изображения по умолчанию 640.

Экосистема NVIDIA Jetson
Модель Формат Статус Размер (Мб) mAP50-95(B) Время вывода (мс/им)
YOLOv8n PyTorch 6.2 0.4473 14.3
YOLOv8n TorchScript 12.4 0.4520 13.3
YOLOv8n TensorRT 13.6 0.4520 8.7
YOLOv8s PyTorch 21.5 0.5868 18
YOLOv8s TorchScript 43.0 0.5971 23.9
YOLOv8s TensorRT 44.0 0.5965 14.82
YOLOv8m PyTorch 49.7 0.6101 36.4
YOLOv8m TorchScript 99.2 0.6125 53.34
YOLOv8m TensorRT 100.3 0.6123 33.28
YOLOv8l PyTorch 83.7 0.6588 61.3
YOLOv8l TorchScript 167.2 0.6587 85.21
YOLOv8l TensorRT 168.3 0.6591 51.34
YOLOv8x PyTorch 130.5 0.6650 93
YOLOv8x TorchScript 260.7 0.6651 135.3
YOLOv8x TensorRT 261.8 0.6645 84.5

В этой таблице представлены результаты бенчмарка для пяти различных моделей (YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) в трех различных форматах (PyTorch, TorchScript, TensorRT), дающие нам статус, размер, метрику mAP50-95(B) и время вывода для каждой комбинации.

Перейди по этой ссылке, чтобы изучить другие бенчмарки Seeed Studio, работающие на разных версиях аппаратного обеспечения NVIDIA Jetson.

Воспроизведи наши результаты

Чтобы воспроизвести приведенные выше Ultralytics бенчмарки на всех форматах экспорта, выполни этот код:

Пример

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmarks(data='coco8.yaml', imgsz=640)
# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml imgsz=640

Учти, что результаты бенчмарков могут отличаться в зависимости от точной аппаратной и программной конфигурации системы, а также от текущей загруженности системы на момент запуска бенчмарков. Для получения наиболее достоверных результатов используй набор данных с большим количеством изображений, то есть data='coco8.yaml' (128 val images), ordata='coco.yaml'` (5000 val изображений).

Примечание

В настоящее время с бенчмарком работают только PyTorch, Torchscript и TensorRT . В будущем мы обновим его для поддержки других экспортов.

Лучшие рекомендации при использовании NVIDIA Jetson

При использовании NVIDIA Jetson есть несколько лучших практик, которым нужно следовать, чтобы обеспечить максимальную производительность на NVIDIA Jetson под управлением YOLOv8.

  1. Включи режим максимальной мощности

    Включив режим MAX Power Mode на Jetson, ты убедишься, что все ядра CPU и GPU включены.

    sudo nvpmodel -m 0
    

  2. Включи часы Jetson

    Включив Jetson Clocks, ты убедишься, что все ядра CPU и GPU работают на максимальной частоте.

    sudo jetson_clocks
    

  3. Установи приложение Jetson Stats

    Мы можем использовать приложение jetson stats для мониторинга температур компонентов системы и проверки других системных данных, например, просмотреть загрузку CPU, GPU, RAM, изменить режимы питания, установить максимальные часы, проверить информацию о JetPack.

    sudo apt update
    sudo pip install jetson-stats
    sudo reboot
    jtop
    

Статистика Джетсона

Следующие шаги

Поздравляю тебя с успешной установкой YOLOv8 на твой NVIDIA Jetson! Для дальнейшего обучения и поддержки посети дополнительное руководство на Ultralytics YOLOv8 Docs!



Создано 2024-04-02, Обновлено 2024-04-18
Авторы: glenn-jocher (1), Burhan-Q (1), lakshanthad (1)

Комментарии