Краткое руководство по началу работы: NVIDIA Jetson с Ultralytics YOLO11

Это подробное руководство содержит детальное описание процесса развертывания Ultralytics YOLO11 на устройствах NVIDIA Jetson. Кроме того, в нем представлены сравнительные тесты производительности, демонстрирующие возможности YOLO11 на этих компактных и мощных устройствах.

Смотреть: Как использовать Ultralytics YOLO11 на устройствах NVIDIA JETSON

Что такое NVIDIA Jetson?

NVIDIA Jetson — это серия встраиваемых вычислительных плат, предназначенных для обеспечения ускоренных вычислений ИИ (искусственного интеллекта) на периферийных устройствах. Эти компактные и мощные устройства построены на базе архитектуры GPU NVIDIA и способны запускать сложные алгоритмы ИИ и модели глубокого обучения непосредственно на устройстве, без необходимости использования ресурсов облачных вычислений. Платы Jetson часто используются в робототехнике, автономных транспортных средствах, промышленной автоматизации и других приложениях, где вывод ИИ необходимо выполнять локально с низкой задержкой и высокой эффективностью. Кроме того, эти платы основаны на архитектуре ARM64 и потребляют меньше энергии по сравнению с традиционными вычислительными устройствами GPU.

Сравнение серий NVIDIA Jetson

NVIDIA Jetson AGX Thor - это последняя итерация семейства NVIDIA Jetson на базе архитектуры NVIDIA Blackwell, которая обеспечивает значительно более высокую производительность искусственного интеллекта по сравнению с предыдущими поколениями. В таблице ниже представлено сравнение нескольких устройств Jetson в экосистеме.

Более подробную сравнительную таблицу можно найти в разделе Сравнение спецификаций на официальной странице NVIDIA Jetson.

Что такое NVIDIA JetPack?

NVIDIA JetPack SDK, лежащий в основе модулей Jetson, является наиболее полным решением и предоставляет полноценную среду разработки для создания комплексных ускоренных AI-приложений и сокращает время выхода на рынок. JetPack включает Jetson Linux с загрузчиком, ядро Linux, среду рабочего стола Ubuntu и полный набор библиотек для ускорения GPU-вычислений, мультимедиа, графики и компьютерного зрения. Он также включает в себя примеры, документацию и инструменты разработчика как для хост-компьютера, так и для комплекта разработчика, и поддерживает SDK более высокого уровня, такие как DeepStream для потоковой аналитики видео, Isaac для робототехники и Riva для разговорного AI.

Прошивка JetPack на NVIDIA Jetson

Первый шаг после получения устройства NVIDIA Jetson — это прошить NVIDIA JetPack на устройство. Существует несколько различных способов прошивки устройств NVIDIA Jetson.

1. Если у вас есть официальный комплект разработчика NVIDIA , например Jetson AGX Thor Developer Kit, вы можете загрузить образ и подготовить загрузочный USB-накопитель для прошивки JetPack на прилагаемый SSD.
2. Если у вас есть официальный комплект разработчика NVIDIA, такой как Jetson Orin Nano Developer Kit, вы можете загрузить образ и подготовить SD-карту с JetPack для загрузки устройства.
3. Если у вас есть какой-либо другой комплект разработчика NVIDIA, вы можете прошить JetPack на устройство с помощью SDK Manager.
4. Если у вас есть устройство Seeed Studio reComputer J4012, вы можете прошить JetPack на прилагаемый SSD, а если у вас есть устройство Seeed Studio reComputer J1020 v2, вы можете прошить JetPack на eMMC/ SSD.
5. Если у вас есть какое-либо другое стороннее устройство на базе модуля NVIDIA Jetson, рекомендуется использовать прошивку через командную строку.

Поддержка JetPack в зависимости от устройства Jetson

В таблице ниже показаны версии NVIDIA JetPack, поддерживаемые различными устройствами NVIDIA Jetson.

Быстрый старт с Docker

Самый быстрый способ начать работу с Ultralytics YOLO11 на NVIDIA Jetson — это запустить предварительно созданные docker-образы для Jetson. Обратитесь к таблице выше и выберите версию JetPack в соответствии с имеющимся у вас устройством Jetson.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack5
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack6
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

После этого перейдите к разделу Использование TensorRT на NVIDIA Jetson.

Начало с собственной установки

Для нативной установки без Docker, пожалуйста, обратитесь к шагам ниже.

Запуск на JetPack 7.0

Установка пакета Ultralytics

Здесь мы установим пакет Ultralytics на Jetson с необязательными зависимостями, чтобы мы могли экспортировать модели PyTorch в другие различные форматы. Мы в основном сосредоточимся на экспорте NVIDIA TensorRT, потому что TensorRT позволит нам получить максимальную производительность от устройств Jetson.

1. Обновите список пакетов, установите pip и обновите до последней версии

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Установите ultralytics пакет pip с необязательными зависимостями

   pip install ultralytics[export]
   

3. Перезагрузите устройство

   sudo reboot
   

Установка PyTorch и Torchvision

Приведенная выше установка ultralytics установит Torch и Torchvision. Однако эти два пакета, установленные через pip, не совместимы для работы на Jetson AGX Thor, который поставляется с JetPack 7.0 и CUDA 13. Поэтому нам нужно установить их вручную.

Установите torch и torchvision в соответствии с JP7.0

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

Установите onnxruntime-gpu

Параметр onnxruntime-gpu пакет, размещенный в PyPI, не имеет aarch64 бинарных файлов для Jetson. Поэтому нам нужно вручную установить этот пакет. Этот пакет необходим для некоторых экспортов.

Здесь мы загрузим и установим onnxruntime-gpu 1.24.0 с Python3.12 поддержкой.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

Запуск на JetPack 6.1

Установка пакета Ultralytics

Здесь мы установим пакет Ultralytics на Jetson с необязательными зависимостями, чтобы мы могли экспортировать модели PyTorch в другие различные форматы. Мы в основном сосредоточимся на экспорте NVIDIA TensorRT, потому что TensorRT позволит нам получить максимальную производительность от устройств Jetson.

1. Обновите список пакетов, установите pip и обновите до последней версии

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Установите ultralytics пакет pip с необязательными зависимостями

   pip install ultralytics[export]
   

3. Перезагрузите устройство

   sudo reboot
   

Установка PyTorch и Torchvision

Приведенная выше установка ultralytics установит Torch и Torchvision. Однако эти два пакета, установленные с помощью pip, не совместимы с платформой Jetson, которая основана на архитектуре ARM64. Поэтому нам нужно вручную установить предварительно собранный PyTorch pip wheel и скомпилировать или установить Torchvision из исходников.

Установите torch 2.5.0 и torchvision 0.20 согласно JP6.1

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.5.0a0+872d972e41.nv24.08-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.20.0a0+afc54f7-cp310-cp310-linux_aarch64.whl

Установите cuSPARSELt чтобы исправить проблему с зависимостями с torch 2.5.0

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/arm64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get -y install libcusparselt0 libcusparselt-dev

Установите onnxruntime-gpu

Параметр onnxruntime-gpu пакет, размещенный в PyPI, не имеет aarch64 бинарных файлов для Jetson. Поэтому нам нужно вручную установить этот пакет. Этот пакет необходим для некоторых экспортов.

Вы можете найти все доступные onnxruntime-gpu packages — с разбивкой по версии JetPack, версии Python и другим деталям совместимости — в Jetson Zoo ONNX Runtime compatibility matrixЗдесь мы загрузим и установим onnxruntime-gpu 1.20.0 с Python3.10 поддержкой.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

Запуск на JetPack 5.1.2

Установка пакета Ultralytics

Здесь мы установим пакет Ultralytics на Jetson с дополнительными зависимостями, чтобы мы могли экспортировать модели PyTorch в другие различные форматы. Мы сосредоточимся в основном на экспорте NVIDIA TensorRT, потому что TensorRT позволит нам получить максимальную производительность от устройств Jetson.

1. Обновите список пакетов, установите pip и обновите до последней версии

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Установите ultralytics пакет pip с необязательными зависимостями

   pip install ultralytics[export]
   

3. Перезагрузите устройство

   sudo reboot
   

Установка PyTorch и Torchvision

Приведенная выше установка ultralytics установит Torch и Torchvision. Однако эти два пакета, установленные с помощью pip, не совместимы с платформой Jetson, которая основана на архитектуре ARM64. Поэтому нам нужно вручную установить предварительно собранный PyTorch pip wheel и скомпилировать или установить Torchvision из исходников.

1. Удалите установленные в данный момент PyTorch и Torchvision

   pip uninstall torch torchvision
   

2. Установите torch 2.2.0 и torchvision 0.17.2 согласно JP5.1.2

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.2.0-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.17.2+c1d70fe-cp38-cp38-linux_aarch64.whl
   

Установите onnxruntime-gpu

Параметр onnxruntime-gpu пакет, размещенный в PyPI, не имеет aarch64 бинарных файлов для Jetson. Поэтому нам нужно вручную установить этот пакет. Этот пакет необходим для некоторых экспортов.

Вы можете найти все доступные onnxruntime-gpu packages — с разбивкой по версии JetPack, версии Python и другим деталям совместимости — в Jetson Zoo ONNX Runtime compatibility matrixЗдесь мы загрузим и установим onnxruntime-gpu 1.17.0 с Python3.8 поддержкой.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Использование TensorRT на NVIDIA Jetson

Среди всех форматов экспорта моделей, поддерживаемых Ultralytics, TensorRT предлагает самую высокую производительность вывода на устройствах NVIDIA Jetson, что делает его нашей главной рекомендацией для развертываний Jetson. Инструкции по настройке и расширенному использованию см. в нашем специальном руководстве по интеграции TensorRT.

Преобразование модели в TensorRT и запуск вывода

Модель YOLO11n в формате PyTorch преобразуется в TensorRT для запуска инференса с экспортированной моделью.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine # creates 'yolo11n.engine'

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

Использование NVIDIA Deep Learning Accelerator (DLA)

NVIDIA Deep Learning Accelerator (DLA) — это специализированный аппаратный компонент, встроенный в устройства NVIDIA Jetson, который оптимизирует вывод глубокого обучения для повышения энергоэффективности и производительности. Перенося задачи с GPU (освобождая его для более интенсивных процессов), DLA позволяет моделям работать с меньшим энергопотреблением, сохраняя при этом высокую пропускную способность, что идеально подходит для встроенных систем и приложений искусственного интеллекта в реальном времени.

Следующие устройства Jetson оснащены аппаратным обеспечением DLA:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", half=True)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format with DLA enabled (only works with FP16 or INT8)
# Once DLA core number is specified at export, it will use the same core at inference
yolo export model=yolo11n.pt format=engine device="dla:0" half=True # dla:0 or dla:1 corresponds to the DLA cores

# Run inference with the exported model on the DLA
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

Бенчмарки NVIDIA Jetson YOLO11

Бенчмарки YOLO11 были выполнены командой Ultralytics на 11 различных форматах моделей, измеряющих скорость и точность: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch. Бенчмарки выполнялись на NVIDIA Jetson AGX Thor Developer Kit, NVIDIA Jetson AGX Orin Developer Kit (64 ГБ), NVIDIA Jetson Orin Nano Super Developer Kit и Seeed Studio reComputer J4012 на базе устройства Jetson Orin NX 16 ГБ с точностью FP32 и размером входного изображения по умолчанию 640.

Сравнительные графики

Несмотря на то, что все экспортированные модели работают с NVIDIA Jetson, мы включили в сравнительную таблицу ниже только PyTorch, TorchScript, TensorRT, поскольку они используют GPU на Jetson и гарантированно обеспечивают наилучшие результаты. Все остальные экспортированные модели используют только CPU, и производительность у них не такая высокая, как у вышеупомянутых трех. Вы можете найти бенчмарки для всех экспортированных моделей в разделе после этой таблицы.

Комплект разработчика NVIDIA Jetson AGX Thor

NVIDIA Jetson AGX Orin Developer Kit (64GB)

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

Подробные сравнительные таблицы

В таблице ниже представлены результаты бенчмарка для пяти различных моделей (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) в 11 различных форматахPyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch) с указанием статуса, размера, метрики mAP50-95(B) и времени вывода для каждой комбинации.

Комплект разработчика NVIDIA Jetson AGX Thor

NVIDIA Jetson AGX Orin Developer Kit (64GB)

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

Ознакомьтесь с результатами других тестов от Seeed Studio, выполненных на различных версиях оборудования NVIDIA Jetson.

Воспроизведение наших результатов

Чтобы воспроизвести вышеуказанные тесты Ultralytics для всех форматов экспорта, запустите этот код:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all all export formats
yolo benchmark model=yolo11n.pt data=coco128.yaml imgsz=640

Рекомендации по использованию NVIDIA Jetson

При использовании NVIDIA Jetson рекомендуется соблюдать несколько правил, чтобы обеспечить максимальную производительность YOLO11 на NVIDIA Jetson.

1. Включите режим максимальной производительности (MAX Power Mode)

   Включение режима MAX Power Mode на Jetson гарантирует, что все ядра CPU и GPU будут включены.

   sudo nvpmodel -m 0
   

2. Включите Jetson Clocks

   Включение Jetson Clocks обеспечит работу всех ядер CPU и GPU на их максимальной частоте.

   sudo jetson_clocks
   

3. Установите приложение Jetson Stats

   Мы можем использовать приложение Jetson Stats для мониторинга температуры компонентов системы и проверки других системных данных, таких как использование CPU, GPU, RAM, изменение режимов питания, установка максимальной частоты, проверка информации о JetPack.

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

Следующие шаги

Поздравляем с успешной настройкой YOLO11 на вашем NVIDIA Jetson! Для дальнейшего обучения и поддержки посетите документацию Ultralytics YOLO11!

Часто задаваемые вопросы

Как развернуть Ultralytics YOLO11 на устройствах NVIDIA Jetson?

Развертывание Ultralytics YOLO11 на устройствах NVIDIA Jetson — это простой процесс. Сначала прошейте ваше устройство Jetson с помощью NVIDIA JetPack SDK. Затем используйте предварительно собранный образ Docker для быстрой настройки или вручную установите необходимые пакеты. Подробные инструкции для каждого подхода можно найти в разделах Быстрый старт с Docker и Начало с нативной установки.

Каковы ожидаемые показатели производительности моделей YOLO11 на устройствах NVIDIA Jetson?

Модели YOLO11 были протестированы на различных устройствах NVIDIA Jetson, демонстрируя значительное повышение производительности. Например, формат TensorRT обеспечивает наилучшую производительность инференса. В таблице в разделе «Подробные таблицы сравнения» представлен всесторонний обзор показателей производительности, таких как mAP50-95 и время инференса, для различных форматов моделей.

Зачем использовать TensorRT для развертывания YOLO11 на NVIDIA Jetson?

TensorRT настоятельно рекомендуется для развертывания моделей YOLO11 на NVIDIA Jetson из-за его оптимальной производительности. Он ускоряет вывод, используя возможности GPU Jetson, обеспечивая максимальную эффективность и скорость. Узнайте больше о том, как преобразовать в TensorRT и запустить вывод в разделе Использование TensorRT на NVIDIA Jetson.

Как установить PyTorch и Torchvision на NVIDIA Jetson?

Чтобы установить PyTorch и Torchvision на NVIDIA Jetson, сначала удалите все существующие версии, которые могли быть установлены через pip. Затем вручную установите совместимые версии PyTorch и Torchvision для архитектуры ARM64 Jetson. Подробные инструкции для этого процесса приведены в разделе Установка PyTorch и Torchvision.

Каковы лучшие практики для максимальной производительности на NVIDIA Jetson при использовании YOLO11?

Чтобы максимизировать производительность YOLO11 на NVIDIA Jetson, следуйте этим рекомендациям:

1. Включите режим MAX Power Mode, чтобы использовать все ядра CPU и GPU.
2. Включите Jetson Clocks, чтобы все ядра работали на максимальной частоте.
3. Установите приложение Jetson Stats для мониторинга системных показателей.

Для получения команд и дополнительных сведений обратитесь к разделу Рекомендации по использованию NVIDIA Jetson.

📅 Создано 1 год назад ✏️ Обновлено 4 дня назад

Комментарии