Краткое руководство пользователя: NVIDIA Jetson с Ultralytics YOLO11

В этом подробном руководстве подробно описано развертывание Ultralytics YOLO11 на устройствах NVIDIA Jetson. Кроме того, в нем приведены контрольные показатели производительности, демонстрирующие возможности YOLO11 на этих небольших и мощных устройствах.

Смотреть: Как настроить NVIDIA Jetson с Ultralytics YOLO11

Что такое NVIDIA Джетсон?

NVIDIA Jetson - это серия встраиваемых вычислительных плат, призванных обеспечить ускоренные вычисления в области искусственного интеллекта (ИИ) на граничных устройствах. Эти компактные и мощные устройства построены на базе архитектуры NVIDIA' GPU и способны выполнять сложные алгоритмы ИИ и модели глубокого обучения непосредственно на устройстве, не прибегая к облачным вычислительным ресурсам. Платы Jetson часто используются в робототехнике, автономных транспортных средствах, промышленной автоматизации и других приложениях, где требуется локальное выполнение выводов ИИ с низкой задержкой и высокой эффективностью. Кроме того, эти платы основаны на архитектуре ARM64 и работают с меньшим энергопотреблением по сравнению с традиционными вычислительными устройствами GPU .

NVIDIA Сравнение серий Jetson

Jetson Orin - это последняя итерация семейства NVIDIA Jetson, основанная на архитектуре NVIDIA Ampere, которая обеспечивает значительно более высокую производительность искусственного интеллекта по сравнению с предыдущими поколениями. Ниже в таблице приведено сравнение нескольких устройств Jetson в экосистеме.

Более подробную сравнительную таблицу можно найти в разделе " Технические характеристики" на официальной странице NVIDIA Jetson.

Что такое NVIDIA JetPack?

NVIDIA JetPack SDK на базе модулей Jetson является наиболее полным решением и предоставляет полноценную среду разработки для создания сквозных ускоренных приложений ИИ и сокращает время выхода на рынок. JetPack включает в себя Jetson Linux с загрузчиком, ядро Linux, среду рабочего стола Ubuntu и полный набор библиотек для ускорения вычислений GPU , мультимедиа, графики и компьютерного зрения. Он также включает примеры, документацию и инструменты разработчика как для хост-компьютера, так и для комплекта разработчика, а также поддерживает SDK более высокого уровня, такие как DeepStream для анализа потокового видео, Isaac для робототехники и Riva для разговорного ИИ.

Flash JetPack на NVIDIA Jetson

Первым шагом после получения в руки устройства NVIDIA Jetson будет прошивка NVIDIA JetPack на устройство. Существует несколько различных способов прошивки устройств NVIDIA Jetson.

1. Если у вас есть официальный комплект разработчика NVIDIA , например Jetson Orin Nano Developer Kit, вы можете загрузить образ и подготовить SD-карту с JetPack для загрузки устройства.
2. Если у вас есть любой другой NVIDIA Development Kit, вы можете прошить JetPack на устройство с помощью SDK Manager.
3. Если вы являетесь владельцем устройства Seeed Studio reComputer J4012, вы можете прошить JetPack на прилагаемый SSD, а если вы являетесь владельцем устройства Seeed Studio reComputer J1020 v2, вы можете прошить JetPack на eMMC/ SSD.
4. Если вы являетесь владельцем любого другого устройства стороннего производителя, работающего на модуле NVIDIA Jetson, рекомендуется выполнить прошивку из командной строки.

Поддержка JetPack на базе устройства Jetson

В таблице ниже представлены версии NVIDIA JetPack, поддерживаемые различными устройствами NVIDIA Jetson.

Быстрый старт с Docker

Самый быстрый способ начать работу с Ultralytics YOLO11 на NVIDIA Jetson - запустить его с помощью предварительно созданных докер-образов для Jetson. Обратитесь к таблице выше и выберите версию JetPack в соответствии с имеющимся у вас устройством Jetson.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack5
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack6
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

После этого перейдите к разделу "Использование TensorRT на NVIDIA Jetson".

Начните с родной установки

Для установки "родной" версии без использования Docker, пожалуйста, обратитесь к следующим шагам.

Run on JetPack 6.1

Установите пакет Ultralytics

Здесь мы установим пакет Ultralytics на Jetson с дополнительными зависимостями, чтобы мы могли экспортировать PyTorch модели в другие различные форматы. В основном мы сосредоточимся на экспортеNVIDIA TensorRT , потому что TensorRT обеспечит нам максимальную производительность устройств Jetson.

1. Обновление списка пакетов, установка pip и обновление до последней версии

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Установите ultralytics Пакет pip с дополнительными зависимостями

   pip install ultralytics[export]
   

3. Перезагрузите устройство

   sudo reboot
   

Установите PyTorch и Torchvision

Приведенная выше установка ultralytics приведет к установке Torch и Torchvision. Однако эти два пакета, установленные с помощью pip, несовместимы для работы на платформе Jetson, которая основана на архитектуре ARM64. Поэтому нам нужно вручную установить предварительно собранный PyTorch pip wheel и скомпилировать/установить Torchvision из исходного кода.

Установите torch 2.5.0 и torchvision 0.20 according to JP6.1

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.5.0a0+872d972e41.nv24.08-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.20.0a0+afc54f7-cp310-cp310-linux_aarch64.whl

Установите cuSPARSELt to fix a dependency issue with torch 2.5.0

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/arm64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get -y install libcusparselt0 libcusparselt-dev

Установите onnxruntime-gpu

Сайт onnxruntime-gpu Пакет, размещенный в PyPI, не имеет aarch64 двоичные файлы для Jetson. Поэтому нам нужно вручную установить этот пакет. Этот пакет необходим для некоторых видов экспорта.

Все разные onnxruntime-gpu Перечислены пакеты, соответствующие различным версиям JetPack и Python . здесь. Однако здесь мы загрузим и установим onnxruntime-gpu 1.20.0 с Python3.10 поддержка.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

Run on JetPack 5.1.2

Установите пакет Ultralytics

Здесь мы установим пакет Ultralytics на Jetson с дополнительными зависимостями, чтобы мы могли экспортировать модели PyTorch в другие различные форматы. В основном мы сосредоточимся на экспортеNVIDIA TensorRT , потому что TensorRT позволит нам добиться максимальной производительности устройств Jetson.

1. Обновление списка пакетов, установка pip и обновление до последней версии

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Установите ultralytics Пакет pip с дополнительными зависимостями

   pip install ultralytics[export]
   

3. Перезагрузите устройство

   sudo reboot
   

Установите PyTorch и Torchvision

Приведенная выше установка ultralytics приведет к установке Torch и Torchvision. Однако эти два пакета, установленные с помощью pip, несовместимы для работы на платформе Jetson, которая основана на архитектуре ARM64. Поэтому нам нужно вручную установить предварительно собранный PyTorch pip wheel и скомпилировать/установить Torchvision из исходного кода.

1. Удалите установленные в данный момент PyTorch и Torchvision.

   pip uninstall torch torchvision
   

2. Установите torch 2.1.0 и torchvision 0.16.2 according to JP5.1.2

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.16.2+c6f3977-cp38-cp38-linux_aarch64.whl
   

Установите onnxruntime-gpu

Сайт onnxruntime-gpu Пакет, размещенный в PyPI, не имеет aarch64 двоичные файлы для Jetson. Поэтому нам нужно вручную установить этот пакет. Этот пакет необходим для некоторых видов экспорта.

Все разные onnxruntime-gpu Перечислены пакеты, соответствующие различным версиям JetPack и Python . здесь. Однако здесь мы загрузим и установим onnxruntime-gpu 1.17.0 с Python3.8 поддержка.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Используйте TensorRT на сайте NVIDIA Jetson.

Из всех форматов экспорта моделей, поддерживаемых Ultralytics, TensorRT обеспечивает наилучшую производительность при работе с устройствами NVIDIA Jetson, и мы рекомендуем использовать TensorRT с Jetson. У нас также есть подробный документ по TensorRT здесь.

Преобразование модели в TensorRT и проведение расчетов

Модель YOLO11n в формате PyTorch преобразуется в формат TensorRT для проведения расчетов с экспортированной моделью.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine  # creates 'yolo11n.engine'

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

Используйте NVIDIA Deep Learning Accelerator (DLA).

NVIDIA Deep Learning Accelerator (DLA) - это специализированный аппаратный компонент, встроенный в устройства NVIDIA Jetson, который оптимизирует выводы глубокого обучения для повышения энергоэффективности и производительности. Разгружая GPU от задач (освобождая его для более интенсивных процессов), DLA позволяет моделям работать с меньшим энергопотреблением при сохранении высокой пропускной способности, что идеально подходит для встраиваемых систем и приложений ИИ в реальном времени.

Следующие устройства Jetson оснащены оборудованием DLA:

• Jetson Orin NX 16GB
• Серия Jetson AGX Orin
• Серия Jetson AGX Xavier
• Серия Jetson Xavier NX

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", half=True)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format with DLA enabled (only works with FP16 or INT8)
yolo export model=yolo11n.pt format=engine device="dla:0" half=True  # dla:0 or dla:1 corresponds to the DLA cores

# Run inference with the exported model on the DLA
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA Jetson Orin YOLO11 Бенчмарки

YOLO11 benchmarks were run by the Ultralytics team on 10 different model formats measuring speed and accuracy: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, PaddlePaddle, NCNN. Benchmarks were run on both NVIDIA Jetson Orin Nano Super Developer Kit and Seeed Studio reComputer J4012 powered by Jetson Orin NX 16GB device at FP32 precision with default input image size of 640.

Comparison Charts

Несмотря на то что все экспортируемые модели работают с NVIDIA Jetson, мы включили в сравнительную таблицу только PyTorch, TorchScript, TensorRT, потому что они используют GPU на Jetson и гарантированно дают наилучшие результаты. Все остальные экспорты используют только CPU , и их производительность не так высока, как у трех вышеперечисленных. Вы можете найти контрольные показатели для всех экспортов в разделе после этой диаграммы.

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

Detailed Comparison Tables

В таблице ниже представлены результаты бенчмарка для пяти различных моделей (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) в десяти различных форматах (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel , TF GraphDef , TF Lite, PaddlePaddle, NCNN), с указанием статуса, размера, метрики mAP50-95(B) и времени вывода для каждой комбинации.

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

Изучите результаты бенчмарков Seeed Studio, проведенных на различных версиях аппаратного обеспечения NVIDIA Jetson.

Воспроизведите наши результаты

Чтобы воспроизвести приведенные выше эталоны Ultralytics на всех форматах экспорта, выполните этот код:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmark(data="coco8.yaml", imgsz=640)

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml imgsz=640

Лучшие практики при использовании NVIDIA Jetson

При использовании NVIDIA Jetson следует придерживаться нескольких рекомендаций, чтобы обеспечить максимальную производительность NVIDIA Jetson под управлением YOLO11.

1. Включить режим MAX Power

   Включение режима MAX Power Mode на Jetson обеспечит включение всех ядер CPU, GPU .

   sudo nvpmodel -m 0
   

2. Включить часы Jetson

   Включение Jetson Clocks гарантирует, что все ядра CPU, GPU будут работать на максимальной частоте.

   sudo jetson_clocks
   

3. Установите приложение Jetson Stats

   Мы можем использовать приложение jetson stats для мониторинга температуры компонентов системы и проверки других системных данных, таких как просмотр CPU, GPU, использование оперативной памяти, изменение режимов питания, установка максимальных часов, проверка информации о JetPack.

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

Следующие шаги

Поздравляем с успешной настройкой YOLO11 на вашем NVIDIA Jetson! Для дальнейшего обучения и поддержки посетите дополнительное руководство на Ultralytics YOLO11 Docs!

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ

Как развернуть Ultralytics YOLO11 на устройствах NVIDIA Jetson?

Развертывание Ultralytics YOLO11 на устройствах NVIDIA Jetson - это простой процесс. Сначала прошейте устройство Jetson с помощью NVIDIA JetPack SDK. Затем воспользуйтесь готовым образом Docker для быстрой настройки или установите необходимые пакеты вручную. Подробные шаги для каждого подхода можно найти в разделах "Быстрый старт с Docker" и "Старт с нативной установкой".

Каких показателей производительности можно ожидать от моделей YOLO11 на устройствах NVIDIA Jetson?

YOLO11 models have been benchmarked on various NVIDIA Jetson devices showing significant performance improvements. For example, the TensorRT format delivers the best inference performance. The table in the Detailed Comparison Tables section provides a comprehensive view of performance metrics like mAP50-95 and inference time across different model formats.

Почему я должен использовать TensorRT для развертывания YOLO11 на NVIDIA Jetson?

TensorRT настоятельно рекомендуется для развертывания моделей YOLO11 на NVIDIA Jetson благодаря своей оптимальной производительности. Он ускоряет проведение выводов за счет использования возможностей GPU Jetson, обеспечивая максимальную эффективность и скорость. Подробнее о том, как конвертировать в TensorRT и выполнять вычисления, читайте в разделе Использование TensorRT на NVIDIA Jetson.

Как установить PyTorch и Torchvision на NVIDIA Jetson?

To install PyTorch and Torchvision on NVIDIA Jetson, first uninstall any existing versions that may have been installed via pip. Then, manually install the compatible PyTorch and Torchvision versions for the Jetson's ARM64 architecture. Detailed instructions for this process are provided in the Installation of PyTorch and Torchvision section.

Каковы наилучшие методы достижения максимальной производительности на NVIDIA Jetson при использовании YOLO11?

Чтобы добиться максимальной производительности на NVIDIA Jetson с YOLO11, следуйте следующим рекомендациям:

1. Включите режим MAX Power Mode, чтобы задействовать все ядра CPU и GPU .
2. Включите Jetson Clocks, чтобы запустить все ядра на максимальной частоте.
3. Установите приложение Jetson Stats для мониторинга системных показателей.

Команды и дополнительные сведения см. в разделе "Лучшие практики при использовании NVIDIA Jetson".

📅 Создано 9 месяцев назад ✏️ Обновлено 7 дней назад

Комментарии