Руководство по быстрому старту: NVIDIA Jetson с Ultralytics YOLO26#

Это подробное руководство содержит пошаговую инструкцию по развертыванию Ultralytics YOLO26 на устройствах NVIDIA Jetson. Кроме того, в нем представлены тесты производительности, демонстрирующие возможности YOLO26 на этих небольших и мощных устройствах.

Что такое NVIDIA Jetson?#

NVIDIA Jetson — это серия встраиваемых вычислительных плат, созданных для обеспечения ускоренных вычислений на основе ИИ (искусственного интеллекта) на периферийных устройствах. Эти компактные и мощные устройства построены на базе архитектуры GPU от NVIDIA и способны запускать сложные алгоритмы ИИ и модели deep learning непосредственно на самом устройстве, не полагаясь на ресурсы cloud computing. Платы Jetson часто используются в робототехнике, беспилотных транспортных средствах, промышленной автоматизации и других приложениях, где вывод ИИ должен выполняться локально с низкой задержкой и высокой эффективностью. Кроме того, эти платы основаны на архитектуре ARM64 и потребляют меньше энергии по сравнению с традиционными вычислительными устройствами на базе GPU.

Сравнение серии NVIDIA Jetson#

NVIDIA Jetson AGX Thor — это новейшая итерация семейства NVIDIA Jetson на базе архитектуры NVIDIA Blackwell, которая обеспечивает значительно возросшую производительность ИИ по сравнению с предыдущими поколениями. В таблице ниже приведено сравнение некоторых устройств Jetson в этой экосистеме.

Для получения более подробной сравнительной таблицы посетите раздел Compare Specifications на официальной странице NVIDIA Jetson.

Что такое NVIDIA JetPack?#

NVIDIA JetPack SDK, управляющий модулями Jetson, является наиболее комплексным решением и предоставляет полноценную среду разработки для создания сквозных ускоренных приложений ИИ, а также сокращает время выхода на рынок. JetPack включает в себя Jetson Linux с загрузчиком, ядро Linux, среду рабочего стола Ubuntu и полный набор библиотек для ускорения вычислений на GPU, мультимедиа, графики и computer vision. Он также содержит примеры, документацию и инструменты разработчика как для хост-компьютера, так и для комплекта разработчика, а также поддерживает SDK более высокого уровня, такие как DeepStream для потоковой аналитики видео, Isaac для робототехники и Riva для разговорного ИИ.

Прошивка JetPack на NVIDIA Jetson#

Первый шаг после получения устройства NVIDIA Jetson — прошивка NVIDIA JetPack на устройство. Существует несколько способов прошивки устройств NVIDIA Jetson.

1. Для JetPack 7.2 на официальном комплекте разработчика Jetson AGX Thor, AGX Orin или Orin Nano загрузите единый ISO-образ Jetson, запишите его на USB-флеш-накопитель и следуйте инструкциям по быстрому запуску для конкретного устройства: AGX Thor, AGX Orin или Orin Nano. Начиная с JetPack 7.2, Orin Nano больше не использует загружаемый образ для SD-карты; ISO-образ с USB устанавливает Jetson Linux на карту microSD или SSD-накопитель NVMe вашего устройства.
2. Если ты намеренно используешь JetPack 6 на комплекте разработчика Jetson Orin Nano Developer Kit, следуй инструкциям NVIDIA по обновлению JetPack 6.x и работе с SD-картами.
3. Если у тебя есть любой другой комплект разработчика NVIDIA, ты можешь выполнить прошивку JetPack на устройство с помощью SDK Manager.
4. Если у тебя устройство Seeed Studio reComputer J4012, ты можешь выполнить прошивку JetPack на встроенный SSD, а если у тебя устройство Seeed Studio reComputer J1020 v2 — выполнить прошивку JetPack на eMMC/ SSD.
5. Если у тебя любое другое устройство стороннего производителя на базе модуля NVIDIA Jetson, рекомендуется использовать прошивку через командную строку.

Поддержка JetPack в зависимости от устройства Jetson#

В таблице ниже показаны версии NVIDIA JetPack, поддерживаемые различными устройствами NVIDIA Jetson.

Краткое начало работы с Docker#

Самый быстрый способ начать работу с Ultralytics YOLO26 на NVIDIA Jetson — запустить готовые Docker-образы для Jetson. Сверься с таблицей выше и выбери версию JetPack в соответствии с тем устройством Jetson, которое у тебя есть.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

После этого перейдите к разделу Use TensorRT on NVIDIA Jetson section.

Начало работы с нативной установкой#

Для нативной установки без Docker, пожалуйста, обратись к шагам ниже.

Запуск на JetPack 7.2#

Установка пакета Ultralytics#

Здесь мы установим пакет Ultralytics на Jetson с дополнительными зависимостями, чтобы мы могли экспортировать модели PyTorch в другие различные форматы. Мы сосредоточимся в основном на NVIDIA TensorRT exports, поскольку TensorRT гарантирует максимальную производительность на устройствах Jetson.

1. Обнови список пакетов, установи pip и обнови его до последней версии

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Установите pip-пакет ultralytics с дополнительными зависимостями

   pip install ultralytics[export]

3. Перезагрузи устройство

   sudo reboot

Установка PyTorch и Torchvision#

Указанная выше установка Ultralytics установит Torch и Torchvision. Однако эти 2 пакета, установленные через pip, несовместимы с запуском на устройствах с JetPack 7.2 и CUDA 13. Поэтому нам нужно установить их вручную.

Установите torch и torchvision в соответствии с JP7.2

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

Установить onnxruntime-gpu#

Пакет onnxruntime-gpu, размещенный в PyPI, не содержит бинарных файлов aarch64 для Jetson. Поэтому нам нужно установить этот пакет вручную. Этот пакет необходим для некоторых видов экспорта.

Здесь мы скачаем и установим onnxruntime-gpu 1.24.0 с поддержкой Python3.12.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

Запуск на JetPack 6.1#

Установка пакета Ultralytics#

Здесь мы установим пакет Ultralytics на Jetson с дополнительными зависимостями, чтобы мы могли экспортировать модели PyTorch в другие различные форматы. Мы сосредоточимся в основном на NVIDIA TensorRT exports, поскольку TensorRT гарантирует максимальную производительность на устройствах Jetson.

1. Обнови список пакетов, установи pip и обнови его до последней версии

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Установите pip-пакет ultralytics с дополнительными зависимостями

   pip install ultralytics[export]

3. Перезагрузи устройство

   sudo reboot

Установка PyTorch и Torchvision#

Указанная выше установка Ultralytics установит Torch и Torchvision. Однако эти два пакета, установленные через pip, несовместимы с платформой Jetson, которая основана на архитектуре ARM64. Поэтому нам нужно вручную установить предварительно собранный pip-wheel PyTorch и скомпилировать или установить Torchvision из исходного кода.

Установите torch 2.10.0 и torchvision 0.25.0 в соответствии с JP6.1

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.10.0-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.25.0-cp310-cp310-linux_aarch64.whl

Установите cuDSS, чтобы исправить проблему с зависимостями для torch 2.10.0

wget https://developer.download.nvidia.com/compute/cudss/0.7.1/local_installers/cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo dpkg -i cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo cp /var/cudss-local-tegra-repo-ubuntu2204-0.7.1/cudss-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cudss

Установить onnxruntime-gpu#

Пакет onnxruntime-gpu, размещенный в PyPI, не содержит бинарных файлов aarch64 для Jetson. Поэтому нам нужно установить этот пакет вручную. Этот пакет необходим для некоторых видов экспорта.

Все доступные пакеты onnxruntime-gpu (сгруппированные по версии JetPack, версии Python и другим деталям совместимости) можно найти в матрице совместимости Jetson Zoo ONNX Runtime.

Для JetPack 6 с поддержкой Python 3.10 ты можешь установить onnxruntime-gpu 1.23.0:

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.23.0-cp310-cp310-linux_aarch64.whl

В качестве альтернативы для onnxruntime-gpu 1.20.0:

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

Запуск на JetPack 5.1.2#

Установка пакета Ultralytics#

Здесь мы установим пакет Ultralytics на Jetson с дополнительными зависимостями, чтобы мы могли экспортировать модели PyTorch в другие различные форматы. Мы сосредоточимся в основном на NVIDIA TensorRT exports, поскольку TensorRT гарантирует максимальную производительность на устройствах Jetson.

1. Обнови список пакетов, установи pip и обнови его до последней версии

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Установите pip-пакет ultralytics с дополнительными зависимостями

   pip install ultralytics[export]

3. Перезагрузи устройство

   sudo reboot

Установка PyTorch и Torchvision#

Указанная выше установка Ultralytics установит Torch и Torchvision. Однако эти два пакета, установленные через pip, несовместимы с платформой Jetson, которая основана на архитектуре ARM64. Поэтому нам нужно вручную установить предварительно собранный pip-wheel PyTorch и скомпилировать или установить Torchvision из исходного кода.

1. Удали текущие версии PyTorch и Torchvision

   pip uninstall torch torchvision

2. Установите torch 2.1.0 и torchvision 0.16.2 в соответствии с JP5.1.2

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.16.2+c6f3977-cp38-cp38-linux_aarch64.whl

Установить onnxruntime-gpu#

Пакет onnxruntime-gpu, размещенный в PyPI, не содержит бинарных файлов aarch64 для Jetson. Поэтому нам нужно установить этот пакет вручную. Этот пакет необходим для некоторых видов экспорта.

Все доступные пакеты onnxruntime-gpu (сгруппированные по версии JetPack, версии Python и другим деталям совместимости) можно найти в матрице совместимости Jetson Zoo ONNX Runtime. Здесь мы скачаем и установим onnxruntime-gpu 1.17.0 с поддержкой Python3.8.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Использование TensorRT на NVIDIA Jetson#

Среди всех форматов экспортных моделей, поддерживаемых Ultralytics, TensorRT обеспечивает наивысшую производительность инференса на устройствах NVIDIA Jetson, что делает его нашим главным рекомендательным выбором для развертывания на Jetson. Инструкции по настройке и расширенное использование см. в нашем специальном руководстве по интеграции TensorRT.

Вы также можете выполнять экспорт из браузера без локальной настройки среды сборки. На вкладке Ultralytics Platform model Export tab выберите TensorRT и нужную целевую платформу Jetson. Выбор для Thor проверяется на физическом оборудовании Thor. Шесть вариантов выбора для Orin в настоящее время создают файлы кандидатов движков, собранные под AGX-Orin; проверьте их на целевой модификации (SKU) Orin перед развертыванием.

Преобразование модели в TensorRT и запуск вывода#

Модель YOLO26n в формате PyTorch преобразуется в TensorRT для выполнения вывода с использованием экспортированной модели.

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo26n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

Использование ускорителя глубокого обучения NVIDIA (DLA)#

NVIDIA Deep Learning Accelerator (DLA) — это специализированный аппаратный компонент, встроенный в устройства NVIDIA Jetson, который оптимизирует вывод глубокого обучения для достижения энергоэффективности и высокой производительности. Перекладывая задачи с графического процессора (освобождая его для более интенсивных процессов), DLA позволяет моделям работать с меньшим энергопотреблением при сохранении высокой пропускной способности, что идеально подходит для встраиваемых систем и приложений ИИ реального времени.

Следующие устройства Jetson оснащены оборудованием DLA:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", quantize=16)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

Тесты производительности NVIDIA Jetson YOLO11/ YOLO26#

Тесты YOLO11/ YOLO26 были запущены командой Ultralytics на 11 различных форматах моделей с измерением скорости и точности: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch. Тесты выполнялись на комплекте разработчика NVIDIA Jetson AGX Thor Developer Kit, комплекте разработчика NVIDIA Jetson AGX Orin Developer Kit (64GB), комплекте разработчика NVIDIA Jetson Orin Nano Super Developer Kit и устройстве Seeed Studio reComputer J4012 на базе Jetson Orin NX 16GB в режиме прецизионности FP32 со стандартным размером входного изображения 640.

Графики сравнения#

Несмотря на то, что все экспорты моделей работают на NVIDIA Jetson, в приведенную ниже сравнительную таблицу мы включили только PyTorch, TorchScript, TensorRT, поскольку они используют GPU на Jetson и гарантированно дают наилучшие результаты. Все остальные экспорты используют только CPU, и производительность у них не такая высокая, как у этих трех. Ты можешь найти тесты для всех экспортов в разделе после этой таблицы.

NVIDIA Jetson AGX Thor Developer Kit#

NVIDIA Jetson AGX Orin Developer Kit (64GB)#

NVIDIA Jetson Orin Nano Super Developer Kit#

NVIDIA Jetson Orin NX 16GB#

Подробные сравнительные таблицы#

Нижеприведенная таблица представляет результаты тестов для пяти различных моделей (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) в 11 различных форматах (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch), показывая нам статус, размер, метрику mAP50-95(B) и время вывода для каждой комбинации.

NVIDIA Jetson AGX Thor Developer Kit#

NVIDIA Jetson AGX Orin Developer Kit (64GB)#

NVIDIA Jetson Orin Nano Super Developer Kit#

NVIDIA Jetson Orin NX 16GB#

Ознакомьтесь с другими бенчмарками от Seeed Studio, работающими на различных версиях оборудования NVIDIA Jetson.

Воспроизведи наши результаты#

Чтобы воспроизвести указанные выше бенчмарки Ultralytics для всех форматов экспорта, выполните этот код:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

Рекомендации по работе с NVIDIA Jetson#

При работе с NVIDIA Jetson есть несколько рекомендаций, которые помогут тебе добиться максимальной производительности при запуске YOLO26 на NVIDIA Jetson.

1. Включи режим максимальной производительности (MAX Power Mode)

   Включение MAX Power Mode на Jetson гарантирует, что все ядра CPU и GPU будут задействованы.

   sudo nvpmodel -m 0

2. Включи Jetson Clocks

   Включение Jetson Clocks гарантирует, что все ядра CPU и GPU будут работать на максимальной частоте.

   sudo jetson_clocks

3. Установи приложение Jetson Stats

   Ты можешь использовать приложение jetson stats для мониторинга температуры компонентов системы и проверки других деталей системы, таких как загрузка CPU, GPU, RAM, изменение режимов питания, установка максимальных частот, проверка информации о JetPack.

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop

Советы по оптимизации памяти для NVIDIA Jetson#

Доступный объем памяти часто является ограничивающим фактором на устройствах Jetson, особенно на вариантах с меньшим объемом памяти, таких как Jetson Orin Nano (8 ГБ) или Orin NX (8 ГБ). Приведенные ниже советы представляют собой практичные и безопасные изменения, которые в совокупности позволяют освободить несколько сотен мегабайт и запустить более крупные модели YOLO или поддержать дополнительные параллельные рабочие нагрузки. Подробное описание см. в блоге NVIDIA об оптимизации памяти на Jetson.

1. Переключись на загрузку без графического интерфейса (Headless/No-GUI)#

Если твой Jetson подключен по SSH или работает как промышленное устройство без монитора, отключение среды рабочего стола и графического сервера может освободить до 865 МБ ОЗУ:

sudo systemctl set-default multi-user.target
sudo reboot

Чтобы восстановить рабочий стол позже:

sudo systemctl set-default graphical.target
sudo reboot

2. Отключи неиспользуемые системные службы#

Несущественные фоновые службы (Bluetooth, менеджеры сетевых подключений, неиспользуемые аппаратные демоны) потребляют около 32 МБ суммарно. Просмотри активные службы и отключи всё, что не требуется для твоей задачи:

# List running services
systemctl list-units --type=service --state=running

# Disable a service
sudo systemctl disable SERVICE_NAME

3. Профилируй использование памяти#

Перед оптимизацией определите, какие процессы действительно потребляют оперативной память. procrank сортирует процессы по параметру PSS (Proportional Set Size), который отражает истинный объем памяти на один процесс точнее, чем RSS (Resident Set Size, общий объем страниц физической ОЗУ, отображаемых процессом, включая страницы, общие с другими процессами):

git clone https://github.com/csimmonds/procrank_linux.git
cd procrank_linux && make
sudo ./procrank

Для просмотра выделения памяти GPU и NvMap (CUDA/видеоконвейер) для каждого процесса:

sudo cat /sys/kernel/debug/nvmap/iovmm/clients

4. Запускай инференс в промышленной среде без графического вывода#

Для конвейеров инференса, где не требуется просмотр в реальном времени, отключение компонентов, связанных с дисплеем (Tiler, OSD, DisplaySink), может сэкономить более 200 МБ только на конвейере. При использовании Ultralytics YOLO отключи визуализатор и записывай результаты на диск:

from ultralytics import YOLO

model = YOLO("yolo11n.engine")

# show=False prevents any display window; save=True writes annotated output to disk
results = model.predict(source="video.mp4", show=False, save=True)

Суммарный эффект#

Комбинирование этих изменений особенно ценно при использовании моделей TensorRT INT8 на устройствах с ограниченным объемом памяти — это может стать решающим фактором, позволяющим или не позволяющим уместить более крупный вариант модели в память.

Дальнейшие шаги#

Для дальнейшего обучения и получения поддержки обратитесь к документации Ultralytics YOLO26.

FAQ#