Краткое руководство: NVIDIA Jetson с Ultralytics YOLO26#

В этом подробном руководстве описан процесс развёртывания Ultralytics YOLO26 на устройствах NVIDIA Jetson. Кроме того, здесь приведены тесты производительности, демонстрирующие возможности YOLO26 на этих компактных и мощных устройствах.

Что такое NVIDIA Jetson?#

NVIDIA Jetson — это серия встраиваемых вычислительных плат, предназначенных для ускорения вычислений ИИ (искусственного интеллекта) на периферийных устройствах. Эти компактные и мощные устройства построены на архитектуре GPU NVIDIA и могут запускать сложные алгоритмы ИИ и модели глубокого обучения непосредственно на устройстве, не используя ресурсы облачных вычислений. Платы Jetson часто применяются в робототехнике, автономных транспортных средствах, промышленной автоматизации и других сферах, где инференс ИИ должен выполняться локально, с низкой задержкой и высокой эффективностью. Кроме того, эти платы построены на архитектуре ARM64 и потребляют меньше энергии по сравнению с традиционными вычислительными устройствами на GPU.

Сравнение серий NVIDIA Jetson#

NVIDIA Jetson AGX Thor — новейшая модель семейства NVIDIA Jetson на базе архитектуры NVIDIA Blackwell, обеспечивающая значительно более высокую производительность ИИ по сравнению с предыдущими поколениями. В таблице ниже сравниваются некоторые устройства экосистемы Jetson.

Более подробную сравнительную таблицу смотри в разделе Сравнение характеристик на официальной странице NVIDIA Jetson.

Что такое NVIDIA JetPack?#

NVIDIA JetPack SDK, на котором работают модули Jetson, — это наиболее комплексное решение, предоставляющее полноценную среду разработки для создания ускоренных ИИ-приложений полного цикла и сокращающее время выхода на рынок. JetPack включает Jetson Linux с загрузчиком, ядром Linux, средой рабочего стола Ubuntu и полным набором библиотек для ускорения вычислений на GPU, мультимедиа, графики и компьютерного зрения. В него также входят примеры, документация и инструменты разработчика для хост-компьютера и набора разработчика, а также SDK более высокого уровня, например DeepStream для потоковой видеоаналитики, Isaac для робототехники и Riva для разговорного ИИ.

Установи JetPack на NVIDIA Jetson#

Первым делом после того, как ты получил устройство NVIDIA Jetson, установи на него NVIDIA JetPack. Есть несколько способов установить NVIDIA JetPack на устройства NVIDIA Jetson.

1. Для JetPack 7.2 на официальном наборе разработчика Jetson AGX Thor, AGX Orin или Orin Nano скачай универсальный ISO-образ Jetson, запиши его на USB-накопитель и выполни инструкции быстрого запуска для AGX Thor, AGX Orin или Orin Nano. Начиная с JetPack 7.2, для Orin Nano больше нельзя скачать образ для SD-карты; ISO-образ на USB устанавливает Jetson Linux на microSD-карту или SSD NVMe устройства.
2. Если ты намеренно используешь JetPack 6 на наборе разработчика Jetson Orin Nano, следуй инструкциям NVIDIA по обновлению JetPack 6.x и работе с SD-картой.
3. Если у тебя есть другой набор разработчика NVIDIA, ты можешь установить JetPack на устройство с помощью SDK Manager.
4. Если у тебя есть устройство Seeed Studio reComputer J4012, ты можешь установить JetPack на входящий в комплект SSD, а если у тебя есть устройство Seeed Studio reComputer J1020 v2 — установить JetPack на eMMC/ SSD.
5. Если у тебя есть любое другое стороннее устройство на базе модуля NVIDIA Jetson, рекомендуем воспользоваться установкой через командную строку.

Поддержка JetPack в зависимости от устройства Jetson#

В таблице ниже указаны версии NVIDIA JetPack, поддерживаемые разными устройствами NVIDIA Jetson.

Быстрый старт с Docker#

Самый быстрый способ начать работу с Ultralytics YOLO26 на NVIDIA Jetson — запустить готовые Docker-образы для Jetson. Посмотри таблицу выше и выбери версию JetPack в соответствии с имеющимся у тебя устройством Jetson.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Для образов JetPack 4, 5 и 6 перейди к разделу Использование TensorRT на NVIDIA Jetson. Образ JetPack 7.1 выше предназначен только для задач PyTorch.

Начни с нативной установки#

Чтобы выполнить нативную установку без Docker, воспользуйся инструкциями ниже.

Работа с JetPack 7.2#

Установка пакета Ultralytics#

Здесь мы установим пакет Ultralytics на Jetson. Зависимости для экспорта устанавливаются автоматически при первом экспорте модели, поэтому сейчас достаточно установить только основной пакет. Мы сосредоточимся на экспорте в NVIDIA TensorRT, поскольку TensorRT позволяет добиться максимальной производительности устройств Jetson.

1. Обнови список пакетов, установи pip и обнови его до последней версии

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Установи пакет ultralytics через pip

   pip install ultralytics

3. Перезагрузи устройство

   sudo reboot

Установка PyTorch и Torchvision#

Указанная выше установка ultralytics установит Torch и Torchvision. Однако эти два пакета, установленные через pip, несовместимы с устройствами JetPack 7.2 и CUDA 13. Поэтому их нужно установить вручную.

Установи torch и torchvision для JP7.2

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

Установи onnxruntime-gpu#

Используй GPU-сборку ONNX Runtime, совместимую с твоими версиями JetPack, Python и CUDA. В актуальных релизах PyPI есть сборки для ARM64, но они не заменяют специализированные пакеты для каждого выпуска JetPack.

Здесь мы скачаем и установим onnxruntime-gpu 1.24.0 с поддержкой Python3.12.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

Работа с JetPack 6.1#

Установка пакета Ultralytics#

Здесь мы установим пакет Ultralytics на Jetson. Зависимости для экспорта устанавливаются автоматически при первом экспорте модели, поэтому сейчас достаточно установить только основной пакет. Мы сосредоточимся на экспорте в NVIDIA TensorRT, поскольку TensorRT позволяет добиться максимальной производительности устройств Jetson.

1. Обнови список пакетов, установи pip и обнови его до последней версии

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Установи пакет ultralytics через pip

   pip install ultralytics

3. Перезагрузи устройство

   sudo reboot

Установка PyTorch и Torchvision#

Указанная выше установка ultralytics установит Torch и Torchvision. Однако эти два пакета, установленные через pip, несовместимы с платформой Jetson, основанной на архитектуре ARM64. Поэтому нужно вручную установить готовый pip-пакет PyTorch и собрать Torchvision из исходного кода либо установить его из исходников.

Установи torch 2.10.0 и torchvision 0.25.0 для JP6.1

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.10.0-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.25.0-cp310-cp310-linux_aarch64.whl

Установи cuDSS, чтобы устранить проблему зависимости с torch 2.10.0

wget https://developer.download.nvidia.com/compute/cudss/0.7.1/local_installers/cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo dpkg -i cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo cp /var/cudss-local-tegra-repo-ubuntu2204-0.7.1/cudss-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cudss

Установи onnxruntime-gpu#

Используй GPU-сборку ONNX Runtime, совместимую с твоими версиями JetPack, Python и CUDA. В актуальных релизах PyPI есть сборки для ARM64, но они не заменяют специализированные пакеты для каждого выпуска JetPack.

Все доступные пакеты onnxruntime-gpu, сгруппированные по версии JetPack, версии Python и другим сведениям о совместимости, можно найти в матрице совместимости ONNX Runtime из Jetson Zoo.

Для JetPack 6 с поддержкой Python 3.10 можно установить onnxruntime-gpu 1.23.0:

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.23.0-cp310-cp310-linux_aarch64.whl

Как вариант, для onnxruntime-gpu 1.20.0:

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

Работа с JetPack 5.1.2#

Установка пакета Ultralytics#

Здесь мы установим пакет Ultralytics на Jetson. Зависимости для экспорта устанавливаются автоматически при первом экспорте модели, поэтому сейчас достаточно установить только основной пакет. Мы сосредоточимся на экспорте в NVIDIA TensorRT, поскольку TensorRT позволяет добиться максимальной производительности устройств Jetson.

1. Обнови список пакетов, установи pip и обнови его до последней версии

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Установи пакет ultralytics через pip

   pip install ultralytics

3. Перезагрузи устройство

   sudo reboot

Установка PyTorch и Torchvision#

Указанная выше установка ultralytics установит Torch и Torchvision. Однако эти два пакета, установленные через pip, несовместимы с платформой Jetson, основанной на архитектуре ARM64. Поэтому нужно вручную установить готовый pip-пакет PyTorch и собрать Torchvision из исходного кода либо установить его из исходников.

1. Удали установленные PyTorch и Torchvision

   pip uninstall torch torchvision

2. Установи torch 2.1.0 и torchvision 0.16.2 для JP5.1.2

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.16.2+c6f3977-cp38-cp38-linux_aarch64.whl

Установи onnxruntime-gpu#

Используй GPU-сборку ONNX Runtime, совместимую с твоими версиями JetPack, Python и CUDA. В актуальных релизах PyPI есть сборки для ARM64, но они не заменяют специализированные пакеты для каждого выпуска JetPack.

Все доступные пакеты onnxruntime-gpu, сгруппированные по версии JetPack, версии Python и другим сведениям о совместимости, можно найти в матрице совместимости ONNX Runtime из Jetson Zoo. Здесь мы скачаем и установим onnxruntime-gpu 1.17.0 с поддержкой Python3.8.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Использование TensorRT на NVIDIA Jetson#

Среди всех форматов экспорта моделей, поддерживаемых Ultralytics, TensorRT обеспечивает самую высокую скорость инференса на устройствах NVIDIA Jetson, поэтому мы рекомендуем его для развёртывания на Jetson. Перед экспортом установи привязки TensorRT для Python, поставляемые с твоей версией JetPack, и проверь их с помощью python3 -c "import tensorrt; print(tensorrt.__version__)". Используй поддерживаемую среду выполнения TensorRT 10.x в JetPack 6/7; не заменяй её на TensorRT 11.2.1. Инструкции по настройке и расширенному использованию смотри в нашем руководстве по интеграции TensorRT.

Также можно выполнить экспорт в браузере, не настраивая локальную среду сборки. На вкладке экспорта моделей платформы Ultralytics выбери TensorRT и нужную модель Jetson. Выбор Thor проверяется на физическом устройстве Thor. Для шести вариантов Orin сейчас создаются тестовые движки, собранные для AGX-Orin; перед развёртыванием проверь их на целевой модели Orin.

Преобразование модели в TensorRT и запуск инференса#

Модель YOLO26n в формате PyTorch преобразуется в TensorRT, чтобы запускать инференс с экспортированной моделью.

from ultralytics import YOLO

# Загрузи модель YOLO26n в формате PyTorch
model = YOLO("yolo26n.pt")

# Экспортируй модель в TensorRT
model.export(format="engine")  # создаёт 'yolo26n.engine'

# Загрузи экспортированную модель TensorRT
trt_model = YOLO("yolo26n.engine")

# Выполнить инференс
results = trt_model("https://ultralytics.com/images/bus.jpg")

Использование NVIDIA Deep Learning Accelerator (DLA)#

NVIDIA Deep Learning Accelerator (DLA) — это специализированный аппаратный компонент, встроенный в устройства NVIDIA Jetson и оптимизирующий инференс глубокого обучения для повышения энергоэффективности и производительности. Перенося задачи с GPU и освобождая его для более ресурсоёмких процессов, DLA позволяет запускать модели с меньшим энергопотреблением и сохранять высокую пропускную способность. Это особенно удобно для встраиваемых систем и приложений ИИ, работающих в реальном времени.

Следующие устройства Jetson оснащены аппаратным модулем DLA:

from ultralytics import YOLO

# Загрузи модель YOLO26n в формате PyTorch
model = YOLO("yolo26n.pt")

# Экспортируй модель в TensorRT с включённым DLA (работает только с FP16 или INT8)
model.export(format="engine", device="dla:0", quantize=16)  # dla:0 или dla:1 соответствует ядрам DLA

# Загрузи экспортированную модель TensorRT
trt_model = YOLO("yolo26n.engine")

# Выполнить инференс
results = trt_model("https://ultralytics.com/images/bus.jpg")

Бенчмарки YOLO26 на NVIDIA Jetson#

Команда Ultralytics проверила YOLO26 в 11 форматах моделей, измерив скорость и точность: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch. Тесты выполнялись на наборах разработчика NVIDIA Jetson AGX Thor и NVIDIA Jetson AGX Orin (64GB), наборе разработчика NVIDIA Jetson Orin Nano Super, а также на устройстве Seeed Studio reComputer J4012 на базе Jetson Orin NX 16GB. Использовалась точность вычислений FP32 и стандартный размер входного изображения 640.

Сравнительные диаграммы#

Хотя все варианты экспорта моделей работают на NVIDIA Jetson, в сравнительную диаграмму ниже мы включили только PyTorch, TorchScript и TensorRT, поскольку они используют GPU Jetson и гарантированно обеспечивают наилучшие результаты. Все остальные варианты экспорта используют только CPU и показывают более низкую производительность, чем эти три. Бенчмарки для всех вариантов экспорта приведены в следующем разделе.

Комплект разработчика NVIDIA Jetson AGX Thor#

Комплект разработчика NVIDIA Jetson AGX Orin (64 ГБ)#

Комплект разработчика NVIDIA Jetson Orin Nano Super#

NVIDIA Jetson Orin NX 16 ГБ#

Подробные сравнительные таблицы#

В таблице ниже представлены результаты бенчмарков пяти моделей (YOLO26n, YOLO26s, YOLO26m, YOLO26l, YOLO26x) в 11 форматах (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch). Для каждой комбинации указаны статус, размер, метрика mAP50-95(B) и время инференса.

Комплект разработчика NVIDIA Jetson AGX Thor#

Комплект разработчика NVIDIA Jetson AGX Orin (64 ГБ)#

Комплект разработчика NVIDIA Jetson Orin Nano Super#

NVIDIA Jetson Orin NX 16 ГБ#

Узнай больше о бенчмарках, проведённых Seeed Studio на разных версиях оборудования NVIDIA Jetson.

Воспроизведение наших результатов#

Чтобы воспроизвести приведённые выше бенчмарки Ultralytics во всех форматах экспорта, выполни этот код:

from ultralytics import YOLO

# Загрузи модель YOLO26n в формате PyTorch
model = YOLO("yolo26n.pt")

# Сравнение скорости и точности YOLO26n на наборе данных COCO128 для всех форматов экспорта
results = model.benchmark(data="coco128.yaml", imgsz=640)

Рекомендации по использованию NVIDIA Jetson#

При использовании NVIDIA Jetson стоит придерживаться нескольких рекомендаций, чтобы обеспечить максимальную производительность YOLO26 на NVIDIA Jetson.

1. Включи режим максимальной мощности

   Включение режима максимальной мощности на Jetson гарантирует, что все ядра CPU и GPU будут активны.

   sudo nvpmodel -m 0

2. Включи Jetson Clocks

   Включение Jetson Clocks гарантирует, что все ядра CPU и GPU будут работать на максимальной частоте.

   sudo jetson_clocks

3. Установи приложение Jetson Stats

   С помощью приложения jetson stats можно отслеживать температуру компонентов системы и проверять другие сведения о системе, например загрузку CPU, GPU и RAM, менять режимы питания, устанавливать максимальные частоты и проверять информацию о JetPack.

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop

Советы по оптимизации памяти NVIDIA Jetson#

Доступная память часто становится ограничивающим фактором на устройствах Jetson, особенно на моделях с небольшим объёмом памяти, таких как Jetson Orin Nano (8 ГБ) или Orin NX 8 ГБ. Приведённые ниже практические изменения несут небольшой риск, но в совокупности могут освободить несколько сотен мегабайт и позволить запускать более крупные модели YOLO или поддерживать дополнительные параллельные задачи. Подробное руководство см. в блоге NVIDIA об эффективном использовании памяти на Jetson.

1. Переключись на загрузку без графического интерфейса#

Если Jetson подключён по SSH или работает как производственное устройство без подключённого дисплея, отключение среды рабочего стола и дисплейного сервера может освободить до 865 МБ RAM:

sudo systemctl set-default multi-user.target
sudo reboot

Чтобы позже восстановить рабочий стол:

sudo systemctl set-default graphical.target
sudo reboot

2. Отключи неиспользуемые системные службы#

Несущественные фоновые службы (Bluetooth, менеджеры подключений, неиспользуемые аппаратные демоны) в сумме занимают около 32 МБ. Посмотри список активных служб и отключи всё, что не требуется для твоего развёртывания:

# List running services
systemctl list-units --type=service --state=running

# Disable a service
sudo systemctl disable SERVICE_NAME

3. Проанализируй использование памяти#

Прежде чем оптимизировать, выясни, какие процессы действительно потребляют RAM. procrank сортирует процессы по PSS (пропорциональному размеру набора), который точнее отражает фактический объём памяти каждого процесса, чем RSS (размер резидентного набора — общий объём физических страниц RAM, отображённых процессом, включая страницы, используемые совместно с другими процессами):

git clone https://github.com/csimmonds/procrank_linux.git
cd procrank_linux && make
sudo ./procrank

Чтобы посмотреть выделение памяти GPU и NvMap (конвейер CUDA/видео) для каждого процесса:

sudo cat /sys/kernel/debug/nvmap/iovmm/clients

4. Запускай инференс без дисплея в производственной среде#

Если для конвейера инференса не нужен просмотр в реальном времени, отключение компонентов, связанных с дисплеем (Tiler, OSD, DisplaySink), может освободить 200+ МБ только за счёт конвейера. При работе с Ultralytics YOLO отключи просмотр и сохраняй результаты на диск:

from ultralytics import YOLO

model = YOLO("yolo26n.engine")

# show=False отключает все окна отображения; save=True сохраняет результаты с аннотациями на диск
results = model.predict(source="video.mp4", show=False, save=True)

Суммарный эффект#

Совместное применение этих изменений особенно полезно при запуске моделей TensorRT INT8 на устройствах с ограниченной памятью: это может решить, поместится ли в памяти более крупная версия модели.

Следующие шаги#

Дополнительные материалы и помощь см. в документации Ultralytics YOLO26.

Часто задаваемые вопросы#