Link to this sectionРуководство по быстрому старту: NVIDIA Jetson с Ultralytics YOLO26#

Это полное руководство предоставляет подробную инструкцию по развертыванию Ultralytics YOLO26 на устройствах NVIDIA Jetson. Кроме того, здесь представлены показатели производительности, демонстрирующие возможности YOLO26 на этих компактных и мощных устройствах.

Link to this sectionЧто такое NVIDIA Jetson?#

NVIDIA Jetson — это серия встраиваемых вычислительных плат, предназначенных для внедрения ускоренных вычислений ИИ (искусственного интеллекта) на периферийные устройства. Эти компактные и мощные устройства построены на базе архитектуры GPU NVIDIA и могут запускать сложные алгоритмы ИИ и модели deep learning прямо на устройстве, без опоры на ресурсы cloud computing. Платы Jetson часто используются в робототехнике, автономных транспортных средствах, промышленной автоматизации и других приложениях, где ИИ-вывод должен выполняться локально с низкой задержкой и высокой эффективностью. Кроме того, эти платы основаны на архитектуре ARM64 и работают с более низким энергопотреблением по сравнению с традиционными GPU-вычислительными устройствами.

Link to this sectionСравнение серии NVIDIA Jetson#

NVIDIA Jetson AGX Thor — это последняя итерация семейства NVIDIA Jetson на базе архитектуры NVIDIA Blackwell, которая обеспечивает значительно улучшенную производительность ИИ по сравнению с предыдущими поколениями. В таблице ниже сравниваются некоторые устройства Jetson в этой экосистеме.

Для получения более подробной сравнительной таблицы, пожалуйста, посетите раздел Compare Specifications на официальной странице NVIDIA Jetson.

Link to this sectionЧто такое NVIDIA JetPack?#

NVIDIA JetPack SDK, обеспечивающий работу модулей Jetson, является наиболее комплексным решением. Он предоставляет полноценную среду разработки для создания сквозных ускоренных ИИ-приложений и сокращает время выхода на рынок. JetPack включает в себя Jetson Linux с загрузчиком, ядро Linux, среду рабочего стола Ubuntu и полный набор библиотек для ускорения вычислений на GPU, мультимедиа, графики и computer vision. Он также содержит примеры, документацию и инструменты разработки как для хост-компьютера, так и для комплекта разработчика, а также поддерживает SDK более высокого уровня, такие как DeepStream для потоковой видеоаналитики, Isaac для робототехники и Riva для диалогового ИИ.

Link to this sectionПрошивка JetPack на NVIDIA Jetson#

Первый шаг после получения устройства NVIDIA Jetson — прошивка NVIDIA JetPack на устройство. Существует несколько способов прошивки устройств NVIDIA Jetson.

1. Если у тебя есть официальный комплект разработчика NVIDIA, например Jetson AGX Thor Developer Kit, ты можешь скачать образ и подготовить загрузочную USB-флешку для прошивки JetPack на встроенный SSD.
2. Если у тебя есть официальный комплект разработчика NVIDIA, например Jetson Orin Nano Developer Kit, ты можешь скачать образ и подготовить SD-карту с JetPack для загрузки устройства.
3. Если у тебя любой другой комплект разработчика NVIDIA, ты можешь прошить JetPack на устройство с помощью SDK Manager.
4. Если у тебя устройство Seeed Studio reComputer J4012, ты можешь прошить JetPack на встроенный SSD, а если у тебя устройство Seeed Studio reComputer J1020 v2, ты можешь прошить JetPack на eMMC/SSD.
5. Если у тебя есть любое другое стороннее устройство на базе модуля NVIDIA Jetson, рекомендуется следовать инструкции по прошивке через командную строку.

Link to this sectionПоддержка JetPack в зависимости от устройства Jetson#

В таблице ниже показаны версии NVIDIA JetPack, поддерживаемые различными устройствами NVIDIA Jetson.

Link to this sectionБыстрый старт с Docker#

Самый быстрый способ начать работу с Ultralytics YOLO26 на NVIDIA Jetson — запустить готовые Docker-образы для Jetson. Сверься с таблицей выше и выбери версию JetPack в соответствии с тем устройством Jetson, которое у тебя есть.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

После этого переходи к разделу Use TensorRT on NVIDIA Jetson.

Link to this sectionНачало с нативной установки#

Для нативной установки без Docker, пожалуйста, обратись к шагам ниже.

Link to this sectionЗапуск на JetPack 7.0#

Link to this sectionУстановка пакета Ultralytics#

Здесь мы установим пакет Ultralytics на Jetson с дополнительными зависимостями, чтобы мы могли экспортировать модели PyTorch в другие форматы. Мы сосредоточимся в основном на экспорте NVIDIA TensorRT, поскольку TensorRT гарантирует, что мы получим максимальную производительность от устройств Jetson.

1. Обнови список пакетов, установи pip и обнови его до последней версии

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Установи pip-пакет ultralytics с дополнительными зависимостями

   pip install ultralytics[export]

3. Перезагрузи устройство

   sudo reboot

Link to this sectionУстановка PyTorch и Torchvision#

Вышеуказанная установка ultralytics установит Torch и Torchvision. Однако эти 2 пакета, установленные через pip, несовместимы для работы на Jetson AGX Thor, который поставляется с JetPack 7.0 и CUDA 13. Поэтому нам нужно установить их вручную.

Установи torch и torchvision в соответствии с JP7.0

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

Link to this sectionУстанови onnxruntime-gpu#

Пакет onnxruntime-gpu, размещенный в PyPI, не имеет aarch64 бинарных файлов для Jetson. Поэтому нам нужно установить этот пакет вручную. Этот пакет необходим для некоторых видов экспорта.

Здесь мы скачаем и установим onnxruntime-gpu 1.24.0 с поддержкой Python3.12.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

Link to this sectionЗапуск на JetPack 6.1#

Link to this sectionУстановка пакета Ultralytics#

Здесь мы установим пакет Ultralytics на Jetson с дополнительными зависимостями, чтобы мы могли экспортировать модели PyTorch в другие форматы. Мы сосредоточимся в основном на экспорте NVIDIA TensorRT, поскольку TensorRT гарантирует, что мы получим максимальную производительность от устройств Jetson.

1. Обнови список пакетов, установи pip и обнови его до последней версии

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Установи pip-пакет ultralytics с дополнительными зависимостями

   pip install ultralytics[export]

3. Перезагрузи устройство

   sudo reboot

Link to this sectionУстановка PyTorch и Torchvision#

Указанная выше установка Ultralytics установит Torch и Torchvision. Однако эти два пакета, установленные через pip, несовместимы с платформой Jetson, которая основана на архитектуре ARM64. Поэтому нам нужно вручную установить предварительно собранный pip-wheel PyTorch и скомпилировать или установить Torchvision из исходного кода.

Установи torch 2.10.0 и torchvision 0.25.0 в соответствии с JP6.1

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.10.0-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.25.0-cp310-cp310-linux_aarch64.whl

Установи cuDSS, чтобы исправить проблему с зависимостями для torch 2.10.0

wget https://developer.download.nvidia.com/compute/cudss/0.7.1/local_installers/cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo dpkg -i cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo cp /var/cudss-local-tegra-repo-ubuntu2204-0.7.1/cudss-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cudss

Link to this sectionУстанови onnxruntime-gpu#

Пакет onnxruntime-gpu, размещенный в PyPI, не имеет aarch64 бинарных файлов для Jetson. Поэтому нам нужно установить этот пакет вручную. Этот пакет необходим для некоторых видов экспорта.

Ты можешь найти все доступные пакеты onnxruntime-gpu — организованные по версии JetPack, версии Python и другим деталям совместимости — в матрице совместимости ONNX Runtime для Jetson Zoo.

Для JetPack 6 с поддержкой Python 3.10 ты можешь установить onnxruntime-gpu 1.23.0:

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.23.0-cp310-cp310-linux_aarch64.whl

В качестве альтернативы, для onnxruntime-gpu 1.20.0:

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

Link to this sectionЗапуск на JetPack 5.1.2#

Link to this sectionУстановка пакета Ultralytics#

Здесь мы установим пакет Ultralytics на Jetson с дополнительными зависимостями, чтобы мы могли экспортировать модели PyTorch в другие форматы. Мы в основном сосредоточимся на экспорте в NVIDIA TensorRT, потому что TensorRT позволит нам получить максимальную производительность от устройств Jetson.

1. Обнови список пакетов, установи pip и обнови его до последней версии

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Установи pip-пакет ultralytics с дополнительными зависимостями

   pip install ultralytics[export]

3. Перезагрузи устройство

   sudo reboot

Link to this sectionУстановка PyTorch и Torchvision#

Указанная выше установка Ultralytics установит Torch и Torchvision. Однако эти два пакета, установленные через pip, несовместимы с платформой Jetson, которая основана на архитектуре ARM64. Поэтому нам нужно вручную установить предварительно собранный pip-wheel PyTorch и скомпилировать или установить Torchvision из исходного кода.

1. Удали текущие версии PyTorch и Torchvision

   pip uninstall torch torchvision

2. Установи torch 2.1.0 и torchvision 0.16.2 в соответствии с JP5.1.2

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.16.2+c6f3977-cp38-cp38-linux_aarch64.whl

Link to this sectionУстанови onnxruntime-gpu#

Пакет onnxruntime-gpu, размещенный в PyPI, не имеет aarch64 бинарных файлов для Jetson. Поэтому нам нужно установить этот пакет вручную. Этот пакет необходим для некоторых видов экспорта.

Ты можешь найти все доступные пакеты onnxruntime-gpu — организованные по версии JetPack, версии Python и другим деталям совместимости — в матрице совместимости ONNX Runtime для Jetson Zoo. Здесь мы скачаем и установим onnxruntime-gpu 1.17.0 с поддержкой Python3.8.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Link to this sectionИспользование TensorRT на NVIDIA Jetson#

Среди всех форматов экспорта моделей, поддерживаемых Ultralytics, TensorRT обеспечивает наивысшую производительность вывода на устройствах NVIDIA Jetson, что делает его нашей основной рекомендацией для развертывания на Jetson. Инструкции по настройке и расширенное использование см. в нашем специальном руководстве по интеграции TensorRT.

Link to this sectionПреобразование модели в TensorRT и запуск вывода#

Модель YOLO26n в формате PyTorch преобразуется в TensorRT для выполнения вывода с использованием экспортированной модели.

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo26n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

Link to this sectionИспользование ускорителя глубокого обучения NVIDIA (DLA)#

Ускоритель глубокого обучения NVIDIA (DLA) — это специализированный аппаратный компонент, встроенный в устройства NVIDIA Jetson, который оптимизирует вывод глубокого обучения для повышения энергоэффективности и производительности. Разгружая GPU от задач (освобождая его для более интенсивных процессов), DLA позволяет моделям работать с меньшим энергопотреблением, сохраняя при этом высокую пропускную способность, что идеально подходит для встроенных систем и приложений ИИ реального времени.

Следующие устройства Jetson оснащены оборудованием DLA:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", half=True)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

Link to this sectionТесты производительности NVIDIA Jetson YOLO11/ YOLO26#

Тесты YOLO11/ YOLO26 были проведены командой Ultralytics на 11 различных форматах моделей для измерения скорости и точности: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch. Тесты проводились на NVIDIA Jetson AGX Thor Developer Kit, NVIDIA Jetson AGX Orin Developer Kit (64GB), NVIDIA Jetson Orin Nano Super Developer Kit и Seeed Studio reComputer J4012 на базе устройства Jetson Orin NX 16GB с точностью FP32 precision и стандартным размером входного изображения 640.

Link to this sectionГрафики сравнения#

Несмотря на то, что все экспорты моделей работают на NVIDIA Jetson, в приведенную ниже сравнительную таблицу мы включили только PyTorch, TorchScript, TensorRT, поскольку они используют GPU на Jetson и гарантированно дают наилучшие результаты. Все остальные экспорты используют только CPU, и производительность у них не такая высокая, как у этих трех. Ты можешь найти тесты для всех экспортов в разделе после этой таблицы.

Link to this sectionNVIDIA Jetson AGX Thor Developer Kit#

Link to this sectionNVIDIA Jetson AGX Orin Developer Kit (64GB)#

Link to this sectionNVIDIA Jetson Orin Nano Super Developer Kit#

Link to this sectionNVIDIA Jetson Orin NX 16GB#

Link to this sectionПодробные сравнительные таблицы#

Нижеприведенная таблица представляет результаты тестов для пяти различных моделей (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) в 11 различных форматах (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch), показывая нам статус, размер, метрику mAP50-95(B) и время вывода для каждой комбинации.

Link to this sectionNVIDIA Jetson AGX Thor Developer Kit#

Link to this sectionNVIDIA Jetson AGX Orin Developer Kit (64GB)#

Link to this sectionNVIDIA Jetson Orin Nano Super Developer Kit#

Link to this sectionNVIDIA Jetson Orin NX 16GB#

Изучи больше тестов производительности от Seeed Studio, работающих на различных версиях оборудования NVIDIA Jetson.

Link to this sectionВоспроизведи наши результаты#

Чтобы воспроизвести приведенные выше тесты производительности Ultralytics для всех форматов экспорта, запусти этот код:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

Link to this sectionРекомендации по работе с NVIDIA Jetson#

При работе с NVIDIA Jetson есть несколько рекомендаций, которые помогут тебе добиться максимальной производительности при запуске YOLO26 на NVIDIA Jetson.

1. Включи режим максимальной производительности (MAX Power Mode)

   Включение MAX Power Mode на Jetson гарантирует, что все ядра CPU и GPU будут задействованы.

   sudo nvpmodel -m 0

2. Включи Jetson Clocks

   Включение Jetson Clocks гарантирует, что все ядра CPU и GPU будут работать на максимальной частоте.

   sudo jetson_clocks

3. Установи приложение Jetson Stats

   Ты можешь использовать приложение jetson stats для мониторинга температуры компонентов системы и проверки других деталей системы, таких как загрузка CPU, GPU, RAM, изменение режимов питания, установка максимальных частот, проверка информации о JetPack.

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop

Link to this sectionСоветы по оптимизации памяти для NVIDIA Jetson#

Доступная память часто является ограничивающим фактором на устройствах Jetson, особенно на вариантах с меньшим объемом памяти, таких как Jetson Orin Nano (8 ГБ) или Orin NX 8 ГБ. Приведенные ниже советы — это практические изменения с низким уровнем риска, которые в совокупности могут освободить несколько сотен мегабайт и позволить тебе запускать более крупные модели YOLO или поддерживать дополнительные параллельные рабочие нагрузки. Полное описание см. в блоге NVIDIA по максимизации эффективности памяти для запуска более крупных моделей на NVIDIA Jetson.

Link to this section1. Переключись на загрузку без графического интерфейса (Headless/No-GUI)#

Если твой Jetson подключен по SSH или работает как промышленное устройство без монитора, отключение среды рабочего стола и графического сервера может освободить до 865 МБ ОЗУ:

sudo systemctl set-default multi-user.target
sudo reboot

Чтобы восстановить рабочий стол позже:

sudo systemctl set-default graphical.target
sudo reboot

Link to this section2. Отключи неиспользуемые системные службы#

Несущественные фоновые службы (Bluetooth, менеджеры сетевых подключений, неиспользуемые аппаратные демоны) потребляют около 32 МБ суммарно. Просмотри активные службы и отключи всё, что не требуется для твоей задачи:

# List running services
systemctl list-units --type=service --state=running

# Disable a service
sudo systemctl disable SERVICE_NAME

Link to this section3. Профилируй использование памяти#

Перед оптимизацией определи, какие процессы действительно потребляют ОЗУ. procrank сортирует процессы по PSS (Proportional Set Size), что отражает истинный объем памяти, занимаемый процессом, более точно, чем RSS (Resident Set Size — общий объем физических страниц RAM, отображаемых процессом, включая страницы, общие с другими процессами):

git clone https://github.com/csimmonds/procrank_linux.git
cd procrank_linux && make
sudo ./procrank

Для просмотра выделения памяти GPU и NvMap (CUDA/видеоконвейер) для каждого процесса:

sudo cat /sys/kernel/debug/nvmap/iovmm/clients

Link to this section4. Запускай инференс в промышленной среде без графического вывода#

Для конвейеров инференса, где не требуется просмотр в реальном времени, отключение компонентов, связанных с дисплеем (Tiler, OSD, DisplaySink), может сэкономить более 200 МБ только на конвейере. При использовании Ultralytics YOLO отключи визуализатор и записывай результаты на диск:

from ultralytics import YOLO

model = YOLO("yolo11n.engine")

# show=False prevents any display window; save=True writes annotated output to disk
results = model.predict(source="video.mp4", show=False, save=True)

Link to this sectionСуммарный эффект#

Комбинирование этих изменений особенно ценно при использовании моделей TensorRT INT8 на устройствах с ограниченным объемом памяти — это может стать решающим фактором, позволяющим или не позволяющим уместить более крупный вариант модели в память.

Link to this sectionДальнейшие шаги#

Для дополнительного обучения и поддержки обратись к документации Ultralytics YOLO26.

Link to this sectionFAQ#

Link to this sectionКак развернуть Ultralytics YOLO26 на устройствах NVIDIA Jetson?#

Развертывание Ultralytics YOLO26 на устройствах NVIDIA Jetson — это простой процесс. Сначала прошей свое устройство Jetson с помощью NVIDIA JetPack SDK. Затем либо используй готовый Docker-образ для быстрой настройки, либо вручную установи необходимые пакеты. Подробные шаги для каждого подхода можно найти в разделах Быстрый старт с Docker и Старт с нативной установкой.

Link to this sectionКаких показателей производительности можно ожидать от моделей YOLO11 на устройствах NVIDIA Jetson?#

Модели YOLO11 прошли тестирование на различных устройствах NVIDIA Jetson, показав значительное улучшение производительности. Например, формат TensorRT обеспечивает наилучшую скорость вывода. Таблица в разделе Подробные сравнительные таблицы дает исчерпывающий обзор показателей производительности, таких как mAP50-95 и время вывода для разных форматов моделей.

Link to this sectionПочему стоит использовать TensorRT для развертывания YOLO26 на NVIDIA Jetson?#

TensorRT настоятельно рекомендуется для развертывания моделей YOLO26 на NVIDIA Jetson из-за оптимальной производительности. Он ускоряет вывод, используя возможности GPU Jetson, что обеспечивает максимальную эффективность и скорость. Узнай больше о том, как конвертировать модели в TensorRT и запускать вывод, в разделе Использование TensorRT на NVIDIA Jetson.

Link to this sectionКак установить PyTorch и Torchvision на NVIDIA Jetson?#

Чтобы установить PyTorch и Torchvision на NVIDIA Jetson, сначала удали любые существующие версии, которые могли быть установлены через pip. Затем вручную установи совместимые версии PyTorch и Torchvision для архитектуры ARM64 устройства Jetson. Подробные инструкции для этого процесса приведены в разделе Установка PyTorch и Torchvision.

Link to this sectionКакие есть лучшие практики для максимизации производительности на NVIDIA Jetson при использовании YOLO26?#

Чтобы максимизировать производительность на NVIDIA Jetson с помощью YOLO26, следуй этим лучшим практикам:

1. Включи режим MAX Power Mode, чтобы использовать все ядра CPU и GPU.
2. Включи Jetson Clocks, чтобы все ядра работали на максимальной частоте.
3. Установи приложение Jetson Stats для отслеживания системных метрик.

Команды и дополнительные сведения см. в разделе Лучшие практики при использовании NVIDIA Jetson.

Link to this sectionКак освободить память на NVIDIA Jetson для запуска более крупных моделей YOLO?#

Доступная оперативная память часто становится «бутылочным горлышком» на устройствах Jetson с малым объемом памяти. Три простых действия, которые вместе могут освободить более 1 ГБ:

1. Переключись на загрузку без графической оболочки (sudo systemctl set-default multi-user.target), чтобы отключить настольный GUI (~865 МБ экономии).
2. Отключи неиспользуемые службы, такие как Bluetooth или менеджеры сетевых соединений (~32 МБ экономии).
3. Запускай вывод без отображения, установив show=False в своем вызове predict YOLO, что позволит избежать выделения памяти для конвейера отображения (~200+ МБ экономии).

Используй procrank для профилирования использования оперативной памяти каждым процессом и sudo cat /sys/kernel/debug/nvmap/iovmm/clients для проверки выделения памяти GPU. Полную информацию смотри в разделе Советы по оптимизации памяти.

Link to this sectionПочему мой экспорт TensorRT INT8 отключает end2end на JetPack 6?#

В TensorRT 10.3.0, поставляемом с JetPack 6, есть известная проблема, которая препятствует сборке движка INT8, когда включен параметр end2end=True. Когда Ultralytics обнаруживает эту комбинацию, он автоматически отключает ветку end2end, чтобы гарантировать успешный экспорт.

Чтобы восстановить экспорт end2end INT8, обнови TensorRT до более новой версии (например, 10.7.0+):

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/arm64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get install -y tensorrt

После обновления перезапусти экспорт. Более подробную информацию смотри в GitHub issue #23841.