Начать

Краткое руководство: NVIDIA DGX Spark с Ultralytics YOLO26

В этом руководстве описано развёртывание Ultralytics YOLO26 на NVIDIA DGX Spark — компактном настольном суперкомпьютере NVIDIA для ИИ. В руководстве также приведены результаты тестирования YOLO11 в разных форматах экспорта на этой системе.

NVIDIA DGX Spark AI workstation overview

Примечание

Это руководство проверено на NVIDIA DGX Spark Founders Edition с DGX OS на базе Ubuntu. Оно также должно работать с последними выпусками DGX OS.

Что такое NVIDIA DGX Spark?#

NVIDIA DGX Spark — компактный настольный суперкомпьютер для ИИ на базе суперкристалла NVIDIA GB10 Grace Blackwell. Он обеспечивает до 1 петафлопа вычислительной производительности для ИИ с точностью FP4 и предназначен для разработчиков, исследователей и специалистов по данным, которым нужны мощные возможности ИИ в формате настольного компьютера.



Смотри: Как добиться до 1000 FPS с Ultralytics YOLO26 на NVIDIA DGX Spark | TensorRT и инференс с пакетной обработкой

Основные характеристики#

ХарактеристикаОписание
Производительность ИИДо 1 PFLOP (FP4)
GPUАрхитектура NVIDIA Blackwell с тензорными ядрами 5-го поколения и RT-ядрами 4-го поколения
CPU20-ядерный процессор Arm (10 Cortex-X925 + 10 Cortex-A725)
Память128 ГБ унифицированной системной памяти LPDDR5x, 256-битный интерфейс, 4266 МГц, пропускная способность 273 ГБ/с
ХранилищеNVMe M.2 на 1 ТБ или 4 ТБ с самошифрованием
Сеть1x RJ-45 (10 GbE), интеллектуальная сетевая карта ConnectX-7, Wi-Fi 7, Bluetooth 5.4
Подключение4x USB Type-C, 1x HDMI 2.1a, многоканальный звук HDMI
Обработка видео1x NVENC, 1x NVDEC

DGX OS#

NVIDIA DGX OS — специализированный дистрибутив Linux, обеспечивающий стабильную, проверенную и поддерживаемую основу операционной системы для запуска приложений ИИ, машинного обучения и аналитики на системах DGX. В него входят:

  • Надёжная основа Linux, оптимизированная для рабочих нагрузок ИИ
  • Предварительно настроенные драйверы и системные параметры для оборудования NVIDIA
  • Обновления безопасности и средства обслуживания системы
  • Совместимость с широкой программной экосистемой NVIDIA

DGX OS выпускается по регулярному графику: обновления обычно выходят дважды в год (примерно в феврале и августе), а между основными выпусками предоставляются дополнительные исправления безопасности.

Панель управления DGX#

В DGX Spark встроена панель управления DGX, которая предоставляет:

  • Мониторинг системы в реальном времени: обзор текущих рабочих показателей системы
  • Обновления системы: возможность устанавливать обновления прямо из панели управления
  • Настройки системы: изменение имени устройства и других параметров
  • Встроенный JupyterLab: доступ к локальным ноутбукам Jupyter для разработки

NVIDIA DGX management dashboard interface

Доступ к панели управления#

Нажми кнопку «Показать приложения» в левом нижнем углу рабочего стола Ubuntu, затем выбери «Панель управления DGX», чтобы открыть её в браузере.

Встроенный JupyterLab

Панель управления включает встроенный экземпляр JupyterLab, который при запуске автоматически создаёт виртуальное окружение и устанавливает рекомендуемые пакеты. Для каждого аккаунта пользователя выделяется отдельный порт для доступа к JupyterLab.

Быстрый старт с Docker#

Самый быстрый способ начать работу с Ultralytics YOLO26 на NVIDIA DGX Spark — запустить готовые образы Docker. Образ NVIDIA ARM64 поддерживает DGX Spark с DGX OS.

t=ultralytics/ultralytics:latest-nvidia-arm64
sudo docker pull $t && sudo docker run -it --ipc=host --device nvidia.com/gpu=all $t

Указанный выше запрос устройства CDI применим к DGX Spark под управлением DGX OS. Сведения о требованиях к хост-системе и ограничении TensorRT для рабочих нагрузок PyTorch на Jetson AGX Thor см. в отдельном руководстве по NVIDIA Jetson.

В этом образе используются NVIDIA PyTorch 26.10, CUDA 13.4 и TensorRT 11.4. Обнови драйвер хоста DGX OS до версии, поддерживаемой NVIDIA PyTorch 26.10, и пересобирай движки TensorRT после смены образа или целевого GPU.

После этого перейди к разделу Использование TensorRT на NVIDIA DGX Spark.

Начни с нативной установки#

Чтобы установить систему без Docker, выполни следующие шаги.

Установка пакета Ultralytics#

Здесь мы установим пакет Ultralytics на DGX Spark. Зависимости для экспорта устанавливаются автоматически при первом экспорте модели, поэтому здесь достаточно базового пакета. Это руководство посвящено экспорту в NVIDIA TensorRT, поскольку TensorRT обеспечивает максимальную производительность на DGX Spark.

  1. Обнови список пакетов, установи pip и обнови его до последней версии

    sudo apt update
    sudo apt install python3-pip -y
    pip install -U pip
  2. Установи пакет ultralytics через pip

    pip install ultralytics
  3. Перезагрузи устройство

    sudo reboot

Установка PyTorch и Torchvision#

Приведённая выше команда ultralytics устанавливает PyTorch и Torchvision. Однако пакеты, установленные через pip, могут быть не полностью оптимизированы для архитектуры ARM64 с CUDA 13 в DGX Spark. Поэтому мы рекомендуем установить версии, совместимые с CUDA 13:

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130
Информация

При запуске PyTorch 2.9.1 на NVIDIA DGX Spark при инициализации CUDA может появиться следующее UserWarning (например, при запуске yolo checks, yolo predict и т. д.):

UserWarning: Found GPU0 NVIDIA GB10 which is of cuda capability 12.1.
Minimum and Maximum cuda capability supported by this version of PyTorch is (8.0) - (12.0)

Это предупреждение можно спокойно игнорировать.

Установи onnxruntime-gpu#

В актуальных выпусках ONNX Runtime GPU доступны колёса Linux ARM64, в том числе для Python 3.12. В Docker-образе NVIDIA ARM64 устанавливается официальный пакет; для нативной установки с CUDA 13 используй:

pip install onnxruntime-gpu

Использование TensorRT на NVIDIA DGX Spark#

Из всех поддерживаемых Ultralytics форматов экспорта моделей TensorRT обеспечивает наивысшую производительность инференса на NVIDIA DGX Spark и поэтому является нашей основной рекомендацией для развёртывания.

Преобразование модели в TensorRT и запуск инференса#

Модель YOLO26n в формате PyTorch преобразуется в TensorRT, после чего экспортированная модель используется для инференса.

Пример
from ultralytics import YOLO

# Загрузи модель YOLO26n в формате PyTorch
model = YOLO("yolo26n.pt")

# Экспортируй модель в TensorRT FP16
model.export(format="engine", quantize=16)  # создаёт 'yolo26n.engine'

# Загрузи экспортированную модель TensorRT
trt_model = YOLO("yolo26n.engine")

# Выполнить инференс
results = trt_model("https://ultralytics.com/images/bus.jpg")

Результаты тестирования YOLO11 на NVIDIA DGX Spark#

Команда Ultralytics провела тесты производительности YOLO11 в нескольких форматах моделей, сравнив скорость и точность: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN и ExecuTorch. Тесты выполнялись на NVIDIA DGX Spark с точностью FP32 и стандартным размером входного изображения 640.

Подробная сравнительная таблица#

В таблице ниже приведены результаты тестирования пяти разных моделей (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) в нескольких форматах. Для каждой комбинации указаны статус, размер, метрика mAP50-95(B) и время инференса.

Производительность
ФорматСтатусРазмер на диске (МБ)mAP50-95(B)Время инференса (мс/изобр.)
PyTorch✅5.40.50712.67
TorchScript✅10.50.50832.62
ONNX✅10.20.50745.92
OpenVINO✅10.40.505814.95
TensorRT (FP32)✅12.80.50851.95
TensorRT (FP16)✅7.00.50681.01
TensorRT (INT8)✅18.60.48801.62
TF SavedModel✅25.70.507636.39
TF GraphDef✅10.30.507641.06
TF Lite✅10.30.507564.36
MNN✅10.10.507512.14
NCNN✅10.20.504112.31
ExecuTorch✅10.20.507527.61

Тестирование проведено с Ultralytics 8.3.249

Воспроизведение наших результатов#

Чтобы воспроизвести приведённые выше тесты Ultralytics для всех форматов экспорта моделей, выполни этот код:

Пример
from ultralytics import YOLO

# Загрузи модель YOLO26n в формате PyTorch
model = YOLO("yolo26n.pt")

# Сравнение скорости и точности YOLO26n на наборе данных COCO128 для всех форматов экспорта
results = model.benchmark(data="coco128.yaml", imgsz=640)

Учти, что результаты бенчмарков могут различаться в зависимости от конкретной конфигурации оборудования и программного обеспечения системы, а также от текущей нагрузки на систему во время запуска бенчмарков. Для получения наиболее надёжных результатов используй набор данных с большим количеством изображений, например data='coco.yaml' (5000 валидационных изображений).

Точность TensorRT для YOLO26 на DGX Spark#

При размере пакета 1 на DGX Spark TensorRT INT8 работает медленнее, чем FP16, для YOLO26n и YOLO26s и примерно так же быстро для YOLO26m (разница не превышает 2% как при валидации, так и по времени вычислений на GPU в trtexec). Точность INT8 также ниже на 1,1–1,8 mAP, поэтому для этих моделей лучше выбрать FP16. В таблице YOLO11 выше видна та же закономерность: TensorRT (INT8) работает медленнее TensorRT (FP16) для всех пяти моделей.

МодельФорматРазмер на диске (МБ)mAP50-95(B)Время инференса (мс/изобр.)
YOLO26nTensorRT (FP16)6.70.40320.79
YOLO26nTensorRT (INT8)28.40.38491.43
YOLO26sTensorRT (FP16)20.30.47931.49
YOLO26sTensorRT (INT8)34.40.46441.73
YOLO26mTensorRT (FP16)41.10.52662.70
YOLO26mTensorRT (INT8)45.00.51562.74

Точность и скорость получены при валидации на COCO val2017 (5000 изображений) с размером изображения 640 и размером пакета 1. Движки INT8 откалиброваны на COCO128. Тестирование выполнено с Ultralytics 8.4.192 в ultralytics/ultralytics:latest-nvidia-arm64 (NVIDIA PyTorch 26.08, TensorRT 11.2.1.2, ModelOpt 0.45.0).

Рекомендации по работе с NVIDIA DGX Spark#

При работе с NVIDIA DGX Spark следуй этим рекомендациям, чтобы добиться максимальной производительности YOLO26.

  1. Следи за производительностью системы

    Используй инструменты мониторинга NVIDIA, чтобы отслеживать загрузку GPU и CPU:

    nvidia-smi
  2. Оптимизируй использование памяти

    Благодаря 128 ГБ объединённой памяти DGX Spark может обрабатывать большие размеры пакетов и модели. Для увеличения пропускной способности попробуй повысить размер пакета:

    from ultralytics import YOLO
    
    model = YOLO("yolo26n.engine")
    results = model.predict(source="path/to/images", batch=16)
  3. Используй TensorRT FP16

    При размере пакета 1 на DGX Spark INT8 работает медленнее, чем FP16, для YOLO26n и YOLO26s, не быстрее для YOLO26m и обеспечивает меньшую точность (см. раздел Точность TensorRT для YOLO26 на DGX Spark):

    yolo export model=yolo26n.pt format=engine quantize=16 # FP16

Обновления системы (Founders Edition)#

Поддержание актуального состояния DGX Spark Founders Edition важно для производительности и безопасности. NVIDIA предлагает два основных способа обновить ОС системы, драйверы и встроенное ПО.

Рекомендуемый способ установки системных обновлений с обеспечением совместимости — использовать панель управления DGX. С её помощью можно:

  • Просматривать доступные обновления системы
  • Устанавливать исправления безопасности и обновления системы
  • Управлять обновлениями драйверов и встроенного ПО NVIDIA

Обновление системы вручную#

Опытные пользователи могут устанавливать обновления вручную через терминал:

sudo apt update
sudo apt dist-upgrade
sudo fwupdmgr refresh
sudo fwupdmgr upgrade
sudo reboot
Предупреждение

Перед обновлением убедись, что система подключена к надёжному источнику питания, а критически важные данные сохранены в резервной копии.

Следующие шаги#

Дополнительные материалы и помощь см. в документации Ultralytics YOLO26.

Часто задаваемые вопросы#

  • Развернуть Ultralytics YOLO26 на NVIDIA DGX Spark несложно. Для быстрой настройки можно использовать готовый Docker-образ или установить необходимые пакеты вручную. Подробные инструкции для обоих способов приведены в разделах Быстрый старт с Docker и Начало работы с нативной установкой.

  • Модели YOLO быстро работают на DGX Spark благодаря суперчипу GB10 Grace Blackwell. Формат TensorRT обеспечивает наилучшую производительность инференса. Ознакомься с разделом Подробная сравнительная таблица, чтобы узнать результаты тестирования YOLO11 на DGX Spark для моделей разных размеров и форматов, и с разделом Точность TensorRT для YOLO26 на DGX Spark, где приведены результаты для YOLO26 FP16 и INT8.

  • Для развёртывания моделей YOLO26 на DGX Spark рекомендуется TensorRT: он обеспечивает самый быстрый инференс среди поддерживаемых форматов экспорта, используя тензорные ядра GPU Blackwell с точностью FP16 или INT8.

  • DGX Spark обеспечивает до 1 PFLOP производительности ИИ и оснащён 128 ГБ объединённой памяти, тогда как NVIDIA Jetson AGX Thor обеспечивает 2070 TFLOPS и имеет 128 ГБ памяти. DGX Spark — настольный суперкомпьютер для ИИ, а устройства Jetson — встраиваемые системы, оптимизированные для развёртывания на периферии.

  • Для задач PyTorch ultralytics/ultralytics:latest-nvidia-arm64 поддерживает DGX Spark с DGX OS и Thor с JetPack 7.1. Входящий в комплект TensorRT 11.4 не поддерживает JetPack, поэтому для рабочих процессов TensorRT на Jetson необходимо использовать среду выполнения TensorRT 10.x, поддерживаемую соответствующей версией JetPack. См. требования к Docker для Jetson.

Комментарии

Задай вопрос, поделись результатами или помоги кому-нибудь.