Краткое руководство: NVIDIA DGX Spark с Ultralytics YOLO26#

Это подробное руководство содержит пошаговую инструкцию по развертыванию Ultralytics YOLO26 на NVIDIA DGX Spark, компактном настольном суперкомпьютере NVIDIA для ИИ. Кроме того, в нем представлены тесты производительности, демонстрирующие возможности YOLO26 на этой мощной системе.

Что такое NVIDIA DGX Spark?#

NVIDIA DGX Spark — это компактный настольный суперкомпьютер для ИИ, работающий на базе суперчипа NVIDIA GB10 Grace Blackwell. Он обеспечивает производительность до 1 петафлопса в вычислениях ИИ при точности FP4, что делает его идеальным решением для разработчиков, исследователей и специалистов по анализу данных, которым необходимы мощные вычислительные ресурсы в настольном форм-факторе.

Основные технические характеристики#

DGX OS#

NVIDIA DGX OS — это специализированный дистрибутив Linux, который обеспечивает стабильную, проверенную и поддерживаемую операционную систему для запуска приложений ИИ, машинного обучения и аналитики на системах DGX. Он включает в себя:

• Надежную основу Linux, оптимизированную для рабочих нагрузок ИИ
• Предварительно настроенные драйверы и системные параметры для оборудования NVIDIA
• Возможности обновлений безопасности и обслуживания системы
• Совместимость с более широкой экосистемой программного обеспечения NVIDIA

DGX OS выпускается по регулярному графику: обновления обычно выходят дважды в год (около февраля и августа), а между основными выпусками предоставляются дополнительные исправления безопасности.

Панель управления DGX#

DGX Spark поставляется со встроенной панелью управления DGX Dashboard, которая предоставляет:

• Мониторинг системы в реальном времени: обзор текущих операционных метрик системы
• Обновления системы: возможность применять обновления прямо из панели управления
• Системные настройки: изменение имени устройства и других конфигураций
• Интегрированный JupyterLab: доступ к локальным Jupyter Notebooks для разработки

Доступ к панели управления#

Краткое начало работы с Docker#

Самый быстрый способ начать работу с Ultralytics YOLO26 на NVIDIA DGX Spark — это использовать предварительно собранные образы Docker. Тот же образ Docker, который поддерживает Jetson AGX Thor (JetPack 7.0), работает и на DGX Spark с DGX OS.

t=ultralytics/ultralytics:latest-nvidia-arm64
sudo docker pull $t && sudo docker run -it --ipc=host --device nvidia.com/gpu=all $t

Указанный выше запрос устройства CDI применим к DGX Spark под управлением DGX OS. На Jetson AGX Thor запусти тот же образ с --runtime=nvidia, как показано в руководстве по NVIDIA Jetson.

После этого перейди к разделу Использование TensorRT на NVIDIA DGX Spark.

Начало работы с нативной установкой#

Для нативной установки без Docker выполни следующие действия.

Установка пакета Ultralytics#

Здесь мы установим пакет Ultralytics на DGX Spark с дополнительными зависимостями, чтобы можно было экспортировать модели PyTorch в другие различные форматы. Мы в основном сосредоточимся на экспорте в NVIDIA TensorRT, потому что TensorRT позволит получить максимальную производительность от DGX Spark.

1. Обнови список пакетов, установи pip и обнови его до последней версии

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Установите pip-пакет ultralytics с дополнительными зависимостями

   pip install ultralytics[export]

3. Перезагрузи устройство

   sudo reboot

Установка PyTorch и Torchvision#

Установка ultralytics выше установит Torch и Torchvision. Однако эти пакеты, установленные через pip, могут быть не полностью оптимизированы для архитектуры ARM64 DGX Spark с CUDA 13. Поэтому мы рекомендуем устанавливать версии, совместимые с CUDA 13:

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

UserWarning: Found GPU0 NVIDIA GB10 which is of cuda capability 12.1.
Minimum and Maximum cuda capability supported by this version of PyTorch is (8.0) - (12.0)

Установить onnxruntime-gpu#

Пакет onnxruntime-gpu, размещенный в PyPI, не имеет бинарных файлов aarch64 для систем ARM64. Поэтому нам нужно установить этот пакет вручную. Этот пакет необходим для некоторых вариантов экспорта.

Здесь мы скачаем и установим onnxruntime-gpu 1.24.0 с поддержкой Python3.12.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

Использование TensorRT на NVIDIA DGX Spark#

Среди всех форматов экспорта моделей, поддерживаемых Ultralytics, TensorRT обеспечивает наивысшую производительность инференса на NVIDIA DGX Spark, что делает его нашим главным рекомендательным выбором для развертывания. Инструкции по настройке и расширенное использование см. в нашем специальном руководстве по интеграции TensorRT.

Преобразование модели в TensorRT и запуск вывода#

Модель YOLO26n в формате PyTorch преобразуется в TensorRT для выполнения вывода с использованием экспортированной модели.

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo26n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

Бенчмарки YOLO11 на NVIDIA DGX Spark#

Тесты производительности YOLO11 были запущены командой Ultralytics для нескольких форматов моделей с измерением скорости и точности: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch. Тесты производительности выполнялись на NVIDIA DGX Spark с точностью FP32 и стандартным размером входного изображения 640.

Подробная сравнительная таблица#

В таблице ниже представлены результаты тестирования пяти различных моделей (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) в различных форматах, что дает нам статус, размер, метрику mAP50-95(B) и время вывода для каждой комбинации.

Воспроизведи наши результаты#

Чтобы воспроизвести указанные выше бенчмарки Ultralytics для всех форматов экспорта, выполните этот код:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

Рекомендации для NVIDIA DGX Spark#

При использовании NVIDIA DGX Spark следуй нескольким рекомендациям, чтобы обеспечить максимальную производительность при работе с YOLO26.

1. Мониторинг производительности системы

   Используй инструменты мониторинга NVIDIA для отслеживания загрузки GPU и CPU:

   nvidia-smi

2. Оптимизация использования памяти

   Благодаря 128 ГБ объединенной памяти DGX Spark может обрабатывать большие размеры пакетов (batch sizes) и модели. Подумай об увеличении размера пакета для повышения пропускной способности:

   from ultralytics import YOLO
   
   model = YOLO("yolo26n.engine")
   results = model.predict(source="path/to/images", batch=16)

3. Используй TensorRT с FP16 или INT8

   Для достижения наилучшей производительности экспортируй модели с использованием точности FP16 или INT8:

   yolo export model=yolo26n.pt format=engine quantize=16 # FP16
   yolo export model=yolo26n.pt format=engine quantize=8  # INT8

Обновления системы (Founders Edition)#

Поддержание актуальной версии DGX Spark Founders Edition критически важно для производительности и безопасности. NVIDIA предоставляет два основных метода обновления ОС системы, драйверов и прошивки.

Использование DGX Dashboard (рекомендуется)#

DGX Dashboard — это рекомендуемый способ выполнения системных обновлений, обеспечивающий совместимость. Он позволяет:

• Просматривать доступные обновления системы
• Устанавливать патчи безопасности и системные обновления
• Управлять обновлениями драйверов и прошивки NVIDIA

Обновления системы вручную#

Для продвинутых пользователей обновления можно выполнять вручную через терминал:

sudo apt update
sudo apt dist-upgrade
sudo fwupdmgr refresh
sudo fwupdmgr upgrade
sudo reboot

Дальнейшие шаги#

Для дальнейшего обучения и получения поддержки обратитесь к документации Ultralytics YOLO26.

FAQ#