Руководство по быстрому старту: NVIDIA DGX Spark с Ultralytics YOLO26

Это подробное руководство содержит пошаговые инструкции по развертыванию Ultralytics YOLO26 на NVIDIA DGX Spark, компактном настольном AI-суперкомпьютере от NVIDIA. Кроме того, здесь представлены результаты тестов производительности, демонстрирующие возможности YOLO26 на этой мощной системе.

Что такое NVIDIA DGX Spark?

NVIDIA DGX Spark — это компактный настольный AI-суперкомпьютер на базе суперчипа NVIDIA GB10 Grace Blackwell. Он обеспечивает производительность ИИ до 1 петафлопса при точности FP4, что делает его идеальным выбором для разработчиков, исследователей и специалистов по данным, которым требуются мощные ИИ-возможности в форм-факторе настольного ПК.

Основные характеристики

DGX OS

NVIDIA DGX OS — это специализированный дистрибутив Linux, который обеспечивает стабильную, протестированную и поддерживаемую операционную систему для запуска приложений ИИ, машинного обучения и аналитики на системах DGX. Он включает в себя:

• Надежную основу Linux, оптимизированную для рабочих нагрузок ИИ
• Предварительно настроенные драйверы и системные параметры для оборудования NVIDIA
• Возможности обновлений безопасности и обслуживания системы
• Совместимость с более широкой экосистемой программного обеспечения NVIDIA

DGX OS выпускается по регулярному графику, обновления обычно выходят дважды в год (примерно в феврале и августе), с дополнительными патчами безопасности, предоставляемыми между основными релизами.

DGX Dashboard

DGX Spark поставляется со встроенной DGX Dashboard, которая предоставляет:

• Мониторинг системы в реальном времени: Обзор текущих метрик работы системы
• Обновления системы: Возможность применения обновлений напрямую через панель управления
• Настройки системы: Изменение имени устройства и других параметров конфигурации
• Интегрированный JupyterLab: Доступ к локальным Jupyter Notebooks для разработки

Доступ к панели управления

Быстрый старт с Docker

Самый быстрый способ начать работу с Ultralytics YOLO26 на NVIDIA DGX Spark — использовать предварительно собранные образы Docker. Тот же образ Docker, который поддерживает Jetson AGX Thor (JetPack 7.0), работает на DGX Spark с DGX OS.

t=ultralytics/ultralytics:latest-nvidia-arm64
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia --gpus all $t

После этого переходи к разделу Использование TensorRT на NVIDIA DGX Spark.

Начало работы с нативной установкой

Для нативной установки без Docker следуй этим шагам.

Установка пакета Ultralytics

Здесь мы установим пакет Ultralytics на DGX Spark с дополнительными зависимостями, чтобы можно было экспортировать модели PyTorch в другие форматы. Мы сосредоточимся в основном на экспорте в NVIDIA TensorRT, так как TensorRT обеспечит максимальную производительность DGX Spark.

1. Обнови список пакетов, установи pip и обновись до последней версии

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Установи pip-пакет ultralytics с дополнительными зависимостями

   pip install ultralytics[export]

3. Перезагрузи устройство

   sudo reboot

Установка PyTorch и Torchvision

Приведенная выше установка ultralytics установит Torch и Torchvision. Однако эти пакеты, установленные через pip, могут быть не полностью оптимизированы для архитектуры ARM64 DGX Spark с CUDA 13. Поэтому мы рекомендуем устанавливать версии, совместимые с CUDA 13:

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

UserWarning: Found GPU0 NVIDIA GB10 which is of cuda capability 12.1.
Minimum and Maximum cuda capability supported by this version of PyTorch is (8.0) - (12.0)

Установка onnxruntime-gpu

Пакет onnxruntime-gpu, размещенный в PyPI, не имеет бинарных файлов aarch64 для систем ARM64. Поэтому нам нужно установить этот пакет вручную. Этот пакет необходим для некоторых видов экспорта.

Здесь мы скачаем и установим onnxruntime-gpu 1.24.0 с поддержкой Python3.12.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

Использование TensorRT на NVIDIA DGX Spark

Среди всех форматов экспорта моделей, поддерживаемых Ultralytics, TensorRT предлагает самую высокую производительность вывода на NVIDIA DGX Spark, что делает его нашей основной рекомендацией для развертывания. Инструкции по настройке и расширенному использованию см. в нашем специальном руководстве по интеграции TensorRT.

Конвертация модели в TensorRT и запуск вывода

Модель YOLO26n в формате PyTorch конвертируется в TensorRT для запуска вывода с использованием экспортированной модели.

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo26n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

Тесты производительности YOLO11 на NVIDIA DGX Spark

Тесты производительности YOLO11 были проведены командой Ultralytics для различных форматов моделей с измерением скорости и точности: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch. Тестирование проводилось на NVIDIA DGX Spark при точности FP32 со стандартным размером входного изображения 640.

Подробная сравнительная таблица

В таблице ниже представлены результаты тестирования пяти различных моделей (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) в разных форматах, включая статус, размер, метрику mAP50-95(B) и время вывода для каждой комбинации.

Воспроизведи наши результаты

Чтобы воспроизвести приведенные выше бенчмарки Ultralytics для всех форматов экспорта, запусти этот код:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

Лучшие практики для NVIDIA DGX Spark

При использовании NVIDIA DGX Spark следует соблюдать несколько практических рекомендаций, чтобы добиться максимальной производительности при работе с YOLO26.

1. Мониторинг производительности системы

   Используй инструменты мониторинга NVIDIA для отслеживания загрузки GPU и CPU:

   nvidia-smi

2. Оптимизация использования памяти

   Благодаря 128 ГБ унифицированной памяти DGX Spark может обрабатывать большие размеры пакетов (batch sizes) и модели. Подумай об увеличении размера пакета для повышения пропускной способности:

   from ultralytics import YOLO
   
   model = YOLO("yolo26n.engine")
   results = model.predict(source="path/to/images", batch=16)

3. Используй TensorRT с FP16 или INT8

   Для достижения наилучшей производительности экспортируй модели с точностью FP16 или INT8:

   yolo export model=yolo26n.pt format=engine half=True # FP16
   yolo export model=yolo26n.pt format=engine int8=True # INT8

Обновления системы (Founders Edition)

Поддержание твоей системы DGX Spark Founders Edition в актуальном состоянии критически важно для производительности и безопасности. NVIDIA предоставляет два основных метода обновления ОС, драйверов и прошивки системы.

Использование DGX Dashboard (рекомендуется)

DGX Dashboard — это рекомендуемый способ выполнения обновлений системы, обеспечивающий совместимость. Он позволяет:

• Просматривать доступные обновления системы
• Устанавливать патчи безопасности и обновления системы
• Управлять обновлениями драйверов и прошивки NVIDIA

Обновления системы вручную

Для опытных пользователей обновления можно выполнить вручную через терминал:

sudo apt update
sudo apt dist-upgrade
sudo fwupdmgr refresh
sudo fwupdmgr upgrade
sudo reboot

Следующие шаги

Для дальнейшего обучения и поддержки смотри документацию Ultralytics YOLO26.

Часто задаваемые вопросы (FAQ)

Как развернуть Ultralytics YOLO26 на NVIDIA DGX Spark?

Развертывание Ultralytics YOLO26 на NVIDIA DGX Spark выполняется просто. Ты можешь использовать готовый образ Docker для быстрой настройки или установить необходимые пакеты вручную. Подробные шаги для каждого подхода можно найти в разделах Быстрый старт с Docker и Начало работы с нативной установкой.

Какую производительность можно ожидать от YOLO26 на NVIDIA DGX Spark?

Модели YOLO26 демонстрируют отличную производительность на DGX Spark благодаря суперчипу GB10 Grace Blackwell. Формат TensorRT обеспечивает наилучшую скорость инференса. Ознакомься с разделом Подробная сравнительная таблица для получения конкретных результатов бенчмарков для разных размеров и форматов моделей.

Почему стоит использовать TensorRT для YOLO26 на DGX Spark?

TensorRT настоятельно рекомендуется для развертывания моделей YOLO26 на DGX Spark из-за его оптимальной производительности. Он ускоряет инференс за счет использования возможностей GPU Blackwell, обеспечивая максимальную эффективность и скорость. Узнай больше в разделе Использование TensorRT на NVIDIA DGX Spark.

Как DGX Spark соотносится с устройствами Jetson при работе с YOLO26?

DGX Spark предлагает значительно большую вычислительную мощность, чем устройства Jetson: до 1 PFLOP производительности ИИ и 128 ГБ унифицированной памяти по сравнению с 2070 TFLOPS и 128 ГБ памяти у Jetson AGX Thor. DGX Spark разработан как настольный ИИ-суперкомпьютер, в то время как устройства Jetson — это встраиваемые системы, оптимизированные для развертывания на периферии (edge).

Могу ли я использовать один и тот же образ Docker для DGX Spark и Jetson AGX Thor?

Да! Образ Docker ultralytics/ultralytics:latest-nvidia-arm64 поддерживает как NVIDIA DGX Spark (с DGX OS), так и Jetson AGX Thor (с JetPack 7.0), поскольку оба используют архитектуру ARM64 с CUDA 13 и схожие программные стеки.