Краткое руководство по началу работы: NVIDIA DGX Spark с Ultralytics YOLO26

Это исчерпывающее руководство содержит подробное описание развертывания Ultralytics YOLO26 на NVIDIA DGX Spark, компактном настольном суперкомпьютере с ИИ от NVIDIA. Кроме того, в нем представлены результаты сравнительных тестов производительности, демонстрирующие возможности YOLO26 на этой мощной системе.

Что такое NVIDIA DGX Spark?

NVIDIA DGX Spark — это компактный настольный суперкомпьютер для ИИ, работающий на базе суперчипа NVIDIA GB10 Grace Blackwell. Он обеспечивает до 1 петафлопса вычислительной производительности ИИ с точностью FP4, что делает его идеальным для разработчиков, исследователей и специалистов по данным, которым требуются мощные возможности ИИ в настольном форм-факторе.

Ключевые характеристики

DGX OS

NVIDIA DGX OS — это специализированный дистрибутив Linux, который обеспечивает стабильную, протестированную и поддерживаемую основу операционной системы для запуска приложений ИИ, машинного обучения и аналитики на системах DGX. Он включает:

• Надежная основа Linux, оптимизированная для рабочих нагрузок ИИ
• Предварительно настроенные драйверы и системные параметры для оборудования NVIDIA
• Обновления безопасности и возможности обслуживания системы
• Совместимость с более широкой программной экосистемой NVIDIA

DGX OS придерживается регулярного графика выпуска обновлений, которые обычно предоставляются два раза в год (примерно в феврале и августе), с дополнительными исправлениями безопасности между основными выпусками.

Панель управления DGX

DGX Spark поставляется со встроенной панелью управления DGX, которая предоставляет:

• Мониторинг системы в реальном времени: Обзор текущих операционных метрик системы
• Обновления системы: Возможность применять обновления непосредственно из панели управления
• Настройки системы: Изменение имени устройства и других конфигураций
• Интегрированный JupyterLab: Доступ к локальным Jupyter Notebooks для разработки

Доступ к панели управления

# Open an SSH tunnel
ssh -L 11000:localhost:11000 username@spark-abcd.local

# Then open in browser
# http://localhost:11000

Быстрый старт с Docker

Самый быстрый способ начать работу с Ultralytics YOLO26 на NVIDIA DGX Spark — это запуск с использованием предварительно собранных образов Docker. Тот же образ Docker, который поддерживает Jetson AGX Thor (JetPack 7.0), работает на DGX Spark с DGX OS.

t=ultralytics/ultralytics:latest-nvidia-arm64
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia --gpus all $t

После этого перейдите к разделу «Использование TensorRT на NVIDIA DGX Spark».

Начало с собственной установки

Для нативной установки без Docker выполните следующие шаги.

Установка пакета Ultralytics

Здесь мы установим пакет Ultralytics на DGX Spark с опциональными зависимостями, чтобы мы могли экспортировать модели PyTorch в другие форматы. Мы сосредоточимся в основном на экспорте в NVIDIA TensorRT, поскольку TensorRT обеспечит максимальную производительность DGX Spark.

1. Обновите список пакетов, установите pip и обновите до последней версии

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Установите ultralytics пакет pip с необязательными зависимостями

   pip install ultralytics[export]
   

3. Перезагрузите устройство

   sudo reboot
   

Установка PyTorch и Torchvision

Вышеуказанная установка Ultralytics установит Torch и Torchvision. Однако эти пакеты, установленные через pip, могут быть не полностью оптимизированы для архитектуры ARM64 DGX Spark с CUDA 13. Поэтому мы рекомендуем устанавливать версии, совместимые с CUDA 13:

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

UserWarning: Found GPU0 NVIDIA GB10 which is of cuda capability 12.1.
Minimum and Maximum cuda capability supported by this version of PyTorch is (8.0) - (12.0)

Установите onnxruntime-gpu

Параметр onnxruntime-gpu пакет, размещенный в PyPI, не имеет aarch64 бинарные файлы для систем ARM64. Поэтому нам нужно вручную установить этот пакет. Этот пакет необходим для некоторых видов экспорта.

Здесь мы скачаем и установим onnxruntime-gpu 1.24.0 с Python3.12 поддержкой.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

Использование TensorRT на NVIDIA DGX Spark

Среди всех форматов экспорта моделей, поддерживаемых Ultralytics, TensorRT обеспечивает высочайшую производительность инференса на NVIDIA DGX Spark, что делает его нашей главной рекомендацией для развертываний. Инструкции по настройке и расширенному использованию см. в нашем специальном руководстве по интеграции TensorRT.

Преобразование модели в TensorRT и запуск вывода

Модель YOLO26n в формате PyTorch преобразуется в TensorRT для выполнения инференса с экспортированной моделью.

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo26n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO26n PyTorch model to TensorRT format
yolo export model=yolo26n.pt format=engine # creates 'yolo26n.engine'

# Run inference with the exported model
yolo predict model=yolo26n.engine source='https://ultralytics.com/images/bus.jpg'

Тесты NVIDIA DGX Spark YOLO11

Бенчмарки YOLO11 были проведены командой Ultralytics на нескольких форматах моделей, измеряя скорость и точность: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch. Бенчмарки были запущены на NVIDIA DGX Spark с точностью FP32 и размером входного изображения по умолчанию 640.

Подробная сравнительная таблица

В таблице ниже представлены результаты бенчмарков для пяти различных моделей (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) в различных форматах, показывающие статус, размер, метрику mAP50-95(B) и время инференса для каждой комбинации.

Воспроизведение наших результатов

Чтобы воспроизвести вышеуказанные тесты Ultralytics для всех форматов экспорта, запустите этот код:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
yolo benchmark model=yolo26n.pt data=coco128.yaml imgsz=640

Рекомендации по использованию NVIDIA DGX Spark

При использовании NVIDIA DGX Spark следует придерживаться нескольких рекомендаций для обеспечения максимальной производительности при запуске YOLO26.

1. Мониторинг производительности системы

   Используйте инструменты мониторинга NVIDIA для track использования GPU и CPU:

   nvidia-smi
   

2. Оптимизация использования памяти

   Благодаря 128 ГБ унифицированной памяти DGX Spark может обрабатывать большие размеры пакетов и модели. Рассмотрите возможность увеличения размера пакета для повышения пропускной способности:

   from ultralytics import YOLO
   
   model = YOLO("yolo26n.engine")
   results = model.predict(source="path/to/images", batch=16)
   

3. Используйте TensorRT с FP16 или INT8

   Для достижения наилучшей производительности экспортируйте модели с точностью FP16 или INT8:

   yolo export model=yolo26n.pt format=engine half=True # FP16
   yolo export model=yolo26n.pt format=engine int8=True # INT8
   

Обновления системы (Founders Edition)

Поддержание актуальности вашей DGX Spark Founders Edition критически важно для производительности и безопасности. NVIDIA предлагает два основных метода обновления системной ОС, драйверов и прошивки.

Использование панели управления DGX (рекомендуется)

The DGX Dashboard — это рекомендуемый способ выполнения системных обновлений, обеспечивающий совместимость. Он позволяет:

• Просмотр доступных системных обновлений
• Установка исправлений безопасности и системных обновлений
• Управление обновлениями драйверов и прошивки NVIDIA

Ручные обновления системы

Для опытных пользователей обновления могут быть выполнены вручную через терминал:

sudo apt update
sudo apt dist-upgrade
sudo fwupdmgr refresh
sudo fwupdmgr upgrade
sudo reboot

Следующие шаги

Для дальнейшего изучения и поддержки см. документацию Ultralytics YOLO26.

Часто задаваемые вопросы

Как развернуть Ultralytics YOLO26 на NVIDIA DGX Spark?

Развертывание Ultralytics YOLO26 на NVIDIA DGX Spark не представляет сложности. Вы можете использовать предварительно собранный образ Docker для быстрой настройки или вручную установить необходимые пакеты. Подробные шаги для каждого подхода можно найти в разделах Быстрый старт с Docker и Начало работы с нативной установкой.

Какую производительность можно ожидать от YOLO26 на NVIDIA DGX Spark?

Модели YOLO26 демонстрируют отличную производительность на DGX Spark благодаря суперчипу GB10 Grace Blackwell. Формат TensorRT обеспечивает наилучшую производительность инференса. Конкретные результаты сравнительных тестов для различных размеров и форматов моделей приведены в разделе Подробная сравнительная таблица.

Почему мне следует использовать TensorRT для YOLO26 на DGX Spark?

TensorRT настоятельно рекомендуется для развертывания моделей YOLO26 на DGX Spark благодаря его оптимальной производительности. Он ускоряет инференс, используя возможности GPU Blackwell, обеспечивая максимальную эффективность и скорость. Подробнее см. в разделе Использование TensorRT на NVIDIA DGX Spark.

Как DGX Spark соотносится с устройствами Jetson для YOLO26?

DGX Spark предлагает значительно большую вычислительную мощность, чем устройства Jetson, с производительностью ИИ до 1 PFLOP и 128 ГБ унифицированной памяти, по сравнению с 2070 TFLOPS и 128 ГБ памяти Jetson AGX Thor. DGX Spark разработан как настольный суперкомпьютер для ИИ, в то время как устройства Jetson — это встраиваемые системы, оптимизированные для развертывания на периферии.

Могу ли я использовать один и тот же образ Docker для DGX Spark и Jetson AGX Thor?

Да! Образ ultralytics/ultralytics:latest-nvidia-arm64 Docker поддерживает как NVIDIA DGX Spark (с DGX OS), так и Jetson AGX Thor (с JetPack 7.0), поскольку оба используют архитектуру ARM64 с CUDA 13 и аналогичными программными стеками.

📅 Создано 21 дней назад ✏️ Обновлено 9 дней назад

Комментарии