퀵 스타트 가이드: NVIDIA DGX Spark 및 Ultralytics YOLO26#

이 종합 가이드는 NVIDIA의 소형 데스크톱 AI 슈퍼컴퓨터인 NVIDIA DGX Spark에 Ultralytics YOLO26을 배포하기 위한 자세한 단계별 안내를 제공합니다. 또한, 이 강력한 시스템에서 YOLO26의 역량을 보여주는 성능 벤치마크를 소개합니다.

NVIDIA DGX Spark란 무엇입니까?#

NVIDIA DGX Spark는 NVIDIA GB10 Grace Blackwell Superchip으로 구동되는 컴팩트 데스크톱 AI 슈퍼컴퓨터입니다. FP4 정밀도에서 최대 1 페타플롭(petaFLOP)의 AI 컴퓨팅 성능을 제공하므로, 데스크톱 폼 팩터에서 강력한 AI 기능이 필요한 개발자, 연구원 및 데이터 과학자에게 이상적입니다.

주요 사양#

DGX OS#

NVIDIA DGX OS는 DGX 시스템에서 AI, 머신러닝 및 분석 애플리케이션을 실행하기 위한 안정적이고 테스트를 거친 지원 기반 운영 체제를 제공하는 맞춤형 Linux 배포판입니다. 여기에는 다음이 포함됩니다:

• AI 워크로드를 위해 최적화된 강력한 Linux 기반
• NVIDIA 하드웨어를 위한 사전 구성된 드라이버 및 시스템 설정
• 보안 업데이트 및 시스템 유지 관리 기능
• 더 넓은 NVIDIA 소프트웨어 생태계와의 호환성

DGX OS는 정기적인 릴리스 일정을 따르며, 일반적으로 연 2회(2월 및 8월경) 업데이트를 제공하고 주요 릴리스 사이에 추가 보안 패치를 제공합니다.

DGX 대시보드#

DGX Spark에는 다음을 제공하는 기본 제공 DGX Dashboard가 함께 제공됩니다:

• 실시간 시스템 모니터링: 시스템의 현재 운영 지표 개요
• 시스템 업데이트: 대시보드에서 직접 업데이트를 적용하는 기능
• 시스템 설정: 장치 이름 및 기타 구성 변경
• 통합 JupyterLab: 개발을 위한 로컬 Jupyter Notebook 액세스

대시보드 액세스#

Docker를 사용한 빠른 시작#

NVIDIA DGX Spark에서 Ultralytics YOLO26을 시작하는 가장 빠른 방법은 사전 빌드된 docker 이미지를 사용하는 것입니다. Jetson AGX Thor (JetPack 7.0)를 지원하는 동일한 Docker 이미지가 DGX OS를 사용하는 DGX Spark에서도 작동합니다.

t=ultralytics/ultralytics:latest-nvidia-arm64
sudo docker pull $t && sudo docker run -it --ipc=host --device nvidia.com/gpu=all $t

위의 CDI 디바이스 요청은 DGX OS를 실행하는 DGX Spark에 적용됩니다. NVIDIA Jetson 가이드에 표시된 것처럼 Jetson AGX Thor에서는 대신 --runtime=nvidia과 함께 동일한 이미지를 실행하십시오.

이 작업이 완료되면 Use TensorRT on NVIDIA DGX Spark 섹션으로 건너뛰세요.

네이티브 설치로 시작하기#

Docker 없이 네이티브로 설치하려면 다음 단계를 따르십시오.

Ultralytics 패키지 설치#

여기서는 PyTorch 모델을 다른 다양한 형식으로 내보낼 수 있도록 선택적 종속성과 함께 DGX Spark에 Ultralytics 패키지를 설치합니다. TensorRT는 DGX Spark에서 최대 성능을 끌어낼 수 있도록 보장하므로, 주로 NVIDIA TensorRT 내보내기에 초점을 맞출 것입니다.

1. 패키지 목록 업데이트, pip 설치 및 최신 버전으로 업그레이드

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. 선택적 종속성과 함께 ultralytics pip 패키지 설치

   pip install ultralytics[export]

3. 장치 재부팅

   sudo reboot

PyTorch 및 Torchvision 설치#

위의 ultralytics 설치 과정을 통해 Torch와 Torchvision이 설치됩니다. 그러나 pip를 통해 설치된 이러한 패키지는 CUDA 13을 사용하는 DGX Spark의 ARM64 아키텍처에 완전히 최적화되지 않았을 수 있습니다. 따라서 CUDA 13 호환 버전을 설치하는 것을 권장합니다:

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

UserWarning: Found GPU0 NVIDIA GB10 which is of cuda capability 12.1.
Minimum and Maximum cuda capability supported by this version of PyTorch is (8.0) - (12.0)

onnxruntime-gpu 설치#

PyPI에 호스팅된 onnxruntime-gpu 패키지에는 ARM64 시스템용 aarch64 바이너리가 없습니다. 따라서 이 패키지를 수동으로 설치해야 합니다. 이 패키지는 일부 내보내기에 필요합니다.

여기서는 Python3.12 지원과 함께 onnxruntime-gpu 1.24.0을 다운로드하고 설치합니다.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

NVIDIA DGX Spark에서 TensorRT 사용#

Ultralytics에서 지원하는 모든 모델 내보내기 형식 중에서 TensorRT는 NVIDIA DGX Spark에서 가장 높은 추론 성능을 제공하므로 배포 시 최고의 추천 사항입니다. 설정 지침 및 고급 사용법은 전용 TensorRT 통합 가이드를 참조하세요.

모델을 TensorRT로 변환 및 추론 실행#

PyTorch 형식의 YOLO26n 모델이 TensorRT로 변환되어 내보낸 모델로 추론을 실행합니다.

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo26n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

NVIDIA DGX Spark YOLO11 벤치마크#

YOLO11 벤치마크는 Ultralytics 팀이 여러 모델 형식으로 속도와 정확도를 측정하여 실행했습니다: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch. 벤치마크는 기본 입력 이미지 크기 640의 FP32 정밀도로 NVIDIA DGX Spark에서 실행되었습니다.

상세 비교 표#

아래 표는 5가지 다른 모델(YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x)에 대한 여러 형식의 벤치마크 결과를 나타내며, 각 조합에 대한 상태, 크기, mAP50-95(B) 지표 및 추론 시간을 제공합니다.

결과 재현하기#

모든 내보내기 형식(formats)에서 위 Ultralytics 벤치마크를 재현하려면 이 코드를 실행하세요:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

NVIDIA DGX Spark를 위한 모범 사례#

NVIDIA DGX Spark를 사용할 때 YOLO26을 실행하여 최대 성능을 내기 위해 따라야 할 몇 가지 모범 사례가 있습니다.

1. 시스템 성능 모니터링

   NVIDIA의 모니터링 도구를 사용하여 GPU 및 CPU 사용률을 추적하십시오:

   nvidia-smi

2. 메모리 사용 최적화

   128GB의 통합 메모리를 갖춘 DGX Spark는 대규모 배치 크기와 모델을 처리할 수 있습니다. 처리량 향상을 위해 배치 크기를 늘리는 것을 고려하십시오:

   from ultralytics import YOLO
   
   model = YOLO("yolo26n.engine")
   results = model.predict(source="path/to/images", batch=16)

3. FP16 또는 INT8로 TensorRT 사용

   최고의 성능을 위해 FP16 또는 INT8 정밀도로 모델을 내보내십시오:

   yolo export model=yolo26n.pt format=engine quantize=16 # FP16
   yolo export model=yolo26n.pt format=engine quantize=8  # INT8

시스템 업데이트 (Founders Edition)#

DGX Spark Founders Edition을 최신 상태로 유지하는 것은 성능 및 보안을 위해 중요합니다. NVIDIA는 시스템 OS, 드라이버 및 펌웨어를 업데이트하는 두 가지 주요 방법을 제공합니다.

DGX Dashboard 사용 (권장)#

DGX Dashboard는 호환성을 보장하는 시스템 업데이트를 수행하는 권장 방법입니다. 이를 통해 다음을 수행할 수 있습니다:

• 사용 가능한 시스템 업데이트 보기
• 보안 패치 및 시스템 업데이트 설치
• NVIDIA 드라이버 및 펌웨어 업데이트 관리

수동 시스템 업데이트#

고급 사용자의 경우 터미널을 통해 수동으로 업데이트를 수행할 수 있습니다:

sudo apt update
sudo apt dist-upgrade
sudo fwupdmgr refresh
sudo fwupdmgr upgrade
sudo reboot

다음 단계#

추가적인 학습 및 지원을 보려면 Ultralytics YOLO26 문서(Docs)를 참조하세요.

FAQ#