Hướng dẫn Bắt đầu Nhanh: NVIDIA DGX Spark với Ultralytics YOLO26

Hướng dẫn toàn diện này cung cấp hướng dẫn chi tiết để triển khai Ultralytics YOLO26 trên NVIDIA DGX Spark, siêu máy tính AI để bàn nhỏ gọn của NVIDIA. Ngoài ra, nó còn trình bày các điểm chuẩn hiệu suất để chứng minh khả năng của YOLO26 trên hệ thống mạnh mẽ này.

NVIDIA DGX Spark là gì?

NVIDIA DGX Spark là một siêu máy tính AI để bàn nhỏ gọn được trang bị NVIDIA GB10 Grace Blackwell Superchip. Nó cung cấp hiệu suất tính toán AI lên tới 1 petaFLOP với độ chính xác FP4, lý tưởng cho các nhà phát triển, nhà nghiên cứu và nhà khoa học dữ liệu cần khả năng AI mạnh mẽ trong một thiết bị để bàn.

Thông số kỹ thuật chính

DGX OS

NVIDIA DGX OS là một bản phân phối Linux tùy chỉnh cung cấp nền tảng hệ điều hành ổn định, đã được kiểm thử và hỗ trợ để chạy các ứng dụng AI, học máy và phân tích trên các hệ thống DGX. Nó bao gồm:

• Một nền tảng Linux mạnh mẽ được tối ưu hóa cho các tác vụ AI
• Trình điều khiển và cài đặt hệ thống được cấu hình sẵn cho phần cứng NVIDIA
• Cập nhật bảo mật và khả năng bảo trì hệ thống
• Khả năng tương thích với hệ sinh thái phần mềm NVIDIA rộng lớn hơn

DGX OS tuân theo lịch trình phát hành định kỳ với các bản cập nhật thường được cung cấp hai lần mỗi năm (khoảng tháng 2 và tháng 8), cùng với các bản vá bảo mật bổ sung được cung cấp giữa các bản phát hành chính.

Bảng điều khiển DGX

DGX Spark đi kèm với một DGX Dashboard tích hợp sẵn, cung cấp:

• Giám sát hệ thống thời gian thực: Tổng quan về các chỉ số hoạt động hiện tại của hệ thống
• Cập nhật hệ thống: Khả năng áp dụng các bản cập nhật trực tiếp từ bảng điều khiển
• Cài đặt hệ thống: Thay đổi tên thiết bị và các cấu hình khác
• JupyterLab tích hợp: Truy cập các Jupyter Notebook cục bộ để phát triển

Truy cập Bảng điều khiển

# Open an SSH tunnel
ssh -L 11000:localhost:11000 username@spark-abcd.local

# Then open in browser
# http://localhost:11000

Quick Start with Docker

Cách nhanh nhất để bắt đầu với Ultralytics YOLO26 trên NVIDIA DGX Spark là chạy bằng các ảnh Docker được xây dựng sẵn. Cùng một ảnh Docker hỗ trợ Jetson AGX Thor (JetPack 7.0) cũng hoạt động trên DGX Spark với DGX OS.

t=ultralytics/ultralytics:latest-nvidia-arm64
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia --gpus all $t

Sau khi hoàn tất việc này, hãy chuyển đến mục Sử dụng TensorRT trên NVIDIA DGX Spark.

Start with Native Installation

Để cài đặt gốc mà không dùng Docker, hãy làm theo các bước sau.

Cài đặt Gói Ultralytics

Tại đây, chúng ta sẽ cài đặt gói Ultralytics trên DGX Spark với các phụ thuộc tùy chọn để chúng ta có thể xuất các mô hình PyTorch sang các định dạng khác nhau. Chúng ta sẽ chủ yếu tập trung vào xuất NVIDIA TensorRT vì TensorRT sẽ đảm bảo chúng ta có thể đạt được hiệu suất tối đa từ DGX Spark.

1. Cập nhật danh sách các gói, cài đặt pip và nâng cấp lên phiên bản mới nhất

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Cài đặt ultralytics gói pip với các dependency tùy chọn

   pip install ultralytics[export]
   

3. Khởi động lại thiết bị

   sudo reboot
   

Install PyTorch and Torchvision

Việc cài đặt Ultralytics ở trên sẽ cài đặt Torch và Torchvision. Tuy nhiên, các gói này được cài đặt qua pip có thể không được tối ưu hóa hoàn toàn cho kiến trúc ARM64 của DGX Spark với CUDA 13. Do đó, chúng tôi khuyến nghị cài đặt các phiên bản tương thích với CUDA 13:

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

UserWarning: Found GPU0 NVIDIA GB10 which is of cuda capability 12.1.
Minimum and Maximum cuda capability supported by this version of PyTorch is (8.0) - (12.0)

Cài đặt onnxruntime-gpu

Hàm onnxruntime-gpu gói được lưu trữ trong PyPI không có aarch64 các tệp nhị phân cho hệ thống ARM64. Vì vậy, chúng ta cần cài đặt gói này theo cách thủ công. Gói này cần thiết cho một số tác vụ xuất.

Tại đây chúng ta sẽ tải xuống và cài đặt onnxruntime-gpu 1.24.0 với Python3.12 hỗ trợ.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

Sử dụng TensorRT trên NVIDIA DGX Spark

Trong số tất cả các định dạng xuất mô hình được Ultralytics hỗ trợ, TensorRT mang lại hiệu suất suy luận cao nhất trên NVIDIA DGX Spark, khiến nó trở thành khuyến nghị hàng đầu của chúng tôi cho các triển khai. Để biết hướng dẫn cài đặt và cách sử dụng nâng cao, hãy xem hướng dẫn tích hợp TensorRT chuyên dụng của chúng tôi.

Chuyển đổi mô hình sang TensorRT và chạy suy luận

Mô hình YOLO26n ở định dạng PyTorch được chuyển đổi sang TensorRT để chạy suy luận với mô hình đã xuất.

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo26n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO26n PyTorch model to TensorRT format
yolo export model=yolo26n.pt format=engine # creates 'yolo26n.engine'

# Run inference with the exported model
yolo predict model=yolo26n.engine source='https://ultralytics.com/images/bus.jpg'

Điểm chuẩn YOLO11 của NVIDIA DGX Spark

Các thử nghiệm hiệu năng YOLO11 đã được nhóm Ultralytics thực hiện trên nhiều định dạng mô hình, đo lường tốc độ và độ chính xác: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch. Các thử nghiệm hiệu năng được chạy trên NVIDIA DGX Spark ở độ chính xác FP32 với kích thước ảnh đầu vào mặc định là 640.

Bảng so sánh chi tiết

Bảng dưới đây trình bày kết quả thử nghiệm hiệu năng cho năm mô hình khác nhau (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) trên nhiều định dạng, cung cấp cho chúng ta trạng thái, kích thước, chỉ số mAP50-95(B) và thời gian suy luận cho mỗi sự kết hợp.

Tái tạo Kết quả của Chúng tôi

Để tái tạo các điểm chuẩn Ultralytics ở trên trên tất cả các định dạng xuất, hãy chạy đoạn mã này:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
yolo benchmark model=yolo26n.pt data=coco128.yaml imgsz=640

Các phương pháp hay nhất cho NVIDIA DGX Spark

Khi sử dụng NVIDIA DGX Spark, có một số phương pháp hay nhất cần tuân thủ để đạt được hiệu suất tối đa khi chạy YOLO26.

1. Giám sát hiệu suất hệ thống

   Sử dụng các công cụ giám sát của NVIDIA để theo dõi mức sử dụng GPU và CPU:

   nvidia-smi
   

2. Tối ưu hóa việc sử dụng bộ nhớ

   Với 128GB bộ nhớ hợp nhất, DGX Spark có thể xử lý các kích thước lô lớn và các mô hình lớn. Cân nhắc tăng kích thước lô để cải thiện thông lượng:

   from ultralytics import YOLO
   
   model = YOLO("yolo26n.engine")
   results = model.predict(source="path/to/images", batch=16)
   

3. Sử dụng TensorRT với FP16 hoặc INT8

   Để đạt hiệu suất tốt nhất, hãy xuất mô hình với độ chính xác FP16 hoặc INT8:

   yolo export model=yolo26n.pt format=engine half=True # FP16
   yolo export model=yolo26n.pt format=engine int8=True # INT8
   

Cập nhật hệ thống (Phiên bản Founders Edition)

Việc giữ cho DGX Spark Founders Edition của bạn luôn được cập nhật là rất quan trọng đối với hiệu suất và bảo mật. NVIDIA cung cấp hai phương pháp chính để cập nhật hệ điều hành, trình điều khiển và firmware của hệ thống.

Sử dụng Bảng điều khiển DGX (Khuyên dùng)

DGX Dashboard là cách được khuyến nghị để thực hiện cập nhật hệ thống, đảm bảo khả năng tương thích. Nó cho phép bạn:

• Xem các bản cập nhật hệ thống có sẵn
• Cài đặt các bản vá bảo mật và cập nhật hệ thống
• Quản lý các bản cập nhật trình điều khiển và firmware của NVIDIA

Cập nhật hệ thống thủ công

Đối với người dùng nâng cao, các bản cập nhật có thể được thực hiện thủ công qua terminal:

sudo apt update
sudo apt dist-upgrade
sudo fwupdmgr refresh
sudo fwupdmgr upgrade
sudo reboot

Các bước tiếp theo

Để tìm hiểu thêm và được hỗ trợ, hãy xem Tài liệu Ultralytics YOLO26.

Câu hỏi thường gặp

Làm cách nào để triển khai Ultralytics YOLO26 trên NVIDIA DGX Spark?

Việc triển khai Ultralytics YOLO26 trên NVIDIA DGX Spark rất đơn giản. Bạn có thể sử dụng ảnh Docker được xây dựng sẵn để thiết lập nhanh hoặc cài đặt thủ công các gói cần thiết. Các bước chi tiết cho từng phương pháp có thể được tìm thấy trong các phần Bắt đầu nhanh với Docker và Bắt đầu với Cài đặt gốc.

Tôi có thể mong đợi hiệu suất như thế nào từ YOLO26 trên NVIDIA DGX Spark?

Các mô hình YOLO26 mang lại hiệu suất vượt trội trên DGX Spark nhờ vào Superchip GB10 Grace Blackwell. Định dạng TensorRT cung cấp hiệu suất suy luận tốt nhất. Kiểm tra phần Bảng so sánh chi tiết để biết kết quả điểm chuẩn cụ thể trên các kích thước và định dạng mô hình khác nhau.

Tại sao tôi nên sử dụng TensorRT cho YOLO26 trên DGX Spark?

TensorRT rất được khuyến nghị để triển khai các mô hình YOLO26 trên DGX Spark do hiệu suất tối ưu của nó. Nó tăng tốc suy luận bằng cách tận dụng khả năng của GPU Blackwell, đảm bảo hiệu quả và tốc độ tối đa. Tìm hiểu thêm trong phần Sử dụng TensorRT trên NVIDIA DGX Spark.

DGX Spark so sánh với các thiết bị Jetson như thế nào đối với YOLO26?

DGX Spark cung cấp sức mạnh tính toán vượt trội đáng kể so với các thiết bị Jetson với hiệu suất AI lên tới 1 PFLOP và bộ nhớ hợp nhất 128GB, so với 2070 TFLOPS và 128GB bộ nhớ của Jetson AGX Thor. DGX Spark được thiết kế như một siêu máy tính AI để bàn, trong khi các thiết bị Jetson là hệ thống nhúng được tối ưu hóa cho triển khai biên.

Tôi có thể sử dụng cùng một Docker image cho DGX Spark và Jetson AGX Thor không?

Có! Ảnh ultralytics/ultralytics:latest-nvidia-arm64 Docker hỗ trợ cả NVIDIA DGX Spark (với DGX OS) và Jetson AGX Thor (với JetPack 7.0), vì cả hai đều sử dụng kiến trúc ARM64 với CUDA 13 và các ngăn xếp phần mềm tương tự.

📅 Được tạo 21 ngày trước ✏️ Cập nhật 9 ngày trước

Bình luận