Link to this sectionHướng dẫn Bắt đầu Nhanh: NVIDIA DGX Spark với Ultralytics YOLO26#

Hướng dẫn toàn diện này cung cấp các bước chi tiết để triển khai Ultralytics YOLO26 trên NVIDIA DGX Spark, siêu máy tính AI để bàn nhỏ gọn của NVIDIA. Ngoài ra, hướng dẫn này còn trình bày các benchmark hiệu năng để chứng minh khả năng của YOLO26 trên hệ thống mạnh mẽ này.

Link to this sectionNVIDIA DGX Spark là gì?#

NVIDIA DGX Spark là một siêu máy tính AI để bàn nhỏ gọn được vận hành bởi siêu chip NVIDIA GB10 Grace Blackwell. Nó mang lại hiệu năng tính toán AI lên đến 1 petaFLOP với độ chính xác FP4, khiến nó trở nên lý tưởng cho các nhà phát triển, nhà nghiên cứu và các nhà khoa học dữ liệu cần khả năng AI mạnh mẽ ở dạng máy tính để bàn.

Link to this sectionThông số kỹ thuật chính#

Link to this sectionDGX OS#

NVIDIA DGX OS là một bản phân phối Linux tùy chỉnh cung cấp nền tảng hệ điều hành ổn định, đã được kiểm thử và hỗ trợ để chạy các ứng dụng AI, học máy và phân tích trên các hệ thống DGX. Nó bao gồm:

• Một nền tảng Linux mạnh mẽ được tối ưu hóa cho các tác vụ AI
• Các driver và thiết lập hệ thống được cấu hình sẵn cho phần cứng NVIDIA
• Các bản cập nhật bảo mật và khả năng bảo trì hệ thống
• Khả năng tương thích với hệ sinh thái phần mềm NVIDIA rộng lớn hơn

DGX OS tuân theo lịch phát hành định kỳ với các bản cập nhật thường được cung cấp hai lần mỗi năm (khoảng tháng 2 và tháng 8), cùng các bản vá bảo mật bổ sung giữa các bản phát hành lớn.

Link to this sectionDGX Dashboard#

DGX Spark đi kèm với DGX Dashboard tích hợp cung cấp:

• Giám sát Hệ thống theo thời gian thực: Tổng quan về các số liệu hoạt động hiện tại của hệ thống
• Cập nhật Hệ thống: Khả năng áp dụng các bản cập nhật trực tiếp từ dashboard
• Cài đặt Hệ thống: Thay đổi tên thiết bị và các cấu hình khác
• JupyterLab tích hợp: Truy cập Jupyter Notebooks cục bộ để phát triển

Link to this sectionTruy cập Dashboard#

Link to this sectionBắt đầu nhanh với Docker#

Cách nhanh nhất để bắt đầu với Ultralytics YOLO26 trên NVIDIA DGX Spark là chạy với các docker image đã được xây dựng sẵn. Docker image hỗ trợ Jetson AGX Thor (JetPack 7.0) cũng hoạt động trên DGX Spark với DGX OS.

t=ultralytics/ultralytics:latest-nvidia-arm64
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia --gpus all $t

Sau khi hoàn tất, hãy chuyển đến phần Sử dụng TensorRT trên NVIDIA DGX Spark.

Link to this sectionBắt đầu với Cài đặt Native#

Để cài đặt native mà không cần Docker, hãy làm theo các bước sau.

Link to this sectionCài đặt Gói Ultralytics#

Tại đây, chúng ta sẽ cài đặt gói Ultralytics trên DGX Spark cùng với các phụ thuộc tùy chọn để có thể xuất các mô hình PyTorch sang các định dạng khác. Chúng ta chủ yếu sẽ tập trung vào xuất NVIDIA TensorRT vì TensorRT sẽ đảm bảo chúng ta đạt được hiệu năng tối đa từ DGX Spark.

1. Cập nhật danh sách gói, cài đặt pip và nâng cấp lên bản mới nhất

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Cài đặt gói pip ultralytics với các phụ thuộc tùy chọn

   pip install ultralytics[export]

3. Khởi động lại thiết bị

   sudo reboot

Link to this sectionCài đặt PyTorch và Torchvision#

Việc cài đặt ultralytics ở trên sẽ cài đặt Torch và Torchvision. Tuy nhiên, các gói được cài đặt qua pip này có thể không được tối ưu hóa hoàn toàn cho kiến trúc ARM64 của DGX Spark với CUDA 13. Do đó, chúng tôi khuyên bạn nên cài đặt các phiên bản tương thích với CUDA 13:

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

UserWarning: Found GPU0 NVIDIA GB10 which is of cuda capability 12.1.
Minimum and Maximum cuda capability supported by this version of PyTorch is (8.0) - (12.0)

Link to this sectionCài đặt onnxruntime-gpu#

Gói onnxruntime-gpu được lưu trữ trên PyPI không có binary aarch64 cho các hệ thống ARM64. Vì vậy, chúng ta cần cài đặt gói này theo cách thủ công. Gói này cần thiết cho một số tác vụ xuất mô hình.

Tại đây, chúng ta sẽ tải xuống và cài đặt onnxruntime-gpu 1.24.0 với hỗ trợ Python3.12.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

Link to this sectionSử dụng TensorRT trên NVIDIA DGX Spark#

Trong số tất cả các định dạng xuất mô hình được hỗ trợ bởi Ultralytics, TensorRT mang lại hiệu năng suy luận cao nhất trên NVIDIA DGX Spark, khiến nó trở thành lựa chọn hàng đầu của chúng tôi cho việc triển khai. Để biết hướng dẫn thiết lập và cách sử dụng nâng cao, hãy xem hướng dẫn tích hợp TensorRT chuyên dụng của chúng tôi.

Link to this sectionChuyển đổi Mô hình sang TensorRT và Chạy Suy luận#

Mô hình YOLO26n ở định dạng PyTorch được chuyển đổi sang TensorRT để chạy suy luận với mô hình đã xuất.

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo26n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

Link to this sectionBenchmark NVIDIA DGX Spark YOLO11#

Các benchmark của YOLO11 được nhóm Ultralytics thực hiện trên nhiều định dạng mô hình để đo tốc độ và độ chính xác: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch. Benchmark được thực hiện trên NVIDIA DGX Spark ở độ chính xác FP32 với kích thước ảnh đầu vào mặc định là 640.

Link to this sectionBảng so sánh chi tiết#

Bảng dưới đây trình bày kết quả benchmark cho năm mô hình khác nhau (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) trên nhiều định dạng, cung cấp trạng thái, kích thước, chỉ số mAP50-95(B) và thời gian suy luận cho từng kết hợp.

Link to this sectionTái tạo kết quả của chúng tôi#

Để tái tạo các bài kiểm chuẩn Ultralytics trên đây cho tất cả các định dạng xuất, hãy chạy mã này:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

Link to this sectionCác phương pháp hay nhất cho NVIDIA DGX Spark#

Khi sử dụng NVIDIA DGX Spark, có một vài phương pháp hay nhất cần tuân theo để kích hoạt hiệu suất tối đa khi chạy YOLO26.

1. Giám sát hiệu suất hệ thống

   Sử dụng các công cụ giám sát của NVIDIA để theo dõi mức độ sử dụng GPU và CPU:

   nvidia-smi

2. Tối ưu hóa mức sử dụng bộ nhớ

   Với 128GB bộ nhớ thống nhất, DGX Spark có thể xử lý các kích thước batch và mô hình lớn. Hãy cân nhắc tăng kích thước batch để cải thiện thông lượng:

   from ultralytics import YOLO
   
   model = YOLO("yolo26n.engine")
   results = model.predict(source="path/to/images", batch=16)

3. Sử dụng TensorRT với FP16 hoặc INT8

   Để có hiệu suất tốt nhất, hãy xuất các mô hình với độ chính xác FP16 hoặc INT8:

   yolo export model=yolo26n.pt format=engine half=True # FP16
   yolo export model=yolo26n.pt format=engine int8=True # INT8

Link to this sectionCập nhật hệ thống (Phiên bản Founders Edition)#

Việc giữ cho DGX Spark Founders Edition của bạn luôn được cập nhật là rất quan trọng đối với hiệu suất và bảo mật. NVIDIA cung cấp hai phương pháp chính để cập nhật hệ điều hành, trình điều khiển và firmware của hệ thống.

Link to this sectionSử dụng Bảng điều khiển DGX (Được khuyến nghị)#

Bảng điều khiển DGX là cách được khuyến nghị để thực hiện cập nhật hệ thống nhằm đảm bảo tính tương thích. Nó cho phép bạn:

• Xem các bản cập nhật hệ thống khả dụng
• Cài đặt các bản vá bảo mật và cập nhật hệ thống
• Quản lý các bản cập nhật trình điều khiển và firmware NVIDIA

Link to this sectionCập nhật hệ thống thủ công#

Đối với người dùng nâng cao, các bản cập nhật có thể được thực hiện thủ công qua terminal:

sudo apt update
sudo apt dist-upgrade
sudo fwupdmgr refresh
sudo fwupdmgr upgrade
sudo reboot

Link to this sectionCác bước tiếp theo#

Để tìm hiểu thêm và nhận hỗ trợ, hãy xem Tài liệu Ultralytics YOLO26.

Link to this sectionCâu hỏi thường gặp#

Link to this sectionLàm cách nào để triển khai Ultralytics YOLO26 trên NVIDIA DGX Spark?#

Việc triển khai Ultralytics YOLO26 trên NVIDIA DGX Spark rất đơn giản. Bạn có thể sử dụng Docker image được xây dựng sẵn để thiết lập nhanh hoặc cài đặt thủ công các gói yêu cầu. Các bước chi tiết cho từng phương pháp có thể được tìm thấy trong các phần Khởi động nhanh với Docker và Bắt đầu với cài đặt gốc.

Link to this sectionTôi có thể mong đợi hiệu suất như thế nào từ YOLO26 trên NVIDIA DGX Spark?#

Các mô hình YOLO26 mang lại hiệu suất tuyệt vời trên DGX Spark nhờ vào GB10 Grace Blackwell Superchip. Định dạng TensorRT cung cấp hiệu suất suy luận tốt nhất. Kiểm tra phần Bảng so sánh chi tiết để biết kết quả kiểm chuẩn cụ thể trên các kích thước và định dạng mô hình khác nhau.

Link to this sectionTại sao tôi nên sử dụng TensorRT cho YOLO26 trên DGX Spark?#

TensorRT được đặc biệt khuyến nghị để triển khai các mô hình YOLO26 trên DGX Spark nhờ hiệu suất tối ưu của nó. Nó tăng tốc suy luận bằng cách tận dụng các khả năng của Blackwell GPU, đảm bảo hiệu quả và tốc độ tối đa. Tìm hiểu thêm trong phần Sử dụng TensorRT trên NVIDIA DGX Spark.

Link to this sectionDGX Spark so với các thiết bị Jetson cho YOLO26 như thế nào?#

DGX Spark cung cấp hiệu suất AI lên tới 1 PFLOP và 128GB bộ nhớ thống nhất, so với 2070 TFLOPS và 128GB bộ nhớ của Jetson AGX Thor. DGX Spark được thiết kế như một siêu máy tính AI để bàn, trong khi các thiết bị Jetson là các hệ thống nhúng được tối ưu hóa cho triển khai tại biên.

Link to this sectionTôi có thể sử dụng cùng một Docker image cho DGX Spark và Jetson AGX Thor không?#

Có! Docker image ultralytics/ultralytics:latest-nvidia-arm64 hỗ trợ cả NVIDIA DGX Spark (với DGX OS) và Jetson AGX Thor (với JetPack 7.0), vì cả hai đều sử dụng kiến trúc ARM64 với CUDA 13 và các ngăn xếp phần mềm tương tự.