Hướng dẫn bắt đầu nhanh: NVIDIA Jetson với Ultralytics YOLO26#

Hướng dẫn toàn diện này trình bày chi tiết cách triển khai Ultralytics YOLO26 trên các thiết bị NVIDIA Jetson. Ngoài ra, hướng dẫn còn giới thiệu các benchmark hiệu năng để minh họa khả năng của YOLO26 trên những thiết bị nhỏ gọn và mạnh mẽ này.

NVIDIA Jetson là gì?#

NVIDIA Jetson là dòng bo mạch tính toán nhúng được thiết kế để mang khả năng tính toán AI (trí tuệ nhân tạo) tăng tốc đến các thiết bị edge. Những thiết bị nhỏ gọn và mạnh mẽ này được xây dựng trên kiến trúc GPU của NVIDIA, có thể chạy các thuật toán AI phức tạp và model deep learning trực tiếp trên thiết bị mà không cần phụ thuộc vào tài nguyên điện toán đám mây. Bo mạch Jetson thường được sử dụng trong robot, xe tự hành, tự động hóa công nghiệp và các ứng dụng khác cần thực hiện inference AI cục bộ với độ trễ thấp và hiệu suất cao. Ngoài ra, các bo mạch này dựa trên kiến trúc ARM64 và tiêu thụ ít điện năng hơn so với các thiết bị tính toán GPU truyền thống.

So sánh các dòng NVIDIA Jetson#

NVIDIA Jetson AGX Thor là phiên bản mới nhất trong dòng NVIDIA Jetson, dựa trên kiến trúc NVIDIA Blackwell, mang lại hiệu năng AI được cải thiện đáng kể so với các thế hệ trước. Bảng bên dưới so sánh một số thiết bị Jetson trong hệ sinh thái.

Để xem bảng so sánh chi tiết hơn, hãy truy cập mục So sánh thông số kỹ thuật trên trang NVIDIA Jetson chính thức.

NVIDIA JetPack là gì?#

NVIDIA JetPack SDK cung cấp nền tảng cho các module Jetson, là giải pháp toàn diện nhất và cung cấp môi trường phát triển đầy đủ để xây dựng các ứng dụng AI tăng tốc từ đầu đến cuối, đồng thời rút ngắn thời gian đưa sản phẩm ra thị trường. JetPack bao gồm Jetson Linux với bootloader, nhân Linux, môi trường desktop Ubuntu và bộ thư viện hoàn chỉnh để tăng tốc điện toán GPU, đa phương tiện, đồ họa và thị giác máy tính. JetPack cũng bao gồm các mẫu, tài liệu và công cụ dành cho nhà phát triển trên cả máy tính chủ lẫn bộ công cụ phát triển, đồng thời hỗ trợ các SDK cấp cao hơn như DeepStream cho phân tích video trực tuyến, Isaac cho robotics và Riva cho AI hội thoại.

Flash JetPack lên NVIDIA Jetson#

Bước đầu tiên sau khi có thiết bị NVIDIA Jetson là flash NVIDIA JetPack lên thiết bị. Có một số cách khác nhau để flash thiết bị NVIDIA Jetson.

1. Đối với JetPack 7.2 trên bộ công cụ phát triển AGX Thor, AGX Orin hoặc Orin Nano chính thức, hãy tải ISO Jetson hợp nhất, ghi ISO vào USB flash và làm theo hướng dẫn bắt đầu nhanh dành riêng cho thiết bị AGX Thor, AGX Orin hoặc Orin Nano. Kể từ JetPack 7.2, Orin Nano không còn sử dụng image thẻ SD có thể tải xuống; quá trình cài đặt bằng ISO trên USB sẽ cài Jetson Linux vào thẻ microSD hoặc SSD NVMe của thiết bị.
2. Nếu bạn chủ động sử dụng JetPack 6 trên bộ công cụ phát triển Jetson Orin Nano, hãy làm theo hướng dẫn cập nhật JetPack 6.x và sử dụng thẻ SD của NVIDIA.
3. Nếu sở hữu bộ công cụ phát triển NVIDIA khác, bạn có thể flash JetPack lên thiết bị bằng SDK Manager.
4. Nếu sở hữu thiết bị Seeed Studio reComputer J4012, bạn có thể flash JetPack lên SSD đi kèm; nếu sở hữu thiết bị Seeed Studio reComputer J1020 v2, bạn có thể flash JetPack lên eMMC/ SSD.
5. Nếu sở hữu thiết bị bên thứ ba khác được trang bị module NVIDIA Jetson, bạn nên làm theo hướng dẫn flash qua dòng lệnh.

Hỗ trợ JetPack theo thiết bị Jetson#

Bảng dưới đây nêu các phiên bản NVIDIA JetPack được hỗ trợ trên từng thiết bị NVIDIA Jetson.

Bắt đầu nhanh với Docker#

Cách nhanh nhất để bắt đầu sử dụng Ultralytics YOLO26 trên NVIDIA Jetson là chạy các Docker image dựng sẵn cho Jetson. Tham khảo bảng trên và chọn phiên bản JetPack phù hợp với thiết bị Jetson bạn đang sử dụng.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Đối với image JetPack 4, 5 và 6, hãy tiếp tục xem Sử dụng TensorRT trên NVIDIA Jetson. Image JetPack 7.1 ở trên chỉ dành cho workload PyTorch.

Bắt đầu với cài đặt gốc#

Để cài đặt gốc mà không dùng Docker, hãy tham khảo các bước dưới đây.

Chạy trên JetPack 7.2#

Cài đặt package Ultralytics#

Ở đây, chúng ta sẽ cài đặt package Ultralytics trên Jetson. Các dependency phục vụ quá trình export sẽ được cài tự động trong lần đầu tiên bạn export model, vì vậy tại đây chỉ cần cài package cơ bản. Chúng ta sẽ tập trung chủ yếu vào export NVIDIA TensorRT vì TensorRT giúp khai thác hiệu năng tối đa từ thiết bị Jetson.

1. Cập nhật danh sách package, cài đặt pip và nâng cấp lên phiên bản mới nhất

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Cài đặt package pip ultralytics

   pip install ultralytics

3. Khởi động lại thiết bị

   sudo reboot

Cài đặt PyTorch và Torchvision#

Quá trình cài đặt ultralytics ở trên sẽ cài Torch và Torchvision. Tuy nhiên, hai package được cài qua pip này không tương thích để chạy trên thiết bị JetPack 7.2 với CUDA 13. Vì vậy, chúng ta cần cài đặt thủ công.

Cài đặt torch và torchvision phù hợp với JP7.2

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

Cài đặt onnxruntime-gpu#

Sử dụng wheel ONNX Runtime GPU tương thích với các phiên bản JetPack, Python và CUDA của bạn. Các bản phát hành PyPI hiện tại có wheel ARM64, nhưng không thể thay thế các package dành riêng cho thiết bị ở mọi phiên bản JetPack.

Ở đây, chúng ta sẽ tải xuống và cài đặt onnxruntime-gpu 1.24.0 có hỗ trợ Python3.12.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

Chạy trên JetPack 6.1#

Cài đặt package Ultralytics#

Ở đây, chúng ta sẽ cài đặt package Ultralytics trên Jetson. Các dependency phục vụ quá trình export sẽ được cài tự động trong lần đầu tiên bạn export model, vì vậy tại đây chỉ cần cài package cơ bản. Chúng ta sẽ tập trung chủ yếu vào export NVIDIA TensorRT vì TensorRT giúp khai thác hiệu năng tối đa từ thiết bị Jetson.

1. Cập nhật danh sách package, cài đặt pip và nâng cấp lên phiên bản mới nhất

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Cài đặt package pip ultralytics

   pip install ultralytics

3. Khởi động lại thiết bị

   sudo reboot

Cài đặt PyTorch và Torchvision#

Quá trình cài đặt ultralytics ở trên sẽ cài Torch và Torchvision. Tuy nhiên, hai package này được cài qua pip không tương thích với nền tảng Jetson dựa trên kiến trúc ARM64. Vì vậy, chúng ta cần cài thủ công wheel pip PyTorch dựng sẵn và biên dịch hoặc cài Torchvision từ mã nguồn.

Cài đặt torch 2.10.0 và torchvision 0.25.0 phù hợp với JP6.1

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.10.0-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.25.0-cp310-cp310-linux_aarch64.whl

Cài đặt cuDSS để khắc phục sự cố dependency với torch 2.10.0

wget https://developer.download.nvidia.com/compute/cudss/0.7.1/local_installers/cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo dpkg -i cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo cp /var/cudss-local-tegra-repo-ubuntu2204-0.7.1/cudss-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cudss

Cài đặt onnxruntime-gpu#

Sử dụng wheel ONNX Runtime GPU tương thích với các phiên bản JetPack, Python và CUDA của bạn. Các bản phát hành PyPI hiện tại có wheel ARM64, nhưng không thể thay thế các package dành riêng cho thiết bị ở mọi phiên bản JetPack.

Bạn có thể tìm thấy tất cả package onnxruntime-gpu hiện có — được sắp xếp theo phiên bản JetPack, phiên bản Python và các chi tiết tương thích khác — trong ma trận tương thích ONNX Runtime của Jetson Zoo.

Đối với JetPack 6 có hỗ trợ Python 3.10, bạn có thể cài đặt onnxruntime-gpu 1.23.0:

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.23.0-cp310-cp310-linux_aarch64.whl

Ngoài ra, đối với onnxruntime-gpu 1.20.0:

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

Chạy trên JetPack 5.1.2#

Cài đặt package Ultralytics#

Ở đây, chúng ta sẽ cài đặt package Ultralytics trên Jetson. Các dependency phục vụ quá trình export sẽ được cài tự động trong lần đầu tiên bạn export model, vì vậy tại đây chỉ cần cài package cơ bản. Chúng ta sẽ tập trung chủ yếu vào export NVIDIA TensorRT vì TensorRT giúp khai thác hiệu năng tối đa từ thiết bị Jetson.

1. Cập nhật danh sách package, cài đặt pip và nâng cấp lên phiên bản mới nhất

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Cài đặt package pip ultralytics

   pip install ultralytics

3. Khởi động lại thiết bị

   sudo reboot

Cài đặt PyTorch và Torchvision#

Quá trình cài đặt ultralytics ở trên sẽ cài Torch và Torchvision. Tuy nhiên, hai package này được cài qua pip không tương thích với nền tảng Jetson dựa trên kiến trúc ARM64. Vì vậy, chúng ta cần cài thủ công wheel pip PyTorch dựng sẵn và biên dịch hoặc cài Torchvision từ mã nguồn.

1. Gỡ cài đặt PyTorch và Torchvision hiện có

   pip uninstall torch torchvision

2. Cài đặt torch 2.1.0 và torchvision 0.16.2 phù hợp với JP5.1.2

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.16.2+c6f3977-cp38-cp38-linux_aarch64.whl

Cài đặt onnxruntime-gpu#

Sử dụng wheel ONNX Runtime GPU tương thích với các phiên bản JetPack, Python và CUDA của bạn. Các bản phát hành PyPI hiện tại có wheel ARM64, nhưng không thể thay thế các package dành riêng cho thiết bị ở mọi phiên bản JetPack.

Bạn có thể tìm thấy tất cả package onnxruntime-gpu hiện có — được sắp xếp theo phiên bản JetPack, phiên bản Python và các chi tiết tương thích khác — trong ma trận tương thích ONNX Runtime của Jetson Zoo. Ở đây, chúng ta sẽ tải xuống và cài đặt onnxruntime-gpu 1.17.0 có hỗ trợ Python3.8.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Sử dụng TensorRT trên NVIDIA Jetson#

Trong số các định dạng export model được Ultralytics hỗ trợ, TensorRT mang lại hiệu năng inference cao nhất trên thiết bị NVIDIA Jetson, nên đây là lựa chọn hàng đầu của chúng tôi cho các triển khai trên Jetson. Trước khi export, hãy cài đặt các Python binding TensorRT được cung cấp cho phiên bản JetPack của bạn và xác minh bằng python3 -c "import tensorrt; print(tensorrt.__version__)". Hãy sử dụng runtime TensorRT 10.x được hỗ trợ trên JetPack 6/7; không thay thế runtime này bằng TensorRT 11.2.1. Để xem hướng dẫn thiết lập và cách sử dụng nâng cao, hãy tham khảo hướng dẫn tích hợp TensorRT chuyên biệt của chúng tôi.

Bạn cũng có thể export ngay trên trình duyệt mà không cần cấu hình môi trường build cục bộ. Trong tab Export model của Ultralytics Platform, hãy chọn TensorRT và thiết bị Jetson mục tiêu. Các lựa chọn Thor được xác thực trên phần cứng Thor thực tế. Sáu lựa chọn Orin hiện tạo ra các engine ứng viên được build cho AGX-Orin; hãy xác thực các engine này trên SKU Orin dự kiến trước khi triển khai.

Chuyển đổi model sang TensorRT và chạy inference#

Model YOLO26n ở định dạng PyTorch được chuyển đổi sang TensorRT để chạy inference bằng model đã export.

from ultralytics import YOLO

# Tải model YOLO26n PyTorch
model = YOLO("yolo26n.pt")

# Export model sang TensorRT
model.export(format="engine")  # # tạo 'yolo26n.engine'

# Tải model TensorRT đã export
trt_model = YOLO("yolo26n.engine")

# Chạy suy luận
results = trt_model("https://ultralytics.com/images/bus.jpg")

Sử dụng NVIDIA Deep Learning Accelerator (DLA)#

NVIDIA Deep Learning Accelerator (DLA) là thành phần phần cứng chuyên dụng được tích hợp trong thiết bị NVIDIA Jetson, giúp tối ưu inference deep learning về hiệu quả năng lượng và hiệu năng. Bằng cách chuyển tác vụ khỏi GPU (giải phóng GPU cho các quy trình chuyên sâu hơn), DLA cho phép model chạy với mức tiêu thụ điện năng thấp hơn mà vẫn duy trì thông lượng cao, phù hợp với các hệ thống nhúng và ứng dụng AI thời gian thực.

Các thiết bị Jetson sau đây được trang bị phần cứng DLA:

from ultralytics import YOLO

# Tải model YOLO26n PyTorch
model = YOLO("yolo26n.pt")

# Export model sang TensorRT khi bật DLA (chỉ hoạt động với FP16 hoặc INT8)
model.export(format="engine", device="dla:0", quantize=16)  # dla:0 hoặc dla:1 tương ứng với các lõi DLA

# Tải model TensorRT đã export
trt_model = YOLO("yolo26n.engine")

# Chạy suy luận
results = trt_model("https://ultralytics.com/images/bus.jpg")

Benchmark YOLO26 trên NVIDIA Jetson#

Đội ngũ Ultralytics đã chạy benchmark YOLO26 trên 11 định dạng model để đo tốc độ và độ chính xác: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch. Benchmark được chạy trên NVIDIA Jetson AGX Thor Developer Kit, NVIDIA Jetson AGX Orin Developer Kit (64GB), NVIDIA Jetson Orin Nano Super Developer Kit và thiết bị Seeed Studio reComputer J4012 dùng Jetson Orin NX 16GB, với độ chính xác số FP32 và kích thước ảnh đầu vào mặc định là 640.

Biểu đồ so sánh#

Mặc dù tất cả định dạng export model đều hoạt động trên NVIDIA Jetson, biểu đồ so sánh bên dưới chỉ bao gồm PyTorch, TorchScript, TensorRT vì các định dạng này sử dụng GPU trên Jetson và được đảm bảo mang lại kết quả tốt nhất. Tất cả định dạng export khác chỉ sử dụng CPU và có hiệu năng không tốt bằng ba định dạng trên. Bạn có thể xem benchmark của tất cả định dạng export trong phần sau biểu đồ này.

Bộ công cụ dành cho nhà phát triển NVIDIA Jetson AGX Thor#

Bộ công cụ dành cho nhà phát triển NVIDIA Jetson AGX Orin (64GB)#

Bộ công cụ dành cho nhà phát triển NVIDIA Jetson Orin Nano Super#

NVIDIA Jetson Orin NX 16GB#

Bảng so sánh chi tiết#

Bảng dưới đây trình bày kết quả benchmark của năm model khác nhau (YOLO26n, YOLO26s, YOLO26m, YOLO26l, YOLO26x) trên 11 định dạng khác nhau (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch), bao gồm trạng thái, kích thước, chỉ số mAP50-95(B) và thời gian suy luận của từng tổ hợp.

Bộ công cụ dành cho nhà phát triển NVIDIA Jetson AGX Thor#

Bộ công cụ dành cho nhà phát triển NVIDIA Jetson AGX Orin (64GB)#

Bộ công cụ dành cho nhà phát triển NVIDIA Jetson Orin Nano Super#

NVIDIA Jetson Orin NX 16GB#

Tìm hiểu thêm về các hoạt động benchmark của Seeed Studio chạy trên các phiên bản phần cứng NVIDIA Jetson khác nhau.

Tái tạo kết quả của chúng tôi#

Để tái tạo các benchmark Ultralytics ở trên trên tất cả định dạng xuất, hãy chạy đoạn mã này:

from ultralytics import YOLO

# Tải model YOLO26n PyTorch
model = YOLO("yolo26n.pt")

# Benchmark tốc độ và độ chính xác của YOLO26n trên tập dữ liệu COCO128 cho tất cả định dạng xuất
results = model.benchmark(data="coco128.yaml", imgsz=640)

Các phương pháp hay nhất khi sử dụng NVIDIA Jetson#

Khi sử dụng NVIDIA Jetson, có một số phương pháp hay nhất cần tuân theo để đạt hiệu năng tối đa khi chạy YOLO26 trên NVIDIA Jetson.

1. Bật chế độ nguồn MAX

   Bật chế độ nguồn MAX trên Jetson sẽ đảm bảo tất cả lõi CPU và GPU đều được bật.

   sudo nvpmodel -m 0

2. Bật Jetson Clocks

   Bật Jetson Clocks sẽ đảm bảo tất cả lõi CPU và GPU hoạt động ở tần số tối đa.

   sudo jetson_clocks

3. Cài đặt ứng dụng Jetson Stats

   Chúng ta có thể dùng ứng dụng jetson stats để theo dõi nhiệt độ của các thành phần hệ thống và kiểm tra các thông tin hệ thống khác như mức sử dụng CPU, GPU, RAM; thay đổi chế độ nguồn; đặt xung nhịp tối đa; kiểm tra thông tin JetPack.

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop

Mẹo tối ưu hóa bộ nhớ cho NVIDIA Jetson#

Bộ nhớ khả dụng thường là yếu tố giới hạn trên các thiết bị Jetson, đặc biệt là các phiên bản có ít bộ nhớ như Jetson Orin Nano (8 GB) hoặc Orin NX 8 GB. Các mẹo dưới đây là những thay đổi thiết thực, ít rủi ro, có thể kết hợp để giải phóng vài trăm megabyte và cho phép chạy các model YOLO lớn hơn hoặc hỗ trợ thêm các tác vụ song song. Để tìm hiểu toàn diện, hãy xem bài viết trên blog NVIDIA về tối đa hóa hiệu quả bộ nhớ trên Jetson.

1. Chuyển sang khởi động không giao diện (Headless)#

Nếu Jetson của bạn được kết nối qua SSH hoặc chạy như một thiết bị chuyên dụng trong môi trường production mà không gắn màn hình, việc loại bỏ môi trường desktop và display server có thể thu hồi tối đa 865 MB RAM:

sudo systemctl set-default multi-user.target
sudo reboot

Để khôi phục desktop sau đó:

sudo systemctl set-default graphical.target
sudo reboot

2. Tắt các dịch vụ hệ thống không sử dụng#

Các dịch vụ nền không thiết yếu (Bluetooth, trình quản lý kết nối, daemon phần cứng không sử dụng) tiêu thụ tổng cộng khoảng 32 MB. Liệt kê các dịch vụ đang hoạt động và tắt mọi dịch vụ không cần thiết cho quá trình triển khai của bạn:

# List running services
systemctl list-units --type=service --state=running

# Disable a service
sudo systemctl disable SERVICE_NAME

3. Phân tích mức sử dụng bộ nhớ#

Trước khi tối ưu hóa, hãy xác định tiến trình nào thực sự đang tiêu thụ RAM. procrank sắp xếp các tiến trình theo PSS (Proportional Set Size), chỉ số phản ánh chính xác hơn mức tiêu thụ bộ nhớ thực tế của từng tiến trình so với RSS (Resident Set Size, tổng số trang RAM vật lý được ánh xạ bởi một tiến trình, bao gồm cả các trang dùng chung với tiến trình khác):

git clone https://github.com/csimmonds/procrank_linux.git
cd procrank_linux && make
sudo ./procrank

Để xem mức cấp phát GPU và NvMap (đường dẫn xử lý CUDA/video) theo từng tiến trình:

sudo cat /sys/kernel/debug/nvmap/iovmm/clients

4. Chạy suy luận mà không cần màn hình trong môi trường production#

Với các pipeline suy luận không yêu cầu xem trước trực tiếp, việc tắt các thành phần liên quan đến hiển thị (Tiler, OSD, DisplaySink) có thể tiết kiệm riêng 200+ MB từ pipeline. Với Ultralytics YOLO, hãy tắt trình xem và ghi kết quả ra ổ đĩa:

from ultralytics import YOLO

model = YOLO("yolo26n.engine")

# show=False ngăn mọi cửa sổ hiển thị; save=True ghi kết quả đã chú thích ra ổ đĩa
results = model.predict(source="video.mp4", show=False, save=True)

Tác động cộng dồn#

Kết hợp các thay đổi này đặc biệt hữu ích khi triển khai model TensorRT INT8 trên thiết bị có bộ nhớ hạn chế — đây có thể là yếu tố quyết định liệu một biến thể model lớn hơn có vừa bộ nhớ hay không.

Các bước tiếp theo#

Để tìm hiểu thêm và nhận hỗ trợ, hãy xem Tài liệu Ultralytics YOLO26.

Câu hỏi thường gặp#