Hướng dẫn Bắt đầu Nhanh: NVIDIA Jetson với Ultralytics YOLO26

Hướng dẫn toàn diện này cung cấp hướng dẫn chi tiết để triển khai Ultralytics YOLO26 trên các thiết bị NVIDIA Jetson. Ngoài ra, nó còn trình bày các điểm chuẩn hiệu suất để minh họa khả năng của YOLO26 trên các thiết bị nhỏ gọn và mạnh mẽ này.

Xem: Cách sử dụng Ultralytics YOLO26 trên các thiết bị NVIDIA Jetson

NVIDIA Jetson là gì?

NVIDIA Jetson là một dòng bo mạch máy tính nhúng được thiết kế để mang điện toán AI (trí tuệ nhân tạo) tăng tốc đến các thiết bị biên. Các thiết bị nhỏ gọn và mạnh mẽ này được xây dựng dựa trên kiến trúc GPU của NVIDIA và có thể chạy các thuật toán AI phức tạp cùng các mô hình học sâu trực tiếp trên thiết bị, mà không cần dựa vào tài nguyên điện toán đám mây. Các bo mạch Jetson thường được sử dụng trong robot học, xe tự hành, tự động hóa công nghiệp và các ứng dụng khác mà suy luận AI cần được thực hiện cục bộ với độ trễ thấp và hiệu quả cao. Ngoài ra, các bo mạch này dựa trên kiến trúc ARM64 và hoạt động với công suất thấp hơn so với các thiết bị điện toán GPU truyền thống.

So sánh các dòng NVIDIA Jetson

NVIDIA Jetson AGX Thor là phiên bản mới nhất của dòng NVIDIA Jetson dựa trên kiến trúc NVIDIA Blackwell, mang lại hiệu suất AI được cải thiện đáng kể so với các thế hệ trước. Bảng dưới đây so sánh một vài thiết bị Jetson trong hệ sinh thái.

Để có bảng so sánh chi tiết hơn, vui lòng truy cập phần So sánh thông số kỹ thuật trên trang NVIDIA Jetson chính thức.

NVIDIA JetPack là gì?

NVIDIA JetPack SDK cung cấp năng lượng cho các mô-đun Jetson là giải pháp toàn diện nhất và cung cấp môi trường phát triển đầy đủ để xây dựng các ứng dụng AI được tăng tốc đầu cuối và rút ngắn thời gian đưa ra thị trường. JetPack bao gồm Jetson Linux với bộ nạp khởi động, hạt nhân Linux, môi trường máy tính để bàn Ubuntu và một bộ thư viện hoàn chỉnh để tăng tốc điện toán GPU, đa phương tiện, đồ họa và thị giác máy tính. Nó cũng bao gồm các mẫu, tài liệu và công cụ dành cho nhà phát triển cho cả máy tính chủ và bộ công cụ dành cho nhà phát triển, đồng thời hỗ trợ các SDK cấp cao hơn như DeepStream để phân tích video trực tuyến, Isaac cho robot và Riva cho AI đàm thoại.

Cài đặt JetPack vào NVIDIA Jetson

Bước đầu tiên sau khi sở hữu một thiết bị NVIDIA Jetson là flash NVIDIA JetPack vào thiết bị. Có nhiều cách khác nhau để flash các thiết bị NVIDIA Jetson.

1. Nếu bạn sở hữu một Bộ công cụ phát triển NVIDIA chính thức như Bộ công cụ phát triển Jetson AGX Thor, bạn có thể tải xuống một image và chuẩn bị một USB có khả năng khởi động để flash JetPack vào SSD đi kèm.
2. Nếu bạn sở hữu một NVIDIA Development Kit chính thức, chẳng hạn như Jetson Orin Nano Developer Kit, bạn có thể tải xuống image và chuẩn bị thẻ SD với JetPack để khởi động thiết bị.
3. Nếu bạn sở hữu bất kỳ NVIDIA Development Kit nào khác, bạn có thể flash JetPack vào thiết bị bằng SDK Manager.
4. Nếu bạn sở hữu thiết bị Seeed Studio reComputer J4012, bạn có thể flash JetPack vào SSD đi kèm và nếu bạn sở hữu thiết bị Seeed Studio reComputer J1020 v2, bạn có thể flash JetPack vào eMMC/ SSD.
5. Nếu bạn sở hữu bất kỳ thiết bị bên thứ ba nào khác được trang bị mô-đun NVIDIA Jetson, thì nên thực hiện flash bằng dòng lệnh.

Hỗ trợ JetPack dựa trên thiết bị Jetson

Bảng dưới đây nêu bật các phiên bản NVIDIA JetPack được hỗ trợ bởi các thiết bị NVIDIA Jetson khác nhau.

Quick Start with Docker

Cách nhanh nhất để bắt đầu với Ultralytics YOLO26 trên NVIDIA Jetson là chạy bằng các ảnh docker dựng sẵn dành cho Jetson. Tham khảo bảng trên và chọn phiên bản JetPack phù hợp với thiết bị Jetson mà bạn sở hữu.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack5
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack6
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-nvidia-arm64
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Sau khi hoàn tất, hãy chuyển đến phần Sử dụng TensorRT trên NVIDIA Jetson.

Start with Native Installation

Để cài đặt gốc mà không cần Docker, vui lòng tham khảo các bước bên dưới.

Chạy trên JetPack 7.0

Cài đặt Gói Ultralytics

Ở đây, chúng ta sẽ cài đặt gói Ultralytics trên Jetson cùng với các dependency tùy chọn để có thể xuất các mô hình PyTorch sang các định dạng khác nhau. Chúng ta sẽ tập trung chủ yếu vào xuất NVIDIA TensorRT vì TensorRT sẽ đảm bảo chúng ta có thể khai thác tối đa hiệu suất của các thiết bị Jetson.

1. Cập nhật danh sách các gói, cài đặt pip và nâng cấp lên phiên bản mới nhất

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Cài đặt ultralytics gói pip với các dependency tùy chọn

   pip install ultralytics[export]
   

3. Khởi động lại thiết bị

   sudo reboot
   

Install PyTorch and Torchvision

Việc cài đặt Ultralytics ở trên sẽ cài đặt torch và Torchvision. Tuy nhiên, 2 gói này được cài đặt qua pip không tương thích để chạy trên Jetson AGX Thor đi kèm với JetPack 7.0 và CUDA 13. Do đó, chúng ta cần cài đặt chúng theo cách thủ công.

Cài đặt torch và torchvision theo JP7.0

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

Cài đặt onnxruntime-gpu

Hàm onnxruntime-gpu gói được lưu trữ trong PyPI không có aarch64 các binary cho Jetson. Vì vậy, chúng ta cần cài đặt thủ công gói này. Gói này là cần thiết cho một số export.

Tại đây chúng ta sẽ tải xuống và cài đặt onnxruntime-gpu 1.24.0 với Python3.12 hỗ trợ.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

Chạy trên JetPack 6.1

Cài đặt Gói Ultralytics

Ở đây, chúng ta sẽ cài đặt gói Ultralytics trên Jetson cùng với các dependency tùy chọn để có thể xuất các mô hình PyTorch sang các định dạng khác nhau. Chúng ta sẽ tập trung chủ yếu vào xuất NVIDIA TensorRT vì TensorRT sẽ đảm bảo chúng ta có thể khai thác tối đa hiệu suất của các thiết bị Jetson.

1. Cập nhật danh sách các gói, cài đặt pip và nâng cấp lên phiên bản mới nhất

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Cài đặt ultralytics gói pip với các dependency tùy chọn

   pip install ultralytics[export]
   

3. Khởi động lại thiết bị

   sudo reboot
   

Install PyTorch and Torchvision

Việc cài đặt Ultralytics ở trên sẽ cài đặt torch và Torchvision. Tuy nhiên, hai gói này được cài đặt qua pip không tương thích với nền tảng Jetson, vốn dựa trên kiến trúc ARM64. Do đó, chúng ta cần cài đặt thủ công một PyTorch pip wheel được xây dựng sẵn và biên dịch hoặc cài đặt Torchvision từ mã nguồn.

Cài đặt torch 2.10.0 và torchvision 0.25.0 theo JP6.1

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.10.0-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.25.0-cp310-cp310-linux_aarch64.whl

Cài đặt cuDSS để khắc phục sự cố phụ thuộc với torch 2.10.0

wget https://developer.download.nvidia.com/compute/cudss/0.7.1/local_installers/cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo dpkg -i cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo cp /var/cudss-local-tegra-repo-ubuntu2204-0.7.1/cudss-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cudss

Cài đặt onnxruntime-gpu

Hàm onnxruntime-gpu gói được lưu trữ trong PyPI không có aarch64 các binary cho Jetson. Vì vậy, chúng ta cần cài đặt thủ công gói này. Gói này là cần thiết cho một số export.

Bạn có thể tìm thấy tất cả onnxruntime-gpu các gói—được sắp xếp theo phiên bản JetPack, phiên bản Python và các chi tiết tương thích khác—trong Ma trận tương thích Jetson Zoo ONNX Runtime.

Cho JetPack 6 với Python 3.10 hỗ trợ, bạn có thể cài đặt onnxruntime-gpu 1.23.0:

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.23.0-cp310-cp310-linux_aarch64.whl

Ngoài ra, đối với onnxruntime-gpu 1.20.0:

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

Chạy trên JetPack 5.1.2

Cài đặt Gói Ultralytics

Ở đây, chúng ta sẽ cài đặt gói Ultralytics trên Jetson cùng với các dependency tùy chọn để có thể xuất các mô hình PyTorch sang các định dạng khác nhau. Chúng ta sẽ tập trung chủ yếu vào xuất NVIDIA TensorRT vì TensorRT sẽ đảm bảo chúng ta có thể khai thác tối đa hiệu suất của các thiết bị Jetson.

1. Cập nhật danh sách các gói, cài đặt pip và nâng cấp lên phiên bản mới nhất

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Cài đặt ultralytics gói pip với các dependency tùy chọn

   pip install ultralytics[export]
   

3. Khởi động lại thiết bị

   sudo reboot
   

Install PyTorch and Torchvision

Việc cài đặt Ultralytics ở trên sẽ cài đặt torch và Torchvision. Tuy nhiên, hai gói này được cài đặt qua pip không tương thích với nền tảng Jetson, vốn dựa trên kiến trúc ARM64. Do đó, chúng ta cần cài đặt thủ công một PyTorch pip wheel được xây dựng sẵn và biên dịch hoặc cài đặt Torchvision từ mã nguồn.

1. Gỡ cài đặt PyTorch và Torchvision hiện tại.

   pip uninstall torch torchvision
   

2. Cài đặt torch 2.1.0 và torchvision 0.16.2 theo JP5.1.2

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.16.2+c6f3977-cp38-cp38-linux_aarch64.whl
   

Cài đặt onnxruntime-gpu

Hàm onnxruntime-gpu gói được lưu trữ trong PyPI không có aarch64 các binary cho Jetson. Vì vậy, chúng ta cần cài đặt thủ công gói này. Gói này là cần thiết cho một số export.

Bạn có thể tìm thấy tất cả onnxruntime-gpu các gói—được sắp xếp theo phiên bản JetPack, phiên bản Python và các chi tiết tương thích khác—trong Ma trận tương thích Jetson Zoo ONNX Runtime. Tại đây chúng ta sẽ tải xuống và cài đặt onnxruntime-gpu 1.17.0 với Python3.8 hỗ trợ.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Use TensorRT on NVIDIA Jetson

Trong số tất cả các định dạng xuất mô hình được Ultralytics hỗ trợ, TensorRT mang lại hiệu suất suy luận cao nhất trên các thiết bị NVIDIA Jetson, khiến nó trở thành đề xuất hàng đầu của chúng tôi cho việc triển khai trên Jetson. Để biết hướng dẫn thiết lập và sử dụng nâng cao, hãy xem hướng dẫn tích hợp TensorRT chuyên dụng của chúng tôi.

Chuyển đổi mô hình sang TensorRT và chạy suy luận

Mô hình YOLO26n ở định dạng PyTorch được chuyển đổi sang TensorRT để chạy suy luận với mô hình đã xuất.

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo26n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO26n PyTorch model to TensorRT format
yolo export model=yolo26n.pt format=engine # creates 'yolo26n.engine'

# Run inference with the exported model
yolo predict model=yolo26n.engine source='https://ultralytics.com/images/bus.jpg'

Sử dụng NVIDIA Deep Learning Accelerator (DLA)

NVIDIA Deep Learning Accelerator (DLA) là một thành phần phần cứng chuyên dụng được tích hợp trong các thiết bị NVIDIA Jetson, giúp tối ưu hóa suy luận học sâu để tiết kiệm năng lượng và tăng hiệu suất. Bằng cách giảm tải các tác vụ từ GPU (giải phóng GPU cho các quy trình chuyên sâu hơn), DLA cho phép các mô hình chạy với mức tiêu thụ điện năng thấp hơn trong khi vẫn duy trì thông lượng cao, lý tưởng cho các hệ thống nhúng và các ứng dụng AI thời gian thực.

Các thiết bị Jetson sau đây được trang bị phần cứng DLA:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", half=True)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO26n PyTorch model to TensorRT format with DLA enabled (only works with FP16 or INT8)
# Once DLA core number is specified at export, it will use the same core at inference
yolo export model=yolo26n.pt format=engine device="dla:0" half=True # dla:0 or dla:1 corresponds to the DLA cores

# Run inference with the exported model on the DLA
yolo predict model=yolo26n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA Jetson YOLO11 / Điểm chuẩn YOLO26

YOLO11 / Các bài kiểm tra hiệu năng YOLO26 đã được thực hiện bởi Ultralytics đội ngũ nghiên cứu trên 11 định dạng mô hình khác nhau để đo tốc độ và độ chính xác : PyTorch , TorchScript , ONNX , OpenVINO , TensorRT , TF SavedModel , TF GraphDef , TF Lite, MNN, NCNN ExecuTorch. Các bài kiểm tra hiệu năng đã được thực hiện trên NVIDIA Bộ công cụ phát triển Jetson AGX Thor, NVIDIA Bộ công cụ phát triển Jetson AGX Orin (64GB), NVIDIA Bộ phát triển Jetson Orin Nano Super Developer Kit và máy tính Seeed Studio reComputer J4012 sử dụng bộ xử lý Jetson Orin NX 16GB với độ chính xác FP32 và kích thước ảnh đầu vào mặc định là 640.

Biểu đồ So sánh

Mặc dù tất cả các định dạng xuất mô hình đều hoạt động trên NVIDIA Jetson, chúng tôi chỉ đưa vào PyTorch, TorchScript, TensorRT cho biểu đồ so sánh dưới đây vì chúng tận dụng GPU trên Jetson và được đảm bảo mang lại kết quả tốt nhất. Tất cả các định dạng xuất khác chỉ sử dụng CPU và hiệu suất không tốt bằng ba định dạng trên. Bạn có thể tìm thấy kết quả kiểm tra hiệu năng cho tất cả các định dạng xuất trong phần sau biểu đồ này.

Bộ công cụ phát triển NVIDIA Jetson AGX Thor

NVIDIA Jetson AGX Orin Developer Kit (64GB)

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

Bảng so sánh chi tiết

Bảng dưới đây trình bày kết quả kiểm tra hiệu năng cho năm mô hình khác nhau (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) trên 11 định dạng khác nhau (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch), cung cấp cho chúng ta trạng thái, kích thước, chỉ số mAP50-95(B) và thời gian suy luận cho mỗi sự kết hợp.

Bộ công cụ phát triển NVIDIA Jetson AGX Thor

NVIDIA Jetson AGX Orin Developer Kit (64GB)

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

Khám phá thêm các nỗ lực đo điểm chuẩn của Seeed Studio chạy trên các phiên bản phần cứng NVIDIA Jetson khác nhau.

Tái tạo Kết quả của Chúng tôi

Để tái tạo các điểm chuẩn Ultralytics ở trên trên tất cả các định dạng xuất, hãy chạy đoạn mã này:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco128.yaml imgsz=640

Các phương pháp tốt nhất khi sử dụng NVIDIA Jetson

Khi sử dụng NVIDIA Jetson, có một số phương pháp hay nhất cần tuân thủ để đạt được hiệu suất tối đa trên NVIDIA Jetson khi chạy YOLO26.

1. Bật Chế độ Nguồn Tối đa

   Bật Chế độ Nguồn Tối đa trên Jetson sẽ đảm bảo tất cả các lõi CPU, GPU được bật.

   sudo nvpmodel -m 0
   

2. Bật Đồng hồ Jetson

   Bật Đồng hồ Jetson sẽ đảm bảo tất cả các lõi CPU, GPU được định thời ở tần số tối đa của chúng.

   sudo jetson_clocks
   

3. Cài đặt Ứng dụng Jetson Stats

   Chúng ta có thể sử dụng ứng dụng jetson stats để theo dõi nhiệt độ của các thành phần hệ thống và kiểm tra các chi tiết hệ thống khác, chẳng hạn như xem mức sử dụng CPU, GPU, RAM, thay đổi chế độ nguồn, đặt thành đồng hồ tối đa, kiểm tra thông tin JetPack

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

Mẹo tối ưu hóa bộ nhớ cho NVIDIA Jetson

Dung lượng bộ nhớ khả dụng thường là yếu tố hạn chế trên các thiết bị Jetson, đặc biệt là các phiên bản có bộ nhớ thấp hơn như Jetson Orin Nano (8 GB) hoặc Orin NX 8 GB. Các mẹo dưới đây là những thay đổi thiết thực, ít rủi ro, có thể giúp giải phóng vài trăm megabyte và cho phép bạn chạy các ứng dụng có dung lượng lớn hơn. YOLO các mô hình hoặc hỗ trợ thêm các khối lượng công việc song song. Để có thông tin toàn diện, hãy xem bài đăng trên blog NVIDIA về cách tối đa hóa hiệu quả bộ nhớ trên Jetson .

1. Chuyển sang chế độ Khởi động không giao diện đồ họa (Headless Boot/No-GUI)

Nếu Jetson của bạn được kết nối qua SSH hoặc đang chạy như một thiết bị sản xuất mà không có màn hình kèm theo, việc loại bỏ môi trường máy tính để bàn và máy chủ hiển thị có thể giúp tiết kiệm tới 865 MB RAM:

sudo systemctl set-default multi-user.target
sudo reboot

Để khôi phục màn hình nền sau này:

sudo systemctl set-default graphical.target
sudo reboot

2. Vô hiệu hóa các dịch vụ hệ thống không sử dụng

Các dịch vụ nền không thiết yếu (Bluetooth, trình quản lý kết nối, các tiến trình phần cứng không sử dụng) tiêu tốn khoảng 32 MB tổng cộng. Liệt kê các dịch vụ đang hoạt động và vô hiệu hóa bất kỳ dịch vụ nào mà hệ thống của bạn không cần:

# List running services
systemctl list-units --type=service --state=running

# Disable a service
sudo systemctl disable <service-name>

3. Hồ sơ sử dụng bộ nhớ

Trước khi tối ưu hóa, hãy xác định xem những tiến trình nào thực sự đang tiêu thụ RAM. procrank Sắp xếp các tiến trình theo PSS (Proportional Set Size), phản ánh chính xác hơn lượng bộ nhớ thực tế mà mỗi tiến trình sử dụng so với RSS (Resident Set Size, tổng số trang RAM vật lý mà một tiến trình ánh xạ, bao gồm cả các trang được chia sẻ với các tiến trình khác):

git clone https://github.com/csimmonds/procrank_linux.git
cd procrank_linux && make
sudo ./procrank

Để xem theo từng quy trình GPU và NvMap ( CUDA /phân bổ đường dẫn xử lý video):

sudo cat /sys/kernel/debug/nvmap/iovmm/clients

4. Thực hiện suy luận mà không cần màn hình hiển thị trong môi trường sản xuất

Đối với các pipeline suy luận không yêu cầu xem trước trực tiếp, việc vô hiệu hóa các thành phần liên quan đến hiển thị (Tiler, OSD, DisplaySink) có thể tiết kiệm hơn 200 MB bộ nhớ chỉ riêng cho pipeline đó. Ultralytics YOLO , ẩn trình xem và ghi kết quả vào đĩa thay vì hiển thị:

from ultralytics import YOLO

model = YOLO("yolo11n.engine")

# show=False prevents any display window; save=True writes annotated output to disk
results = model.predict(source="video.mp4", show=False, save=True)

yolo predict model=yolo11n.engine source=video.mp4 show=False save=True

Tác động tích lũy

Việc kết hợp những thay đổi này đặc biệt có giá trị khi nhắm mục tiêu TensorRT Các mô hình INT8 trên các thiết bị có bộ nhớ hạn chế — điều này có thể tạo nên sự khác biệt giữa việc có thể chứa một biến thể mô hình lớn hơn trong bộ nhớ hay không.

Các bước tiếp theo

Để tìm hiểu thêm và được hỗ trợ, hãy xem Tài liệu Ultralytics YOLO26.

Câu hỏi thường gặp

Làm cách nào để triển khai Ultralytics YOLO26 trên các thiết bị NVIDIA Jetson?

Triển khai Ultralytics YOLO26 trên các thiết bị NVIDIA Jetson là một quy trình đơn giản. Đầu tiên, hãy flash thiết bị Jetson của bạn bằng NVIDIA JetPack SDK. Sau đó, bạn có thể sử dụng ảnh Docker dựng sẵn để thiết lập nhanh hoặc cài đặt thủ công các gói cần thiết. Các bước chi tiết cho từng phương pháp có thể được tìm thấy trong các phần Bắt đầu nhanh với Docker và Bắt đầu với cài đặt gốc.

Tôi có thể mong đợi những điểm chuẩn hiệu suất nào từ các mô hình YOLO11 trên các thiết bị NVIDIA Jetson?

Các mô hình YOLO11 đã được đánh giá hiệu năng trên nhiều thiết bị NVIDIA Jetson khác nhau, cho thấy những cải tiến đáng kể về hiệu suất. Ví dụ, định dạng TensorRT mang lại hiệu suất suy luận tốt nhất. Bảng trong phần Bảng so sánh chi tiết cung cấp cái nhìn toàn diện về các chỉ số hiệu suất như mAP50-95 và thời gian suy luận trên các định dạng mô hình khác nhau.

Tại sao tôi nên sử dụng TensorRT để triển khai YOLO26 trên NVIDIA Jetson?

TensorRT rất được khuyến nghị để triển khai các mô hình YOLO26 trên NVIDIA Jetson nhờ hiệu suất tối ưu của nó. Nó tăng tốc suy luận bằng cách tận dụng khả năng GPU của Jetson, đảm bảo hiệu quả và tốc độ tối đa. Tìm hiểu thêm về cách chuyển đổi sang TensorRT và chạy suy luận trong phần Sử dụng TensorRT trên NVIDIA Jetson.

Làm cách nào để cài đặt PyTorch và Torchvision trên NVIDIA Jetson?

Để cài đặt PyTorch và Torchvision trên NVIDIA Jetson, trước tiên hãy gỡ cài đặt mọi phiên bản hiện có đã được cài đặt qua pip. Sau đó, cài đặt thủ công các phiên bản PyTorch và Torchvision tương thích cho kiến trúc ARM64 của Jetson. Hướng dẫn chi tiết cho quy trình này được cung cấp trong phần Cài đặt PyTorch và Torchvision.

Các phương pháp hay nhất để tối đa hóa hiệu suất trên NVIDIA Jetson khi sử dụng YOLO26 là gì?

Để tối đa hóa hiệu suất trên NVIDIA Jetson với YOLO26, hãy làm theo các phương pháp hay nhất sau:

1. Bật Chế độ Nguồn Tối đa (MAX Power Mode) để sử dụng tất cả các lõi CPU và GPU.
2. Bật Jetson Clocks để chạy tất cả các lõi ở tần số tối đa của chúng.
3. Cài đặt ứng dụng Jetson Stats để theo dõi các số liệu hệ thống.

Để biết các lệnh và chi tiết bổ sung, hãy tham khảo phần Các phương pháp tốt nhất khi sử dụng NVIDIA Jetson.

Làm thế nào để giải phóng bộ nhớ trên NVIDIA Jetson sẽ chạy trên quy mô lớn hơn YOLO mô hình?

Dung lượng RAM khả dụng thường là điểm nghẽn trên các thiết bị Jetson có bộ nhớ thấp. Ba giải pháp đơn giản có thể giúp bạn tiết kiệm hơn 1 GB RAM:

1. Chuyển sang chế độ khởi động không có giao diện người dùng (sudo systemctl set-default multi-user.target) để loại bỏ giao diện người dùng đồ họa trên máy tính (~tiết kiệm được 865 MB).
2. Tắt các dịch vụ không sử dụng như Bluetooth hoặc trình quản lý kết nối (tiết kiệm khoảng 32 MB).
3. Thực hiện suy luận mà không cần màn hình hiển thị bằng cách thiết lập show=False trong bạn YOLO predict cuộc gọi này tránh việc phân bổ bộ nhớ cho đường dẫn hiển thị (tiết kiệm được hơn 200 MB).

Sử dụng procrank để lập hồ sơ về mức sử dụng RAM cho từng tiến trình và sudo cat /sys/kernel/debug/nvmap/iovmm/clients để kiểm tra GPU phân bổ. Xem Mẹo tối ưu hóa bộ nhớ xem phần này để biết thêm chi tiết.

Tại sao tính năng xuất TensorRT của tôi lại vô hiệu hóa chế độ end-to-end trên JetPack 6?

TensorRT .3.0 đi kèm với JetPack 6 có một lỗi đã biết khiến việc biên dịch động cơ INT8 không thể thực hiện được khi end2end=True đã được bật. Khi Ultralytics sự kết hợp này, hệ thống sẽ tự động vô hiệu hóa nhánh end2end để đảm bảo quá trình xuất dữ liệu diễn ra thành công.

Để khôi phục tính năng xuất dữ liệu INT8 end-to-end, hãy nâng cấp TensorRT phiên bản mới hơn (ví dụ: 10.7.0 trở lên):

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/arm64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get install -y tensorrt

Sau khi nâng cấp, hãy chạy lại quá trình xuất dữ liệu. Để biết thêm chi tiết, hãy xem vấn đề GitHub #23841.

📅 Được tạo 2 năm trước ✏️ Cập nhật 0 ngày trước

Bình luận