Hướng dẫn bắt đầu nhanh: NVIDIA Jetson với Ultralytics YOLOv8

Hướng dẫn toàn diện này cung cấp hướng dẫn chi tiết để triển khai Ultralytics YOLOv8 trên các thiết bị NVIDIA Jetson . Ngoài ra, nó giới thiệu các điểm chuẩn hiệu suất để chứng minh khả năng của YOLOv8 trên các thiết bị nhỏ và mạnh mẽ này.

NVIDIA Jetson là gì?

NVIDIA Jetson là một loạt các bảng tính nhúng được thiết kế để đưa điện toán AI (trí tuệ nhân tạo) tăng tốc lên các thiết bị biên. Các thiết bị nhỏ gọn và mạnh mẽ này được xây dựng xung quanh kiến trúc GPU của NVIDIA và có khả năng chạy các thuật toán AI phức tạp và các mô hình học sâu trực tiếp trên thiết bị mà không cần phải dựa vào tài nguyên điện toán đám mây. Bảng Jetson thường được sử dụng trong robot, xe tự hành, tự động hóa công nghiệp và các ứng dụng khác, nơi suy luận AI cần được thực hiện cục bộ với độ trễ thấp và hiệu quả cao. Ngoài ra, các bo mạch này dựa trên kiến trúc ARM64 và chạy với công suất thấp hơn so với các thiết bị điện toán GPU truyền thống.

So sánh dòng NVIDIA Jetson

Jetson Orin là phiên bản mới nhất của gia đình NVIDIA Jetson dựa trên kiến trúc NVIDIA Ampere, mang lại hiệu suất AI được cải thiện đáng kể khi so sánh với các thế hệ trước. Bảng dưới đây so sánh một số thiết bị Jetson trong hệ sinh thái.

Để biết bảng so sánh chi tiết hơn, vui lòng truy cập phần Thông số kỹ thuật của trang NVIDIA Jetson chính thức.

NVIDIA JetPack là gì?

NVIDIA JetPack SDK cung cấp năng lượng cho các mô-đun Jetson là giải pháp toàn diện nhất và cung cấp môi trường phát triển đầy đủ để xây dựng các ứng dụng AI tăng tốc từ đầu đến cuối và rút ngắn thời gian đưa ra thị trường. JetPack bao gồm Jetson Linux với bộ nạp khởi động, nhân Linux, môi trường máy tính để bàn Ubuntu và một bộ thư viện hoàn chỉnh để tăng tốc điện toán GPU, đa phương tiện, đồ họa và thị giác máy tính. Nó cũng bao gồm các mẫu, tài liệu và công cụ dành cho nhà phát triển cho cả máy tính chủ và bộ công cụ dành cho nhà phát triển, đồng thời hỗ trợ các SDK cấp cao hơn như DeepStream để phân tích video trực tuyến, Isaac cho robot và Riva cho AI đàm thoại.

Flash JetPack đến NVIDIA Jetson

Bước đầu tiên sau khi chạm tay vào thiết bị NVIDIA Jetson là flash NVIDIA JetPack vào thiết bị. Có một số cách khác nhau để nhấp nháy thiết bị NVIDIA Jetson.

1. Nếu bạn sở hữu Bộ công cụ phát triển NVIDIA chính thức như Jetson Orin Nano Developer Kit, bạn có thể truy cập liên kết này để tải xuống hình ảnh và chuẩn bị thẻ SD với JetPack để khởi động thiết bị.
2. Nếu bạn sở hữu bất kỳ Bộ công cụ phát triển NVIDIA nào khác, bạn có thể truy cập liên kết này để flash JetPack vào thiết bị bằng Trình quản lý SDK.
3. Nếu bạn sở hữu thiết bị Seeed Studio reComputer J4012, bạn có thể truy cập liên kết này để flash JetPack vào ổ SSD đi kèm.
4. Nếu bạn sở hữu bất kỳ thiết bị bên thứ ba nào khác được cung cấp bởi mô-đun NVIDIA Jetson, bạn nên làm theo nhấp nháy dòng lệnh bằng cách truy cập liên kết này.

Dựng Ultralytics

Có hai cách thiết lập Ultralytics gói trên NVIDIA Jetson để xây dựng dự án Thị giác máy tính tiếp theo của bạn. Bạn có thể sử dụng một trong số chúng.

• Bắt đầu với Docker
• Bắt đầu mà không cần Docker

Bắt đầu với Docker

Cách nhanh nhất để bắt đầu Ultralytics YOLOv8 trên NVIDIA Jetson là chạy với docker image dựng sẵn cho Jetson.

Thực hiện lệnh dưới đây để kéo container Docker và chạy trên Jetson. Điều này dựa trên l4t-pytorch Docker Image chứa PyTorch và Torchvision trong môi trường Python3.

t=ultralytics/ultralytics:latest-jetson && sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Sau khi hoàn tất, hãy chuyển đến Dùng TensorRT trên phần NVIDIA Jetson.

Bắt đầu mà không cần Docker

Cài đặt Ultralytics Gói

Ở đây chúng tôi sẽ cài đặt gói ultralyics trên Jetson với các phụ thuộc tùy chọn để chúng tôi có thể xuất PyTorch mô hình sang các định dạng khác nhau. Chúng tôi sẽ chủ yếu tập trung vào NVIDIA TensorRT xuất khẩu vì TensoRT sẽ đảm bảo chúng tôi có thể đạt được hiệu suất tối đa từ các thiết bị Jetson.

1. Cập nhật danh sách gói, cài đặt pip và nâng cấp lên mới nhất

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Cài đặt ultralytics Gói pip với các phụ thuộc tùy chọn

   pip install ultralytics[export]
   

3. Khởi động lại thiết bị

   sudo reboot
   

Cài đặt PyTorch và Torchvision

Những điều trên ultralytics Cài đặt sẽ cài đặt Torch và Torchvision. Tuy nhiên, 2 gói này được cài đặt qua pip không tương thích để chạy trên nền tảng Jetson dựa trên kiến trúc ARM64. Do đó, chúng ta cần cài đặt thủ công dựng sẵn PyTorch bánh xe pip và biên dịch / cài đặt Torchvision từ nguồn.

1. Gỡ cài đặt hiện đang được cài đặt PyTorch và Torchvision

   pip uninstall torch torchvision
   

2. Cài đặt PyTorch 2.1.0 theo JP5.1.3

   sudo apt-get install -y libopenblas-base libopenmpi-dev
   wget https://developer.download.nvidia.com/compute/redist/jp/v512/pytorch/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl -O torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   

3. Cài đặt Torchvision v0.16.2 theo PyTorch v2.1.0

   sudo apt install -y libjpeg-dev zlib1g-dev
   git clone https://github.com/pytorch/vision torchvision
   cd torchvision
   git checkout v0.16.2
   python3 setup.py install --user
   

Ghé thăm PyTorch cho trang Jetson để truy cập tất cả các phiên bản khác nhau của PyTorch cho các phiên bản JetPack khác nhau. Để biết danh sách chi tiết hơn về PyTorch, khả năng tương thích Torchvision, hãy truy cập PyTorch và trang tương thích Torchvision.

Cài đặt onnxruntime-gpu

Các onnxruntime-GPU gói được lưu trữ trong PyPI không có aarch64 nhị phân cho Jetson. Vì vậy, chúng ta cần phải cài đặt thủ công gói này. Gói này là cần thiết cho một số hàng xuất khẩu.

Tất cả đều khác nhau onnxruntime-gpu các gói tương quan với các gói JetPack khác nhau và Python Các phiên bản được liệt kê Ở đây. Tuy nhiên, ở đây chúng tôi sẽ tải xuống và cài đặt onnxruntime-gpu 1.17.0 với Python3.8 hỗ trợ cho JetPack chúng tôi đang sử dụng cho hướng dẫn này.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Dùng TensorRT trên NVIDIA Jetson

Trong số tất cả các định dạng xuất mô hình được hỗ trợ bởi Ultralytics, TensorRT mang lại hiệu suất suy luận tốt nhất khi làm việc với các thiết bị NVIDIA Jetson và khuyến nghị của chúng tôi là sử dụng TensorRT với Jetson. Chúng tôi cũng có một tài liệu chi tiết về TensorRT tại đây.

Chuyển đổi Model sang TensorRT và Chạy suy luận

Các YOLOv8n Mô hình trong PyTorch định dạng được chuyển đổi thành TensorRT để chạy suy luận với mô hình đã xuất.

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Export the model
model.export(format='engine')  # creates 'yolov8n.engine'

# Load the exported TensorRT model
trt_model = YOLO('yolov8n.engine')

# Run inference
results = trt_model('https://ultralytics.com/images/bus.jpg')

# Export a YOLOv8n PyTorch model to TensorRT format
yolo export model=yolov8n.pt format=engine  # creates 'yolov8n.engine'

# Run inference with the exported model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA Jetson Orin YOLOv8 Điểm chuẩn

YOLOv8 Điểm chuẩn được điều hành bởi Ultralytics Nhóm trên 10 định dạng mô hình khác nhau đo tốc độ và độ chính xác: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF Graphdef, TF Lite PaddlePaddle, NCNN. Điểm chuẩn được chạy trên Seeed Studio reComputer J4012 được cung cấp bởi thiết bị Jetson Orin NX 16GB ở độ chính xác FP32 với kích thước hình ảnh đầu vào mặc định là 640.

Biểu đồ so sánh

Mặc dù tất cả các mẫu xuất khẩu đều hoạt động với NVIDIA Jetson, chúng tôi chỉ bao gồm PyTorch, TorchScript, TensorRT cho biểu đồ so sánh bên dưới bởi vì, họ sử dụng GPU trên Jetson và được đảm bảo tạo ra kết quả tốt nhất. Tất cả các xuất khẩu khác chỉ sử dụng CPU và hiệu suất không tốt như ba lần trên. Bạn có thể tìm thấy điểm chuẩn cho tất cả các lần xuất khẩu trong phần sau biểu đồ này.

Bảng so sánh chi tiết

Bảng dưới đây thể hiện kết quả điểm chuẩn cho năm mô hình khác nhau (YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) trên mười định dạng khác nhau (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF Graphdef, TF Lite PaddlePaddle, NCNN), cho chúng tôi trạng thái, kích thước, số liệu mAP50-95 (B) và thời gian suy luận cho mỗi kết hợp.

Truy cập liên kết này để khám phá thêm các nỗ lực đo điểm chuẩn của Seeed Studio chạy trên các phiên bản khác nhau của phần cứng NVIDIA Jetson.

Tái tạo kết quả của chúng tôi

Để tái tạo những điều trên Ultralytics Điểm chuẩn trên tất cả các định dạng xuất đều chạy mã này:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmarks(data='coco8.yaml', imgsz=640)

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml imgsz=640

Các phương pháp hay nhất khi sử dụng NVIDIA Jetson

Khi sử dụng NVIDIA Jetson, có một số phương pháp hay nhất cần tuân theo để cho phép hiệu suất tối đa khi NVIDIA Jetson đang chạy YOLOv8.

1. Bật Chế độ nguồn MAX

   Bật Chế độ nguồn MAX trên Jetson sẽ đảm bảo tất cả các lõi CPU, GPU đều được bật.

   sudo nvpmodel -m 0
   

2. Bật đồng hồ Jetson

   Kích hoạt Jetson Clocks sẽ đảm bảo tất cả các lõi CPU, GPU đều có xung nhịp ở tần số tối đa.

   sudo jetson_clocks
   

3. Cài đặt ứng dụng Jetson Stats

   Chúng tôi có thể sử dụng ứng dụng thống kê jetson để theo dõi nhiệt độ của các thành phần hệ thống và kiểm tra các chi tiết hệ thống khác như xem CPU, GPU, RAM sử dụng, thay đổi chế độ nguồn, đặt thành xung nhịp tối đa, kiểm tra thông tin JetPack

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

Các bước tiếp theo

Chúc mừng bạn đã thiết lập thành công YOLOv8 trên NVIDIA Jetson của bạn! Để tìm hiểu và hỗ trợ thêm, hãy truy cập thêm hướng dẫn tại Ultralytics YOLOv8 Tài liệu!

Ý kiến