Hướng dẫn bắt đầu nhanh: NVIDIA Jetson với Ultralytics YOLO11

Hướng dẫn toàn diện này cung cấp hướng dẫn chi tiết để triển khai Ultralytics YOLO11 trên các thiết bị NVIDIA Jetson . Ngoài ra, nó còn giới thiệu các điểm chuẩn hiệu suất để chứng minh khả năng của YOLO11 trên các thiết bị nhỏ và mạnh mẽ này.

Xem: Cách thiết lập NVIDIA Jetson với Ultralytics YOLO11

Là gì NVIDIA Máy bay phản lực?

NVIDIA Jetson là một loạt các bo mạch điện toán nhúng được thiết kế để đưa điện toán AI (trí tuệ nhân tạo) được tăng tốc vào các thiết bị biên. Các thiết bị nhỏ gọn và mạnh mẽ này được xây dựng xung quanh NVIDIA 'S GPU kiến trúc và có khả năng chạy các thuật toán AI phức tạp và các mô hình học sâu trực tiếp trên thiết bị, mà không cần phải dựa vào tài nguyên điện toán đám mây . Bo mạch Jetson thường được sử dụng trong robot, xe tự hành, tự động hóa công nghiệp và các ứng dụng khác, nơi suy luận AI cần được thực hiện cục bộ với độ trễ thấp và hiệu quả cao. Ngoài ra, các bo mạch này dựa trên kiến trúc ARM64 và chạy ở mức công suất thấp hơn so với các bo mạch truyền thống GPU thiết bị máy tính.

NVIDIA So sánh dòng Jetson

Jetson Orin là phiên bản mới nhất của NVIDIA Gia đình Jetson dựa trên NVIDIA Kiến trúc ampere mang lại hiệu suất AI được cải thiện đáng kể khi so sánh với các thế hệ trước. Bảng dưới đây so sánh một số thiết bị Jetson trong hệ sinh thái.

Để biết bảng so sánh chi tiết hơn, vui lòng truy cập phần Thông số kỹ thuật của chính thức NVIDIA Trang Jetson.

Là gì NVIDIA JetPack?

NVIDIA JetPack SDK cung cấp năng lượng cho các mô-đun Jetson là giải pháp toàn diện nhất và cung cấp môi trường phát triển đầy đủ để xây dựng các ứng dụng AI được tăng tốc toàn diện và rút ngắn thời gian đưa ra thị trường. JetPack bao gồm Jetson Linux với bộ nạp khởi động, hạt nhân Linux, môi trường máy tính để bàn Ubuntu và một bộ thư viện hoàn chỉnh để tăng tốc GPU máy tính, đa phương tiện, đồ họa và thị giác máy tính . Nó cũng bao gồm các mẫu, tài liệu và công cụ phát triển cho cả máy chủ và bộ công cụ phát triển, và hỗ trợ các SDK cấp cao hơn như DeepStream để phân tích video phát trực tuyến, Isaac cho robot và Riva cho AI đàm thoại.

Flash JetPack để NVIDIA Máy bay phản lực

Bước đầu tiên sau khi chạm tay vào một NVIDIA Thiết bị Jetson là để flash NVIDIA JetPack vào thiết bị. Có một số cách nhấp nháy khác nhau NVIDIA Thiết bị Jetson.

1. Nếu bạn sở hữu một quan chức NVIDIA Bộ công cụ phát triển như Jetson Orin Nano Developer Kit, bạn có thể tải xuống hình ảnh và chuẩn bị thẻ SD với JetPack để khởi động thiết bị.
2. Nếu bạn sở hữu bất kỳ loại nào khác NVIDIA Bộ công cụ phát triển, bạn có thể flash JetPack vào thiết bị bằng Trình quản lý SDK.
3. Nếu bạn sở hữu thiết bị Seeed Studio reComputer J4012, bạn có thể flash JetPack vào ổ SSD đi kèm và nếu bạn sở hữu thiết bị Seeed Studio reComputer J1020 v2, bạn có thể flash JetPack vào eMMC / SSD.
4. Nếu bạn sở hữu bất kỳ thiết bị bên thứ ba nào khác được cung cấp bởi NVIDIA Mô-đun Jetson, nên tuân theo nhấp nháy dòng lệnh.

Hỗ trợ JetPack dựa trên thiết bị Jetson

Bảng dưới đây nêu bật NVIDIA Các phiên bản JetPack được hỗ trợ bởi các phiên bản khác nhau NVIDIA Thiết bị Jetson.

Bắt đầu nhanh với Docker

Cách nhanh nhất để bắt đầu với Ultralytics YOLO11 trên NVIDIA Jetson sẽ chạy với các hình ảnh docker được dựng sẵn cho Jetson. Tham khảo bảng trên và chọn phiên bản JetPack theo thiết bị Jetson bạn sở hữu.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack5
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack6
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Sau khi hoàn tất, hãy chuyển đến Dùng TensorRT trên NVIDIA Phần Jetson.

Bắt đầu với Cài đặt gốc

Để cài đặt gốc mà không có Docker, vui lòng tham khảo các bước bên dưới.

Chạy trên JetPack 6.x

Cài đặt Ultralytics Gói

Ở đây chúng ta sẽ cài đặt Ultralytics gói trên Jetson với các phụ thuộc tùy chọn để chúng ta có thể xuất các mô hình PyTorch sang các định dạng khác nhau. Chúng ta sẽ chủ yếu tập trung vào xuất NVIDIA TensorRT vì TensorRT sẽ đảm bảo chúng ta có thể đạt được hiệu suất tối đa từ các thiết bị Jetson.

1. Cập nhật danh sách gói, cài đặt pip và nâng cấp lên mới nhất

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Cài đặt ultralytics Gói pip với các phụ thuộc tùy chọn

   pip install ultralytics[export]
   

3. Khởi động lại thiết bị

   sudo reboot
   

Cài đặt PyTorch và Torchvision

Những điều trên ultralytics Cài đặt sẽ cài đặt Torch và Torchvision. Tuy nhiên, 2 gói này được cài đặt qua pip không tương thích để chạy trên nền tảng Jetson dựa trên kiến trúc ARM64. Do đó, chúng ta cần cài đặt thủ công dựng sẵn PyTorch bánh xe pip và biên dịch / cài đặt Torchvision từ nguồn.

Cài đặt torch 2.3.0 và torchvision 0.18 theo JP6.0

sudo apt-get install libopenmpi-dev libopenblas-base libomp-dev -y
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.3.0-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.18.0a0+6043bc2-cp310-cp310-linux_aarch64.whl

Ghé thăm PyTorch cho trang Jetson để truy cập tất cả các phiên bản khác nhau của PyTorch cho các phiên bản JetPack khác nhau. Để biết danh sách chi tiết hơn về PyTorch, khả năng tương thích Torchvision, hãy truy cập PyTorch và trang tương thích Torchvision.

Cài đặt onnxruntime-gpu

Các onnxruntime-gpu gói được lưu trữ trong PyPI không có aarch64 nhị phân cho Jetson. Vì vậy, chúng ta cần phải cài đặt thủ công gói này. Gói này là cần thiết cho một số hàng xuất khẩu.

Tất cả đều khác nhau onnxruntime-gpu các gói tương ứng với các gói JetPack khác nhau và Python Các phiên bản được liệt kê Ở đây. Tuy nhiên, ở đây chúng tôi sẽ tải xuống và cài đặt onnxruntime-gpu 1.18.0 với Python3.10 hỗ trợ.

wget https://nvidia.box.com/shared/static/48dtuob7meiw6ebgfsfqakc9vse62sg4.whl -O onnxruntime_gpu-1.18.0-cp310-cp310-linux_aarch64.whl
pip install onnxruntime_gpu-1.18.0-cp310-cp310-linux_aarch64.whl

Chạy trên JetPack 5.x

Cài đặt Ultralytics Gói

Ở đây chúng tôi sẽ cài đặt Ultralytics gói hàng trên Jetson với các phụ thuộc tùy chọn để chúng tôi có thể xuất PyTorch mô hình sang các định dạng khác nhau. Chúng tôi sẽ chủ yếu tập trung vào NVIDIA TensorRT xuất khẩu vì TensorRT sẽ đảm bảo chúng tôi có thể đạt được hiệu suất tối đa từ các thiết bị Jetson.

1. Cập nhật danh sách gói, cài đặt pip và nâng cấp lên mới nhất

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Cài đặt ultralytics Gói pip với các phụ thuộc tùy chọn

   pip install ultralytics[export]
   

3. Khởi động lại thiết bị

   sudo reboot
   

Cài đặt PyTorch và Torchvision

Những điều trên ultralytics Cài đặt sẽ cài đặt Torch và Torchvision. Tuy nhiên, 2 gói này được cài đặt qua pip không tương thích để chạy trên nền tảng Jetson dựa trên kiến trúc ARM64. Do đó, chúng ta cần cài đặt thủ công dựng sẵn PyTorch bánh xe pip và biên dịch / cài đặt Torchvision từ nguồn.

1. Gỡ cài đặt hiện đang được cài đặt PyTorch và Torchvision

   pip uninstall torch torchvision
   

2. Cài đặt PyTorch 2.1.0 theo JP5.1.3

   sudo apt-get install -y libopenblas-base libopenmpi-dev
   wget https://developer.download.nvidia.com/compute/redist/jp/v512/pytorch/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl -O torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   

3. Cài đặt Torchvision v0.16.2 theo PyTorch v2.1.0

   sudo apt install -y libjpeg-dev zlib1g-dev
   git clone https://github.com/pytorch/vision torchvision
   cd torchvision
   git checkout v0.16.2
   python3 setup.py install --user
   

Ghé thăm PyTorch cho trang Jetson để truy cập tất cả các phiên bản khác nhau của PyTorch cho các phiên bản JetPack khác nhau. Để biết danh sách chi tiết hơn về PyTorch, khả năng tương thích Torchvision, hãy truy cập PyTorch và trang tương thích Torchvision.

Cài đặt onnxruntime-gpu

Các onnxruntime-gpu gói được lưu trữ trong PyPI không có aarch64 nhị phân cho Jetson. Vì vậy, chúng ta cần phải cài đặt thủ công gói này. Gói này là cần thiết cho một số hàng xuất khẩu.

Tất cả đều khác nhau onnxruntime-gpu các gói tương ứng với các gói JetPack khác nhau và Python Các phiên bản được liệt kê Ở đây. Tuy nhiên, ở đây chúng tôi sẽ tải xuống và cài đặt onnxruntime-gpu 1.17.0 với Python3.8 hỗ trợ.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Dùng TensorRT trên NVIDIA Máy bay phản lực

Trong số tất cả các định dạng xuất mô hình được hỗ trợ bởi Ultralytics, TensorRT Mang lại hiệu suất suy luận tốt nhất khi làm việc với NVIDIA Thiết bị Jetson và khuyến nghị của chúng tôi là sử dụng TensorRT với Jetson. Chúng tôi cũng có một tài liệu chi tiết về TensorRT tại đây.

Chuyển đổi Model sang TensorRT và Chạy suy luận

Mô hình YOLO11n trong PyTorch định dạng được chuyển đổi thành TensorRT để chạy suy luận với mô hình đã xuất.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine  # creates 'yolo11n.engine'

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

Sử dụng NVIDIA Bộ tăng tốc học sâu (DLA)

NVIDIA Deep Learning Accelerator (DLA) là một thành phần phần cứng chuyên dụng được tích hợp vào NVIDIA Thiết bị Jetson tối ưu hóa suy luận học sâu cho hiệu quả năng lượng và hiệu suất. Bằng cách dỡ bỏ các tác vụ khỏi GPU (giải phóng năng lượng cho các quy trình chuyên sâu hơn), DLA cho phép các mô hình chạy với mức tiêu thụ điện năng thấp hơn trong khi vẫn duy trì thông lượng cao, lý tưởng cho các hệ thống nhúng và ứng dụng AI thời gian thực.

Các thiết bị Jetson sau đây được trang bị phần cứng DLA:

• Máy bay phản lực Orin NX 16GB
• Dòng Jetson AGX Orin
• Dòng Jetson AGX Xavier
• Dòng Jetson Xavier NX

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", half=True)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format with DLA enabled (only works with FP16 or INT8)
yolo export model=yolo11n.pt format=engine device="dla:0" half=True  # dla:0 or dla:1 corresponds to the DLA cores

# Run inference with the exported model on the DLA
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA Điểm chuẩn Jetson Orin YOLO11

Các tiêu chuẩn YOLO11 đã được chạy bởi Ultralytics nhóm trên 10 định dạng mô hình khác nhau để đo tốc độ và độ chính xác : PyTorch , TorchScript , ONNX , OpenVINO , TensorRT , TF SavedModel , TF GraphDef , TF Nhẹ, PaddlePaddle , NCNN . Điểm chuẩn được chạy trên Seeed Studio reComputer J4012 được hỗ trợ bởi thiết bị Jetson Orin NX 16GB với độ chính xác FP32 với kích thước hình ảnh đầu vào mặc định là 640.

Biểu đồ so sánh

Mặc dù tất cả các mô hình xuất khẩu đang làm việc với NVIDIA Jetson, chúng tôi chỉ bao gồm PyTorch, TorchScript, TensorRT Đối với biểu đồ so sánh dưới đây bởi vì, họ sử dụng GPU trên Jetson và được đảm bảo tạo ra kết quả tốt nhất. Tất cả các mặt hàng xuất khẩu khác chỉ sử dụng CPU Và hiệu suất không tốt bằng ba phần trên. Bạn có thể tìm thấy điểm chuẩn cho tất cả các lần xuất khẩu trong phần sau biểu đồ này.

Bảng so sánh chi tiết

Bảng dưới đây thể hiện kết quả chuẩn cho năm mô hình khác nhau (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) trên mười định dạng khác nhau ( PyTorch , TorchScript , ONNX , OpenVINO , TensorRT , TF SavedModel , TF GraphDef , TF Nhẹ, PaddlePaddle , NCNN ), cung cấp cho chúng ta trạng thái, kích thước, số liệu mAP50-95(B) và thời gian suy luận cho mỗi kết hợp.

Khám phá thêm các nỗ lực đo điểm chuẩn của Seeed Studio chạy trên các phiên bản khác nhau của NVIDIA Phần cứng Jetson.

Tái tạo kết quả của chúng tôi

Để tái tạo những điều trên Ultralytics Điểm chuẩn trên tất cả các định dạng xuất đều chạy mã này:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmarks(data="coco8.yaml", imgsz=640)

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml imgsz=640

Các phương pháp hay nhất khi sử dụng NVIDIA Máy bay phản lực

Khi sử dụng NVIDIA Jetson, có một số biện pháp thực hành tốt nhất cần tuân theo để đạt được hiệu suất tối đa trên NVIDIA Jetson đang chạy YOLO11.

1. Bật Chế độ nguồn MAX

   Bật Chế độ nguồn MAX trên Jetson sẽ đảm bảo tất cả CPU, GPU lõi được bật.

   sudo nvpmodel -m 0
   

2. Bật đồng hồ Jetson

   Bật Đồng hồ Jetson sẽ đảm bảo tất cả CPU, GPU Lõi được xung nhịp ở tần số tối đa của chúng.

   sudo jetson_clocks
   

3. Cài đặt ứng dụng Jetson Stats

   Chúng tôi có thể sử dụng ứng dụng thống kê jetson để theo dõi nhiệt độ của các thành phần hệ thống và kiểm tra các chi tiết hệ thống khác như chế độ xem CPU, GPU, sử dụng RAM, thay đổi chế độ nguồn, đặt thành xung nhịp tối đa, kiểm tra thông tin JetPack

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

Các bước tiếp theo

Xin chúc mừng bạn đã thiết lập thành công YOLO11 trên NVIDIA Jetson! Để tìm hiểu thêm và được hỗ trợ, hãy truy cập hướng dẫn tại Ultralytics YOLO11 Docs !

FAQ

Làm thế nào để tôi triển khai Ultralytics YOLO11 trên NVIDIA Thiết bị Jetson?

Triển khai Ultralytics YOLO11 trên NVIDIA Thiết bị Jetson là một quá trình đơn giản. Đầu tiên, hãy flash thiết bị Jetson của bạn bằng NVIDIA JetPack SDK. Sau đó, sử dụng hình ảnh Docker dựng sẵn để thiết lập nhanh hoặc cài đặt thủ công các gói cần thiết. Các bước chi tiết cho từng phương pháp có thể được tìm thấy trong phần Bắt đầu nhanh với Docker và Bắt đầu với Cài đặt gốc .

Tôi có thể mong đợi điểm chuẩn hiệu suất nào từ các mẫu YOLO11 trên NVIDIA Thiết bị Jetson?

Các mô hình YOLO11 đã được đánh giá chuẩn trên nhiều NVIDIA Các thiết bị Jetson cho thấy những cải tiến đáng kể về hiệu suất. Ví dụ, TensorRT định dạng cung cấp hiệu suất suy luận tốt nhất. Bảng trong phần Bảng so sánh chi tiết cung cấp góc nhìn toàn diện về các số liệu hiệu suất như mAP50-95 và thời gian suy luận trên các định dạng mô hình khác nhau.

Tại sao tôi nên sử dụng TensorRT để triển khai YOLO11 trên NVIDIA Jetson à?

TensorRT được khuyến khích sử dụng để triển khai các mô hình YOLO11 trên NVIDIA Jetson do hiệu suất tối ưu của nó. Nó tăng tốc suy luận bằng cách tận dụng Jetson GPU khả năng, đảm bảo hiệu quả và tốc độ tối đa. Tìm hiểu thêm về cách chuyển đổi sang TensorRT và chạy suy luận trong phần Sử dụng TensorRT trên NVIDIA Jetson .

Làm thế nào tôi có thể cài đặt PyTorch và Torchvision trên NVIDIA Máy bay phản lực?

Để cài đặt PyTorch và Torchvision trên NVIDIA Jetson, trước tiên hãy gỡ cài đặt bất kỳ phiên bản hiện có nào có thể đã được cài đặt qua pip. Sau đó, cài đặt thủ công tương thích PyTorch và các phiên bản Torchvision cho kiến trúc ARM64 của Jetson. Hướng dẫn chi tiết cho quá trình này được cung cấp trong Cài đặt PyTorch và phần Torchvision .

Những cách thực hành tốt nhất để tối đa hóa hiệu suất là gì? NVIDIA Jetson khi sử dụng YOLO11?

Để tối đa hóa hiệu suất trên NVIDIA Jetson với YOLO11, hãy làm theo các biện pháp tốt nhất sau:

1. Bật Chế độ nguồn MAX để sử dụng tất cả CPU và GPU Lõi.
2. Cho phép Đồng hồ Jetson chạy tất cả các lõi ở tần số tối đa của chúng.
3. Cài đặt ứng dụng Jetson Stats để theo dõi số liệu hệ thống.

Để biết các lệnh và chi tiết bổ sung, hãy tham khảo Các phương pháp hay nhất khi sử dụng NVIDIA Phần Jetson .

📅 Được tạo cách đây 7 tháng ✏️ Đã cập nhật cách đây 4 ngày

Ý kiến