Bỏ để qua phần nội dung

Hướng dẫn Bắt đầu Nhanh: NVIDIA Jetson với Ultralytics YOLOv8

Hướng dẫn toàn diện này cung cấp hướng dẫn chi tiết để triển khai Ultralytics YOLOv8 trên NVIDIA Thiết bị Jetson . Ngoài ra, nó giới thiệu các điểm chuẩn hiệu suất để chứng minh khả năng của YOLOv8 trên các thiết bị nhỏ và mạnh mẽ này.



Xem: Cách thiết lập NVIDIA Jetson với Ultralytics YOLOv8

NVIDIA Hệ sinh thái Jetson

Ghi

Hướng dẫn này đã được thử nghiệm với cả Seeed Studio reComputer J4012 dựa trên NVIDIA Jetson Orin NX 16GB chạy phiên bản JetPack ổn định mới nhất của JP6.0, bản phát hành JetPack của JP5.1.3Seeed Studio reComputer J1020 v2 dựa trên NVIDIA Jetson Nano 4GB chạy JetPack phát hành JP4.6.1. Nó dự kiến sẽ hoạt động trên tất cả các NVIDIA Dòng sản phẩm phần cứng Jetson bao gồm mới nhất và kế thừa.

Là gì NVIDIA Máy bay phản lực?

NVIDIA Jetson is a series of embedded computing boards designed to bring accelerated AI (artificial intelligence) computing to edge devices. These compact and powerful devices are built around NVIDIA's GPU architecture and are capable of running complex AI algorithms and deep learning models directly on the device, without needing to rely on cloud computing resources. Jetson boards are often used in robotics, autonomous vehicles, industrial automation, and other applications where AI inference needs to be performed locally with low latency and high efficiency. Additionally, these boards are based on the ARM64 architecture and runs on lower power compared to traditional GPU computing devices.

NVIDIA So sánh dòng Jetson

Jetson Orin là phiên bản mới nhất của NVIDIA Gia đình Jetson dựa trên NVIDIA Kiến trúc ampere mang lại hiệu suất AI được cải thiện đáng kể khi so sánh với các thế hệ trước. Bảng dưới đây so sánh một số thiết bị Jetson trong hệ sinh thái.

Máy bay phản lực AGX Orin 64GB Máy bay phản lực Orin NX 16GB Jetson Orin Nano 8GB Máy bay phản lực AGX Xavier Máy bay phản lực Xavier NX Jetson Nano
Hiệu suất AI 275 NGỌN 100 NGỌN 40 ĐẦU 32 NGỌN 21 NGỌN 472 GFLOPS
GPU 2048 lõi NVIDIA Kiến trúc ampe GPU với 64 Tensor Lõi 1024 lõi NVIDIA Kiến trúc ampe GPU với 32 Tensor Lõi 1024 lõi NVIDIA Kiến trúc ampe GPU với 32 Tensor Lõi 512 lõi NVIDIA Kiến trúc Volta GPU với 64 Tensor Lõi 384 lõi NVIDIA Kiến trúc Volta™ GPU với 48 Tensor Lõi 128 lõi NVIDIA Kiến trúc Maxwell™ GPU
GPU Tần số tối đa 1.3 GHz 918 MHz 625 MHz 1377 MHz 1100 MHz 921MHz
CPU 12 lõi NVIDIA Arm® Cortex A78AE v8.2 64-bit CPU 3MB L2 + 6MB L3 8 lõi NVIDIA Arm® Cortex A78AE v8.2 64-bit CPU 2MB L2 + 4MB L3 6 lõi Arm® Cortex-A78AE® v8.2 64-bit CPU 1.5MB L2 + 4MB L3 8 lõi NVIDIA Carmel Arm®v8.2 64-bit CPU 8MB L2 + 4MB L3 6 lõi NVIDIA Carmel Arm®v8.2 64-bit CPU 6MB L2 + 4MB L3 Bộ xử lý Quad-Core Arm® Cortex-A57® MPCore
CPU Tần số tối đa 2.2 GHz 2.0 GHz 1.5 GHz 2.2 GHz 1.9 GHz 1.43GHz
Trí nhớ 64GB LPDDR5 256-bit 204.8GB/giây 16GB LPDDR5 128-bit 102.4GB/giây 8GB LPDDR5 128-bit 68 GB/giây 32GB 256-bit LPDDR4x 136.5GB/giây 8GB LPDDR128-bit4x 59.7GB/giây 4GB LPDDR4 64-bit 25.6GB/giây"

Để biết bảng so sánh chi tiết hơn, vui lòng truy cập phần Thông số kỹ thuật của chính thức NVIDIA Trang Jetson.

Là gì NVIDIA JetPack?

NVIDIA JetPack SDK powering the Jetson modules is the most comprehensive solution and provides full development environment for building end-to-end accelerated AI applications and shortens time to market. JetPack includes Jetson Linux with bootloader, Linux kernel, Ubuntu desktop environment, and a complete set of libraries for acceleration of GPU computing, multimedia, graphics, and computer vision. It also includes samples, documentation, and developer tools for both host computer and developer kit, and supports higher level SDKs such as DeepStream for streaming video analytics, Isaac for robotics, and Riva for conversational AI.

Flash JetPack để NVIDIA Máy bay phản lực

Bước đầu tiên sau khi chạm tay vào một NVIDIA Thiết bị Jetson là để flash NVIDIA JetPack vào thiết bị. Có một số cách nhấp nháy khác nhau NVIDIA Thiết bị Jetson.

  1. Nếu bạn sở hữu một quan chức NVIDIA Bộ công cụ phát triển như Jetson Orin Nano Developer Kit, bạn có thể tải xuống hình ảnh và chuẩn bị thẻ SD với JetPack để khởi động thiết bị.
  2. Nếu bạn sở hữu bất kỳ loại nào khác NVIDIA Bộ công cụ phát triển, bạn có thể flash JetPack vào thiết bị bằng Trình quản lý SDK.
  3. Nếu bạn sở hữu thiết bị Seeed Studio reComputer J4012, bạn có thể flash JetPack vào ổ SSD đi kèm và nếu bạn sở hữu thiết bị Seeed Studio reComputer J1020 v2, bạn có thể flash JetPack vào eMMC / SSD.
  4. Nếu bạn sở hữu bất kỳ thiết bị bên thứ ba nào khác được cung cấp bởi NVIDIA Mô-đun Jetson, nên tuân theo nhấp nháy dòng lệnh.

Ghi

Đối với các phương pháp 3 và 4 ở trên, sau khi flash hệ thống và khởi động thiết bị, vui lòng nhập "sudo apt update &&& sudo apt install nvidia-jetpack -y" trên thiết bị đầu cuối thiết bị để cài đặt tất cả các thành phần JetPack còn lại cần thiết.

Hỗ trợ JetPack dựa trên thiết bị Jetson

Bảng dưới đây nêu bật NVIDIA Các phiên bản JetPack được hỗ trợ bởi các phiên bản khác nhau NVIDIA Thiết bị Jetson.

Gói máy bay phản lực 4 Gói máy bay phản lực 5 Gói máy bay phản lực 6
Jetson Nano
Máy bay phản lực TX2
Máy bay phản lực Xavier NX
Máy bay phản lực AGX Xavier
Jetson AGX Orin
Máy bay phản lực Orin NX
Jetson Orin Nano

Bắt đầu nhanh với Docker

Cách nhanh nhất để bắt đầu Ultralytics YOLOv8 trên NVIDIA Jetson sẽ chạy với các hình ảnh docker được xây dựng sẵn cho Jetson. Tham khảo bảng trên và chọn phiên bản JetPack theo thiết bị Jetson mà quý khách sở hữu.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t
t=ultralytics/ultralytics:latest-jetson-jetpack5
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t
t=ultralytics/ultralytics:latest-jetson-jetpack6
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Sau khi hoàn tất, hãy chuyển đến Dùng TensorRT trên NVIDIA Phần Jetson.

Bắt đầu với Cài đặt gốc

Để cài đặt gốc mà không có Docker, vui lòng tham khảo các bước bên dưới.

Chạy trên JetPack 6.x

Cài đặt Ultralytics Gói

Here we will install Ultralytics package on the Jetson with optional dependencies so that we can export the PyTorch models to other different formats. We will mainly focus on NVIDIA TensorRT exports because TensorRT will make sure we can get the maximum performance out of the Jetson devices.

  1. Cập nhật danh sách gói, cài đặt pip và nâng cấp lên mới nhất

    sudo apt update
    sudo apt install python3-pip -y
    pip install -U pip
    
  2. Cài đặt ultralytics Gói pip với các phụ thuộc tùy chọn

    pip install ultralytics[export]
    
  3. Khởi động lại thiết bị

    sudo reboot
    

Cài đặt PyTorch và Torchvision

Những điều trên ultralytics Cài đặt sẽ cài đặt Torch và Torchvision. Tuy nhiên, 2 gói này được cài đặt qua pip không tương thích để chạy trên nền tảng Jetson dựa trên kiến trúc ARM64. Do đó, chúng ta cần cài đặt thủ công dựng sẵn PyTorch bánh xe pip và biên dịch / cài đặt Torchvision từ nguồn.

Cài đặt torch 2.3.0torchvision 0.18 theo JP6.0

sudo apt-get install libopenmpi-dev libopenblas-base libomp-dev -y
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.3.0-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.18.0a0+6043bc2-cp310-cp310-linux_aarch64.whl

Ghé thăm PyTorch cho trang Jetson để truy cập tất cả các phiên bản khác nhau của PyTorch cho các phiên bản JetPack khác nhau. Để biết danh sách chi tiết hơn về PyTorch, khả năng tương thích Torchvision, hãy truy cập PyTorch và trang tương thích Torchvision.

Cài đặt onnxruntime-gpu

Các onnxruntime-gpu gói được lưu trữ trong PyPI không có aarch64 nhị phân cho Jetson. Vì vậy, chúng ta cần phải cài đặt thủ công gói này. Gói này là cần thiết cho một số hàng xuất khẩu.

Tất cả đều khác nhau onnxruntime-gpu các gói tương ứng với các gói JetPack khác nhau và Python Các phiên bản được liệt kê Ở đây. Tuy nhiên, ở đây chúng tôi sẽ tải xuống và cài đặt onnxruntime-gpu 1.18.0 với Python3.10 hỗ trợ.

wget https://nvidia.box.com/shared/static/48dtuob7meiw6ebgfsfqakc9vse62sg4.whl -O onnxruntime_gpu-1.18.0-cp310-cp310-linux_aarch64.whl
pip install onnxruntime_gpu-1.18.0-cp310-cp310-linux_aarch64.whl

Ghi

onnxruntime-gpu sẽ tự động hoàn nguyên phiên bản numpy về phiên bản mới nhất. Vì vậy, chúng ta cần phải cài đặt lại numpy để 1.23.5 Để khắc phục sự cố bằng cách thực hiện:

pip install numpy==1.23.5

Chạy trên JetPack 5.x

Cài đặt Ultralytics Gói

Ở đây chúng tôi sẽ cài đặt Ultralytics gói hàng trên Jetson với các phụ thuộc tùy chọn để chúng tôi có thể xuất PyTorch mô hình sang các định dạng khác nhau. Chúng tôi sẽ chủ yếu tập trung vào NVIDIA TensorRT xuất khẩu vì TensorRT sẽ đảm bảo chúng tôi có thể đạt được hiệu suất tối đa từ các thiết bị Jetson.

  1. Cập nhật danh sách gói, cài đặt pip và nâng cấp lên mới nhất

    sudo apt update
    sudo apt install python3-pip -y
    pip install -U pip
    
  2. Cài đặt ultralytics Gói pip với các phụ thuộc tùy chọn

    pip install ultralytics[export]
    
  3. Khởi động lại thiết bị

    sudo reboot
    

Cài đặt PyTorch và Torchvision

Những điều trên ultralytics Cài đặt sẽ cài đặt Torch và Torchvision. Tuy nhiên, 2 gói này được cài đặt qua pip không tương thích để chạy trên nền tảng Jetson dựa trên kiến trúc ARM64. Do đó, chúng ta cần cài đặt thủ công dựng sẵn PyTorch bánh xe pip và biên dịch / cài đặt Torchvision từ nguồn.

  1. Gỡ cài đặt hiện đang được cài đặt PyTorch và Torchvision

    pip uninstall torch torchvision
    
  2. Cài đặt PyTorch 2.1.0 theo JP5.1.3

    sudo apt-get install -y libopenblas-base libopenmpi-dev
    wget https://developer.download.nvidia.com/compute/redist/jp/v512/pytorch/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl -O torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
    pip install torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
    
  3. Cài đặt Torchvision v0.16.2 theo PyTorch v2.1.0

    sudo apt install -y libjpeg-dev zlib1g-dev
    git clone https://github.com/pytorch/vision torchvision
    cd torchvision
    git checkout v0.16.2
    python3 setup.py install --user
    

Ghé thăm PyTorch cho trang Jetson để truy cập tất cả các phiên bản khác nhau của PyTorch cho các phiên bản JetPack khác nhau. Để biết danh sách chi tiết hơn về PyTorch, khả năng tương thích Torchvision, hãy truy cập PyTorch và trang tương thích Torchvision.

Cài đặt onnxruntime-gpu

Các onnxruntime-gpu gói được lưu trữ trong PyPI không có aarch64 nhị phân cho Jetson. Vì vậy, chúng ta cần phải cài đặt thủ công gói này. Gói này là cần thiết cho một số hàng xuất khẩu.

Tất cả đều khác nhau onnxruntime-gpu các gói tương ứng với các gói JetPack khác nhau và Python Các phiên bản được liệt kê Ở đây. Tuy nhiên, ở đây chúng tôi sẽ tải xuống và cài đặt onnxruntime-gpu 1.17.0 với Python3.8 hỗ trợ.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Ghi

onnxruntime-gpu sẽ tự động hoàn nguyên phiên bản numpy về phiên bản mới nhất. Vì vậy, chúng ta cần phải cài đặt lại numpy để 1.23.5 Để khắc phục sự cố bằng cách thực hiện:

pip install numpy==1.23.5

Dùng TensorRT trên NVIDIA Máy bay phản lực

Trong số tất cả các định dạng xuất mô hình được hỗ trợ bởi Ultralytics, TensorRT Mang lại hiệu suất suy luận tốt nhất khi làm việc với NVIDIA Thiết bị Jetson và khuyến nghị của chúng tôi là sử dụng TensorRT với Jetson. Chúng tôi cũng có một tài liệu chi tiết về TensorRT tại đây.

Chuyển đổi Model sang TensorRT và Chạy suy luận

Các YOLOv8n Mô hình trong PyTorch định dạng được chuyển đổi thành TensorRT để chạy suy luận với mô hình đã xuất.

Ví dụ

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="engine")  # creates 'yolov8n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolov8n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")
# Export a YOLOv8n PyTorch model to TensorRT format
yolo export model=yolov8n.pt format=engine  # creates 'yolov8n.engine'

# Run inference with the exported model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

Ghi

Truy cập trang Xuất để truy cập các đối số bổ sung khi xuất mô hình sang các định dạng mô hình khác nhau

NVIDIA Jetson Orin YOLOv8 Điểm chuẩn

YOLOv8 benchmarks were run by the Ultralytics team on 10 different model formats measuring speed and accuracy: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, PaddlePaddle, NCNN. Benchmarks were run on Seeed Studio reComputer J4012 powered by Jetson Orin NX 16GB device at FP32 precision with default input image size of 640.

Biểu đồ so sánh

Mặc dù tất cả các mô hình xuất khẩu đang làm việc với NVIDIA Jetson, chúng tôi chỉ bao gồm PyTorch, TorchScript, TensorRT Đối với biểu đồ so sánh dưới đây bởi vì, họ sử dụng GPU trên Jetson và được đảm bảo tạo ra kết quả tốt nhất. Tất cả các mặt hàng xuất khẩu khác chỉ sử dụng CPU Và hiệu suất không tốt bằng ba phần trên. Bạn có thể tìm thấy điểm chuẩn cho tất cả các lần xuất khẩu trong phần sau biểu đồ này.

NVIDIA Hệ sinh thái Jetson

Bảng so sánh chi tiết

Bảng dưới đây thể hiện kết quả điểm chuẩn cho năm mô hình khác nhau (YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) trên mười định dạng khác nhau (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite PaddlePaddle, NCNN), cho chúng tôi trạng thái, kích thước, số liệu mAP50-95 (B) và thời gian suy luận cho mỗi kết hợp.

Hiệu năng

Định dạng Tình trạng Kích thước trên đĩa (MB) mAP50-95(B) Thời gian suy luận (ms/im)
PyTorch 6.2 0.6381 14.3
TorchScript 12.4 0.6117 13.3
ONNX 12.2 0.6092 70.6
OpenVINO 12.3 0.6092 104.2
TensorRT (FP32) 16.1 0.6091 8.01
TensorRT (FP16) 9.2 0.6093 4.55
TensorRT (INT8) 5.9 0.2759 4.09
TF SavedModel 30.6 0.6092 141.74
TF GraphDef 12.3 0.6092 199.93
TF Lite 12.3 0.6092 349.18
PaddlePaddle 24.4 0.6030 555
NCNN 12.2 0.6092 32
Định dạng Tình trạng Kích thước trên đĩa (MB) mAP50-95(B) Thời gian suy luận (ms/im)
PyTorch 21.5 0.6967 18
TorchScript 43.0 0.7136 23.81
ONNX 42.8 0.7136 185.55
OpenVINO 42.9 0.7136 243.97
TensorRT (FP32) 46.4 0.7136 14.01
TensorRT (FP16) 24.2 0.722 7.16
TensorRT (INT8) 13.7 0.4233 5.49
TF SavedModel 107 0.7136 260.03
TF GraphDef 42.8 0.7136 423.4
TF Lite 42.8 0.7136 1046.64
PaddlePaddle 85.5 0.7140 1464
NCNN 42.7 0.7200 63
Định dạng Tình trạng Kích thước trên đĩa (MB) mAP50-95(B) Thời gian suy luận (ms/im)
PyTorch 49.7 0.7370 36.4
TorchScript 99.2 0.7285 53.58
ONNX 99 0.7280 452.09
OpenVINO 99.1 0.7280 544.36
TensorRT (FP32) 102.4 0.7285 31.51
TensorRT (FP16) 52.6 0.7324 14.88
TensorRT (INT8) 28.6 0.3283 10.89
TF SavedModel 247.5 0.7280 543.65
TF GraphDef 99 0.7280 906.63
TF Lite 99 0.7280 2758.08
PaddlePaddle 197.9 0.7280 3678
NCNN 98.9 0.7260 135
Định dạng Tình trạng Kích thước trên đĩa (MB) mAP50-95(B) Thời gian suy luận (ms/im)
PyTorch 83.7 0.7768 61.3
TorchScript 167.2 0.7554 87.9
ONNX 166.8 0.7551 852.29
OpenVINO 167 0.7551 1012.6
TensorRT (FP32) 170.5 0.7554 49.79
TensorRT (FP16) 86.1 0.7535 22.89
TensorRT (INT8) 46.4 0.4048 14.61
TF SavedModel 417.2 0.7551 990.45
TF GraphDef 166.9 0.7551 1649.86
TF Lite 166.9 0.7551 5652.37
PaddlePaddle 333.6 0.7551 7114.67
NCNN 166.8 0.7685 231.9
Định dạng Tình trạng Kích thước trên đĩa (MB) mAP50-95(B) Thời gian suy luận (ms/im)
PyTorch 130.5 0.7759 93
TorchScript 260.7 0.7472 135.1
ONNX 260.4 0.7479 1296.13
OpenVINO 260.6 0.7479 1502.15
TensorRT (FP32) 264.0 0.7469 80.01
TensorRT (FP16) 133.3 0.7513 40.76
TensorRT (INT8) 70.2 0.4277 22.08
TF SavedModel 651.1 0.7479 1451.76
TF GraphDef 260.5 0.7479 4029.36
TF Lite 260.4 0.7479 8772.86
PaddlePaddle 520.8 0.7479 10619.53
NCNN 260.4 0.7646 376.38

Khám phá thêm các nỗ lực đo điểm chuẩn của Seeed Studio chạy trên các phiên bản khác nhau của NVIDIA Phần cứng Jetson.

Tái tạo kết quả của chúng tôi

Để tái tạo những điều trên Ultralytics Điểm chuẩn trên tất cả các định dạng xuất đều chạy mã này:

Ví dụ

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmarks(data="coco8.yaml", imgsz=640)
# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml imgsz=640

Lưu ý rằng kết quả đo điểm chuẩn có thể thay đổi dựa trên cấu hình phần cứng và phần mềm chính xác của hệ thống, cũng như khối lượng công việc hiện tại của hệ thống tại thời điểm chạy điểm chuẩn. Để có kết quả đáng tin cậy nhất, hãy sử dụng tập dữ liệu có số lượng hình ảnh lớn, tức là data='coco8.yaml' (4 val images), ordata = 'coco.yaml'' (5000 hình ảnh val).

Các phương pháp hay nhất khi sử dụng NVIDIA Máy bay phản lực

Khi sử dụng NVIDIA Jetson, có một vài thực tiễn tốt nhất để làm theo để cho phép hiệu suất tối đa trên NVIDIA Jetson đang chạy YOLOv8.

  1. Bật Chế độ nguồn MAX

    Bật Chế độ nguồn MAX trên Jetson sẽ đảm bảo tất cả CPU, GPU lõi được bật.

    sudo nvpmodel -m 0
    
  2. Bật đồng hồ Jetson

    Bật Đồng hồ Jetson sẽ đảm bảo tất cả CPU, GPU Lõi được xung nhịp ở tần số tối đa của chúng.

    sudo jetson_clocks
    
  3. Cài đặt ứng dụng Jetson Stats

    Chúng tôi có thể sử dụng ứng dụng thống kê jetson để theo dõi nhiệt độ của các thành phần hệ thống và kiểm tra các chi tiết hệ thống khác như chế độ xem CPU, GPU, sử dụng RAM, thay đổi chế độ nguồn, đặt thành xung nhịp tối đa, kiểm tra thông tin JetPack

    sudo apt update
    sudo pip install jetson-stats
    sudo reboot
    jtop
    

Thống kê Jetson

Các bước tiếp theo

Chúc mừng bạn đã thiết lập thành công YOLOv8 trên của bạn NVIDIA Vù vù! Để tìm hiểu và hỗ trợ thêm, hãy truy cập thêm hướng dẫn tại Ultralytics YOLOv8 Tài liệu!

FAQ

Làm cách nào để triển khai Ultralytics YOLOv8 trên NVIDIA Thiết bị Jetson?

Triển khai Ultralytics YOLOv8 trên NVIDIA Thiết bị Jetson là một quá trình đơn giản. Trước tiên, hãy flash thiết bị Jetson của quý khách bằng NVIDIA SDK JetPack. Sau đó, sử dụng hình ảnh Docker dựng sẵn để thiết lập nhanh hoặc cài đặt thủ công các gói cần thiết. Các bước chi tiết cho từng cách tiếp cận có thể được tìm thấy trong các phần Bắt đầu nhanh với DockerBắt đầu với Cài đặt gốc.

Tôi có thể mong đợi những điểm chuẩn hiệu suất nào YOLOv8 Mô hình trên NVIDIA Thiết bị Jetson?

YOLOv8 Các mô hình đã được điểm chuẩn trên nhiều loại khác nhau NVIDIA Các thiết bị Jetson cho thấy sự cải thiện hiệu suất đáng kể. Ví dụ: TensorRT Định dạng mang lại hiệu suất suy luận tốt nhất. Bảng trong phần Bảng so sánh chi tiết cung cấp cái nhìn toàn diện về các chỉ số hiệu suất như mAP50-95 và thời gian suy luận trên các định dạng mô hình khác nhau.

Tại sao tôi nên sử dụng TensorRT để triển khai YOLOv8 trên NVIDIA Máy bay phản lực?

TensorRT rất được khuyến khích triển khai YOLOv8 Mô hình trên NVIDIA Jetson do hiệu suất tối ưu của nó. Nó tăng tốc suy luận bằng cách tận dụng Jetson GPU khả năng, đảm bảo hiệu quả và tốc độ tối đa. Tìm hiểu thêm về cách chuyển đổi sang TensorRT và chạy suy luận trong Dùng TensorRT trên NVIDIA Phần Jetson .

Làm thế nào tôi có thể cài đặt PyTorch và Torchvision trên NVIDIA Máy bay phản lực?

Để cài đặt PyTorch và Torchvision trên NVIDIA Jetson, trước tiên hãy gỡ cài đặt bất kỳ phiên bản hiện có nào có thể đã được cài đặt qua pip. Sau đó, cài đặt thủ công tương thích PyTorch và các phiên bản Torchvision cho kiến trúc ARM64 của Jetson. Hướng dẫn chi tiết cho quá trình này được cung cấp trong Cài đặt PyTorch và phần Torchvision .

Các phương pháp hay nhất để tối đa hóa hiệu suất trên là gì NVIDIA Jetson khi sử dụng YOLOv8?

Để tối đa hóa hiệu suất trên NVIDIA Jetson với YOLOv8, hãy làm theo các phương pháp hay nhất sau:

  1. Bật Chế độ nguồn MAX để sử dụng tất cả CPU và GPU Lõi.
  2. Cho phép Đồng hồ Jetson chạy tất cả các lõi ở tần số tối đa của chúng.
  3. Cài đặt ứng dụng Jetson Stats để theo dõi số liệu hệ thống.

Để biết các lệnh và chi tiết bổ sung, hãy tham khảo Các phương pháp hay nhất khi sử dụng NVIDIA Phần Jetson .


📅 Created 6 months ago ✏️ Updated 13 days ago

Ý kiến