빠른 시작 가이드: NVIDIA Jetson Ultralytics YOLO11

이 포괄적인 가이드는 NVIDIA Jetson 장치에 Ultralytics YOLO11 배포에 대한 자세한 안내를 제공합니다. 또한 작고 강력한 장치에서 YOLO11 의 기능을 입증하기 위한 성능 벤치마크도 소개합니다.

Watch: NVIDIA Jetson을 설정하는 방법 Ultralytics YOLO11

NVIDIA Jetson이란?

NVIDIA Jetson은 엣지 디바이스에 가속화된 AI(인공 지능) 컴퓨팅을 제공하도록 설계된 임베디드 컴퓨팅 보드 시리즈입니다. 이 작고 강력한 장치는 NVIDIA 의 GPU 아키텍처를 기반으로 구축되었으며 클라우드 컴퓨팅 리소스에 의존할 필요 없이 장치에서 직접 복잡한 AI 알고리즘과 딥 러닝 모델을 실행할 수 있습니다. Jetson 보드는 로봇 공학, 자율 주행 차량, 산업 자동화 및 짧은 지연 시간과 높은 효율성으로 로컬에서 AI 추론을 수행해야 하는 기타 애플리케이션에서 자주 사용됩니다. 또한 이러한 보드는 ARM64 아키텍처를 기반으로 하며 기존 GPU 컴퓨팅 장치에 비해 저전력으로 실행됩니다.

NVIDIA Jetson 시리즈 비교

Jetson Orin은 이전 세대에 비해 대폭 향상된 AI 성능을 제공하는 NVIDIA 암페어 아키텍처를 기반으로 하는 NVIDIA Jetson 제품군의 최신 버전입니다. 아래 표는 에코시스템에 있는 몇 가지 Jetson 디바이스를 비교한 것입니다.

자세한 비교 표는 공식 NVIDIA Jetson 페이지의 기술 사양 섹션에서 확인할 수 있습니다.

NVIDIA 제트팩이란 무엇인가요?

NVIDIA Jetson 모듈을 구동하는 JetPack SDK는 가장 포괄적인 솔루션으로, 엔드투엔드 가속화된 AI 애플리케이션 구축을 위한 완벽한 개발 환경을 제공하고 시장 출시 시간을 단축합니다. 젯팩에는 부트로더, Linux 커널, 우분투 데스크톱 환경 및 GPU 컴퓨팅, 멀티미디어, 그래픽 및 컴퓨터 비전 가속화를 위한 전체 라이브러리 세트가 포함된 Jetson Linux가 포함되어 있습니다. 또한 호스트 컴퓨터와 개발자 키트 모두를 위한 샘플, 설명서 및 개발자 도구가 포함되어 있으며 스트리밍 비디오 분석을 위한 DeepStream, 로보틱스를 위한 Isaac, 대화형 AI를 위한 Riva와 같은 상위 수준의 SDK를 지원합니다.

플래시 제트팩 NVIDIA Jetson

NVIDIA Jetson 장치를 구입한 후 첫 번째 단계는 NVIDIA JetPack을 장치에 플래시하는 것입니다. NVIDIA Jetson 장치를 플래시하는 방법에는 여러 가지가 있습니다.

1. 공식 개발 키트( NVIDIA )를 소유하고 있는 경우, Jetson Orin Nano 개발자 키트와 같은 이미지를 다운로드하고 장치 부팅을 위해 JetPack이 포함된 SD 카드를 준비할 수 있습니다.
2. 다른 NVIDIA 개발 키트를 소유하고 있는 경우 SDK 관리자를 사용하여 JetPack을 장치에 플래시할 수 있습니다.
3. 씨드 스튜디오 재컴퓨터 J4012 장치를 소유하고 있는 경우 JetPack을 포함된 SSD에 플래시할 수 있으며, 씨드 스튜디오 재컴퓨터 J1020 v2 장치를 소유하고 있는 경우 JetPack을 eMMC/ SSD에 플래시할 수 있습니다.
4. NVIDIA Jetson 모듈로 구동되는 다른 타사 장치를 소유하고 있는 경우, 명령줄 플래싱을 따르는 것이 좋습니다.

젯슨 디바이스 기반의 젯팩 지원

아래 표에는 다양한 NVIDIA Jetson 장치에서 지원되는 NVIDIA JetPack 버전이 나와 있습니다.

Docker로 빠르게 시작하기

Ultralytics YOLO11 NVIDIA Jetson을 시작하는 가장 빠른 방법은 미리 빌드된 Jetson용 도커 이미지로 실행하는 것입니다. 위의 표를 참조하여 소유하고 있는 Jetson 장치에 따라 JetPack 버전을 선택하세요.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack5
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack6
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

이 작업이 완료되면 NVIDIA Jetson 섹션의 TensorRT 사용으로 건너뜁니다.

기본 설치로 시작하기

Docker를 사용하지 않고 기본 설치하려면 아래 단계를 참조하세요.

Run on JetPack 6.1

Ultralytics 패키지 설치

여기서는 선택적 종속성과 함께 Jetson에 Ultralytics 패키지를 설치하여 모델을 다른 형식으로 내보내기 위해 PyTorch 모델을 다른 형식으로 내보낼 수 있습니다. NVIDIA TensorRT 내보내기에 주로 초점을 맞출 것입니다. TensorRT 을 사용하면 Jetson 장치에서 최대 성능을 얻을 수 있기 때문입니다.

1. 패키지 목록 업데이트, pip 설치 및 최신 버전으로 업그레이드

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. 설치 ultralytics 선택적 종속성이 있는 pip 패키지

   pip install ultralytics[export]
   

3. 디바이스 재부팅

   sudo reboot
   

PyTorch 및 토치비전 설치

위의 ultralytics 설치는 Torch 및 Torchvision을 설치합니다. 그러나 pip를 통해 설치된 이 두 패키지는 ARM64 아키텍처 기반인 Jetson 플랫폼에서 실행하기에는 호환되지 않습니다. 따라서 미리 빌드된 PyTorch pip 휠을 수동으로 설치하고 소스에서 Torchvision을 컴파일/설치해야 합니다.

설치 torch 2.5.0 그리고 torchvision 0.20 according to JP6.1

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.5.0a0+872d972e41.nv24.08-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.20.0a0+afc54f7-cp310-cp310-linux_aarch64.whl

설치 cuSPARSELt to fix a dependency issue with torch 2.5.0

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/arm64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get -y install libcusparselt0 libcusparselt-dev

설치 onnxruntime-gpu

그리고 onnxruntime-gpu PyPI에서 호스팅되는 패키지에는 aarch64 바이너리가 없습니다. 따라서 이 패키지를 수동으로 설치해야 합니다. 이 패키지는 일부 내보내기에 필요합니다.

모두 다른 onnxruntime-gpu 다른 JetPack 및 Python 버전에 해당하는 패키지가 나열됩니다. 여기. 하지만 여기서는 다운로드하여 설치합니다. onnxruntime-gpu 1.20.0 와 함께 Python3.10 지원.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

Run on JetPack 5.1.2

Ultralytics 패키지 설치

여기서는 PyTorch 모델을 다른 다른 형식으로 내보낼 수 있도록 선택적 종속성과 함께 Jetson에 Ultralytics 패키지를 설치하겠습니다. NVIDIA TensorRT 내보내기에 주로 초점을 맞출 것입니다. TensorRT 을 사용하면 Jetson 장치에서 최대 성능을 얻을 수 있기 때문입니다.

1. 패키지 목록 업데이트, pip 설치 및 최신 버전으로 업그레이드

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. 설치 ultralytics 선택적 종속성이 있는 pip 패키지

   pip install ultralytics[export]
   

3. 디바이스 재부팅

   sudo reboot
   

PyTorch 및 토치비전 설치

위의 ultralytics 설치는 Torch 및 Torchvision을 설치합니다. 그러나 pip를 통해 설치된 이 두 패키지는 ARM64 아키텍처 기반인 Jetson 플랫폼에서 실행하기에는 호환되지 않습니다. 따라서 미리 빌드된 PyTorch pip 휠을 수동으로 설치하고 소스에서 Torchvision을 컴파일/설치해야 합니다.

1. 현재 설치된 PyTorch 및 Torchvision 제거

   pip uninstall torch torchvision
   

2. 설치 torch 2.1.0 그리고 torchvision 0.16.2 according to JP5.1.2

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.16.2+c6f3977-cp38-cp38-linux_aarch64.whl
   

설치 onnxruntime-gpu

그리고 onnxruntime-gpu PyPI에서 호스팅되는 패키지에는 aarch64 바이너리가 없습니다. 따라서 이 패키지를 수동으로 설치해야 합니다. 이 패키지는 일부 내보내기에 필요합니다.

모두 다른 onnxruntime-gpu 다른 JetPack 및 Python 버전에 해당하는 패키지가 나열됩니다. 여기. 하지만 여기서는 다운로드하여 설치합니다. onnxruntime-gpu 1.17.0 와 함께 Python3.8 지원.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

NVIDIA Jetson에서 TensorRT 사용

Ultralytics 에서 지원하는 모든 모델 내보내기 형식 중 TensorRT 은 NVIDIA Jetson 장치와 함께 작업할 때 최고의 추론 성능을 제공하며, Jetson과 함께 TensorRT 을 사용하는 것이 좋습니다. 자세한 내용은 TensorRT 에서 확인할 수 있습니다.

모델을 TensorRT 로 변환하고 추론 실행

내보낸 모델로 추론을 실행하기 위해 PyTorch 형식의 YOLO11n 모델을 TensorRT 으로 변환합니다.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine  # creates 'yolo11n.engine'

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA 딥러닝 액셀러레이터(DLA) 사용

NVIDIA 딥 러닝 액셀러레이터(DLA) 는 에너지 효율과 성능을 위해 딥 러닝 추론을 최적화하는 NVIDIA Jetson 장치에 내장된 특수 하드웨어 구성 요소입니다. GPU 에서 작업을 오프로드(보다 집중적인 프로세스를 위해 여유 공간을 확보)함으로써 DLA는 높은 처리량을 유지하면서 낮은 전력 소비로 모델을 실행할 수 있어 임베디드 시스템 및 실시간 AI 애플리케이션에 이상적입니다.

다음 Jetson 장치에는 DLA 하드웨어가 장착되어 있습니다:

• 젯슨 오린 NX 16GB
• 젯슨 AGX 오린 시리즈
• 젯슨 AGX 자비에 시리즈
• 젯슨 자비에 NX 시리즈

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", half=True)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format with DLA enabled (only works with FP16 or INT8)
yolo export model=yolo11n.pt format=engine device="dla:0" half=True  # dla:0 or dla:1 corresponds to the DLA cores

# Run inference with the exported model on the DLA
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA 젯슨 오린 YOLO11 벤치마크

YOLO11 benchmarks were run by the Ultralytics team on 10 different model formats measuring speed and accuracy: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, PaddlePaddle, NCNN. Benchmarks were run on both NVIDIA Jetson Orin Nano Super Developer Kit and Seeed Studio reComputer J4012 powered by Jetson Orin NX 16GB device at FP32 precision with default input image size of 640.

Comparison Charts

모든 모델 내보내기가 NVIDIA Jetson에서 작동하지만 아래 비교 차트에는 PyTorch, TorchScript, TensorRT 만 포함했는데, 이는 Jetson에서 GPU 을 사용하며 최상의 결과를 보장하기 때문입니다. 다른 모든 내보내기는 CPU 만 사용하며 성능이 위의 세 가지보다 좋지 않습니다. 이 차트 뒤의 섹션에서 모든 내보내기에 대한 벤치마크를 찾을 수 있습니다.

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

Detailed Comparison Tables

아래 표는 10가지 형식(PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel , TF GraphDef , TF Lite, PaddlePaddle, NCNN)에 대한 5가지 모델(YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x)의 벤치마크 결과로, 각 조합의 상태, 크기, mAP50-95(B) 메트릭 및 추론 시간을 제공합니다.

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

다양한 버전의 NVIDIA Jetson 하드웨어에서 실행되는 Seeed Studio를 통해 더 많은 벤치마킹 결과를 살펴보세요.

결과 재현

모든 내보내기 형식에서 위의 Ultralytics 벤치마크를 재현하려면 다음 코드를 실행하세요:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmark(data="coco8.yaml", imgsz=640)

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml imgsz=640

NVIDIA Jetson 사용 시 모범 사례

NVIDIA Jetson을 사용하는 경우, NVIDIA Jetson을 실행하는 YOLO11 에서 성능을 극대화하기 위해 따라야 할 몇 가지 모범 사례가 있습니다.

1. 최대 전력 모드 활성화

   Jetson에서 최대 전력 모드를 활성화하면 CPU, GPU 코어가 모두 켜져 있는지 확인합니다.

   sudo nvpmodel -m 0
   

2. Jetson 클록 사용

   Jetson 클럭을 활성화하면 모든 CPU, GPU 코어가 최대 주파수로 클럭됩니다.

   sudo jetson_clocks
   

3. Jetson 통계 애플리케이션 설치

   젯슨 통계 애플리케이션을 사용하여 시스템 구성 요소의 온도를 모니터링하고 CPU, GPU, RAM 사용률, 전원 모드 변경, 최대 클럭으로 설정, 젯팩 정보 확인과 같은 기타 시스템 세부 정보를 확인할 수 있습니다.

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

다음 단계

NVIDIA Jetson에 YOLO11 을 성공적으로 설정하신 것을 축하드립니다! 추가 학습 및 지원은 Ultralytics YOLO11 문서에서 더 많은 가이드를 확인하세요!

자주 묻는 질문

NVIDIA Jetson 장치에 Ultralytics YOLO11 배포하려면 어떻게 합니까?

NVIDIA Jetson 장치에 Ultralytics YOLO11 배포하는 과정은 간단합니다. 먼저 NVIDIA JetPack SDK로 Jetson 장치를 플래시합니다. 그런 다음 빠른 설정을 위해 사전 빌드된 Docker 이미지를 사용하거나 필요한 패키지를 수동으로 설치합니다. 각 접근 방식에 대한 자세한 단계는 Docker로 빠른 시작 및 기본 설치로 시작 섹션에서 확인할 수 있습니다.

NVIDIA Jetson 장치에서 YOLO11 모델에서 어떤 성능 벤치마크를 기대할 수 있습니까?

YOLO11 models have been benchmarked on various NVIDIA Jetson devices showing significant performance improvements. For example, the TensorRT format delivers the best inference performance. The table in the Detailed Comparison Tables section provides a comprehensive view of performance metrics like mAP50-95 and inference time across different model formats.

NVIDIA Jetson에 YOLO11 배포 시 TensorRT 을 사용해야 하는 이유는 무엇인가요?

TensorRT 은 최적의 성능으로 인해 NVIDIA Jetson에 YOLO11 모델을 배포하는 데 적극 권장됩니다. Jetson의 GPU 기능을 활용하여 추론을 가속화하여 최대의 효율성과 속도를 보장합니다. TensorRT 로 변환하고 추론을 실행하는 방법에 대한 자세한 내용은 NVIDIA Jetson의 TensorRT 사용 섹션에서 확인할 수 있습니다.

NVIDIA Jetson에 PyTorch 및 Torchvision을 설치하려면 어떻게 해야 하나요?

To install PyTorch and Torchvision on NVIDIA Jetson, first uninstall any existing versions that may have been installed via pip. Then, manually install the compatible PyTorch and Torchvision versions for the Jetson's ARM64 architecture. Detailed instructions for this process are provided in the Installation of PyTorch and Torchvision section.

YOLO11 을 사용할 때 NVIDIA Jetson에서 성능을 극대화하기 위한 모범 사례는 무엇입니까?

YOLO11 을 사용하여 NVIDIA Jetson의 성능을 극대화하려면 다음 모범 사례를 따르십시오:

1. 최대 전력 모드를 활성화하여 CPU 및 GPU 코어를 모두 활용합니다.
2. 모든 코어를 최대 주파수로 실행하도록 Jetson 클럭을 활성화합니다.
3. 시스템 메트릭을 모니터링하기 위해 Jetson Stats 애플리케이션을 설치합니다.

명령어 및 자세한 내용은 NVIDIA Jetson 사용 시 모범 사례 섹션을 참조하세요.

9개월 전 생성됨 ✏️ 10 일 전 업데이트됨

댓글