빠른 시작 가이드: NVIDIA Jetson과 Ultralytics YOLOv8

이 포괄적인 가이드는 NVIDIA Jetson 장치에 Ultralytics YOLOv8 배포에 대한 자세한 안내를 제공합니다. 또한 작고 강력한 장치에서 YOLOv8 의 성능을 입증하기 위한 성능 벤치마크도 소개합니다.

NVIDIA Jetson이란?

NVIDIA Jetson은 엣지 디바이스에 가속화된 AI(인공 지능) 컴퓨팅을 제공하도록 설계된 임베디드 컴퓨팅 보드 시리즈입니다. 이 작고 강력한 장치는 NVIDIA의 GPU 아키텍처를 기반으로 구축되었으며 클라우드 컴퓨팅 리소스에 의존할 필요 없이 장치에서 직접 복잡한 AI 알고리즘과 딥 러닝 모델을 실행할 수 있습니다. Jetson 보드는 로봇 공학, 자율 주행 차량, 산업 자동화 및 짧은 지연 시간과 높은 효율성으로 로컬에서 AI 추론을 수행해야 하는 기타 애플리케이션에서 자주 사용됩니다. 또한 이러한 보드는 ARM64 아키텍처를 기반으로 하며 기존 GPU 컴퓨팅 장치에 비해 저전력으로 실행됩니다.

엔비디아 젯슨 시리즈 비교

젯슨 오린은 이전 세대와 비교했을 때 대폭 향상된 AI 성능을 제공하는 엔비디아 암페어 아키텍처를 기반으로 하는 엔비디아 젯슨 제품군의 최신 버전입니다. 아래 표는 에코시스템에 있는 몇 가지 젯슨 디바이스를 비교한 것입니다.

더 자세한 비교 표는 NVIDIA Jetson 공식 페이지의 기술 사양 섹션에서 확인할 수 있습니다.

NVIDIA JetPack이란?

Jetson 모듈을 구동하는 NVIDIA JetPack SDK는 가장 포괄적인 솔루션으로, 엔드투엔드 가속화된 AI 애플리케이션 구축을 위한 완벽한 개발 환경을 제공하고 출시 시간을 단축합니다. JetPack에는 부트로더, Linux 커널, 우분투 데스크톱 환경 및 GPU 컴퓨팅, 멀티미디어, 그래픽 및 컴퓨터 비전 가속화를 위한 전체 라이브러리 세트가 포함된 Jetson Linux가 포함되어 있습니다. 또한 호스트 컴퓨터와 개발자 키트 모두를 위한 샘플, 설명서, 개발자 도구가 포함되어 있으며 스트리밍 비디오 분석을 위한 DeepStream, 로보틱스를 위한 Isaac, 대화형 AI를 위한 Riva와 같은 상위 수준의 SDK를 지원합니다.

플래시 젯팩에서 엔비디아 젯슨으로의 전환

NVIDIA Jetson 장치를 손에 넣은 후 첫 번째 단계는 장치에 NVIDIA JetPack을 플래시하는 것입니다. NVIDIA Jetson 디바이스를 플래시하는 방법에는 여러 가지가 있습니다.

1. 젯슨 오린 나노 개발자 키트와 같은 공식 NVIDIA 개발 키트를 소유하고 있는 경우 이 링크를 방문하여 이미지를 다운로드하고 장치 부팅을 위한 JetPack이 포함된 SD 카드를 준비할 수 있습니다.
2. 다른 NVIDIA 개발 키트를 소유하고 있는 경우, 이 링크를 방문하여 SDK 관리자를 사용하여 JetPack을 장치에 플래시할 수 있습니다.
3. 씨드 스튜디오 재컴퓨터 J4012 장치를 소유하고 있는 경우, 이 링크를 방문하여 JetPack을 포함된 SSD에 플래시할 수 있습니다.
4. NVIDIA Jetson 모듈로 구동되는 다른 타사 장치를 소유하고 있는 경우 이 링크를 방문하여 명령줄 플래싱을 따르는 것이 좋습니다.

설정 Ultralytics

다음 컴퓨터 비전 프로젝트를 빌드하기 위해 NVIDIA Jetson에서 Ultralytics 패키지를 설정하는 방법에는 두 가지가 있습니다. 둘 중 하나를 사용할 수 있습니다.

• Docker로 시작하기
• Docker 없이 시작

Docker로 시작하기

가장 빠르게 시작하는 방법은 NVIDIA Jetson에서 Ultralytics YOLOv8 사전 빌드된 Jetson용 도커 이미지로 실행하는 것입니다.

아래 명령어를 실행하여 Docker 컨테이너를 가져와 Jetson에서 실행합니다. 이것은 Python3 환경의 PyTorch 및 Torchvision이 포함된 l4t-pytorch 도커 이미지를 기반으로 합니다.

t=ultralytics/ultralytics:latest-jetson && sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

이 작업이 완료되면 NVIDIA Jetson에서 TensorRT 사용 섹션으로 건너뜁니다.

Docker 없이 시작

Ultralytics 패키지 설치

여기서는 PyTorch 모델을 다른 다른 형식으로 내보낼 수 있도록 선택적 종속성과 함께 Jetson에 ultralyics 패키지를 설치합니다. 여기서는 주로 NVIDIA TensorRT 내보내기에 초점을 맞추겠습니다. TensoRT를 사용하면 Jetson 장치에서 최대한의 성능을 얻을 수 있기 때문입니다.

1. 패키지 목록 업데이트, pip 설치 및 최신 버전으로 업그레이드

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. 설치 ultralytics 선택적 종속성이 있는 pip 패키지

   pip install ultralytics[export]
   

3. 디바이스 재부팅

   sudo reboot
   

PyTorch 및 토치비전 설치

위의 ultralytics 설치는 Torch 및 Torchvision을 설치합니다. 그러나 pip를 통해 설치된 이 두 패키지는 ARM64 아키텍처 기반인 Jetson 플랫폼에서 실행하기에는 호환되지 않습니다. 따라서 미리 빌드된 PyTorch pip 휠을 수동으로 설치하고 소스에서 Torchvision을 컴파일/설치해야 합니다.

1. 현재 설치된 PyTorch 및 Torchvision 제거

   pip uninstall torch torchvision
   

2. JP5.1.3에 따라 PyTorch 2.1.0을 설치합니다.

   sudo apt-get install -y libopenblas-base libopenmpi-dev
   wget https://developer.download.nvidia.com/compute/redist/jp/v512/pytorch/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl -O torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   

3. PyTorch v2.1.0에 따라 Torchvision v0.16.2를 설치합니다.

   sudo apt install -y libjpeg-dev zlib1g-dev
   git clone https://github.com/pytorch/vision torchvision
   cd torchvision
   git checkout v0.16.2
   python3 setup.py install --user
   

다른 JetPack 버전에 대한 모든 다른 버전에 액세스하려면 PyTorch 의 Jetson용 페이지 ( PyTorch )를 방문하세요. 자세한 목록은 PyTorch, Torchvision 호환성 페이지에서PyTorch 및 Torchvision 호환성 페이지를 참조하세요.

설치 onnxruntime-gpu

그리고 onnxruntime-gpu PyPI에서 호스팅되는 패키지에는 aarch64 바이너리가 없습니다. 따라서 이 패키지를 수동으로 설치해야 합니다. 이 패키지는 일부 내보내기에 필요합니다.

모두 다른 onnxruntime-gpu 다른 JetPack 및 Python 버전에 해당하는 패키지가 나열됩니다. 여기. 그러나 여기서는 다운로드하여 설치합니다. onnxruntime-gpu 1.17.0 와 함께 Python3.8 이 가이드에서 사용하는 JetPack에 대한 지원을 제공합니다.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

NVIDIA Jetson에서 TensorRT 사용

Ultralytics 에서 지원하는 모든 모델 내보내기 형식 중 TensorRT 은 NVIDIA Jetson 장치와 함께 작업할 때 최고의 추론 성능을 제공하며, Jetson에서는 TensorRT 을 사용할 것을 권장합니다. 자세한 내용은 TensorRT 에서 확인할 수 있습니다.

모델을 TensorRT 로 변환하고 추론 실행

PyTorch 형식의 YOLOv8n 모델은 내보낸 모델을 사용하여 추론을 실행하기 위해 TensorRT 로 변환됩니다.

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Export the model
model.export(format='engine')  # creates 'yolov8n.engine'

# Load the exported TensorRT model
trt_model = YOLO('yolov8n.engine')

# Run inference
results = trt_model('https://ultralytics.com/images/bus.jpg')

# Export a YOLOv8n PyTorch model to TensorRT format
yolo export model=yolov8n.pt format=engine  # creates 'yolov8n.engine'

# Run inference with the exported model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

엔비디아 젯슨 오린 YOLOv8 벤치마크

YOLOv8 Ultralytics 벤치마크는 PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel , TF Graphdef , TF Lite, PaddlePaddle, NCNN 등 10가지 모델 포맷으로 속도와 정확도를 측정했습니다. 벤치마크는 기본 입력 이미지 크기 640의 FP32 정밀도에서 Jetson Orin NX 16GB 장치로 구동되는 Seeed Studio 재컴퓨터 J4012에서 실행되었습니다.

비교 차트

모든 내보내기 모델이 NVIDIA Jetson과 함께 작동하지만 아래 비교 차트에는 PyTorch, TorchScript, TensorRT 만 포함했는데, 이는 Jetson의 GPU를 사용하며 최상의 결과를 보장하기 때문입니다. 다른 모든 내보내기는 CPU만 사용하며 성능이 위의 세 가지보다 좋지 않습니다. 이 차트 뒤의 섹션에서 모든 내보내기에 대한 벤치마크를 확인할 수 있습니다.

상세 비교 표

아래 표는 5가지 모델(YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x)에 대한 10가지 형식(PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel , TF Graphdef , TF Lite, PaddlePaddle, NCNN)의 벤치마크 결과로, 각 조합의 상태, 크기, mAP50-95(B) 메트릭 및 추론 시간을 보여줍니다.

이 링크를 방문하여 다양한 버전의 NVIDIA Jetson 하드웨어에서 실행되는 Seeed Studio의 더 많은 벤치마킹 결과를 살펴보세요.

결과 재현

모든 내보내기 형식에서 위의 Ultralytics 벤치마크를 재현하려면 다음 코드를 실행하세요:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmarks(data='coco8.yaml', imgsz=640)

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml imgsz=640

NVIDIA Jetson 사용 시 모범 사례

NVIDIA Jetson을 사용할 때 YOLOv8 을 실행하는 NVIDIA Jetson에서 성능을 극대화하기 위해 따라야 할 몇 가지 모범 사례가 있습니다.

1. 최대 전력 모드 활성화

   Jetson에서 최대 전력 모드를 활성화하면 모든 CPU, GPU 코어가 켜져 있는지 확인합니다.

   sudo nvpmodel -m 0
   

2. Jetson 클록 사용

   Jetson 클럭을 활성화하면 모든 CPU, GPU 코어가 최대 주파수로 클럭됩니다.

   sudo jetson_clocks
   

3. Jetson 통계 애플리케이션 설치

   젯슨 통계 애플리케이션을 사용하여 시스템 구성 요소의 온도를 모니터링하고 CPU, GPU, RAM 사용률 보기, 전원 모드 변경, 최대 클럭으로 설정, 젯팩 정보 확인과 같은 기타 시스템 세부 정보를 확인할 수 있습니다.

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

다음 단계

NVIDIA Jetson에 YOLOv8 을 성공적으로 설정하신 것을 축하드립니다! 추가 학습 및 지원은 Ultralytics YOLOv8 문서에서 더 많은 가이드를 확인하세요!

댓글