Link to this section빠른 시작 가이드: NVIDIA Jetson 및 Ultralytics YOLO26#

본 종합 가이드는 NVIDIA Jetson 장치에 Ultralytics YOLO26을 배포하기 위한 상세한 단계별 안내를 제공합니다. 또한, 이 작고 강력한 장치에서 YOLO26의 성능을 입증하기 위한 성능 벤치마크도 함께 소개합니다.

Link to this sectionNVIDIA Jetson이란 무엇인가요?#

NVIDIA Jetson is a series of embedded computing boards designed to bring accelerated AI (artificial intelligence) computing to edge devices. These compact and powerful devices are built around NVIDIA's GPU architecture and can run complex AI algorithms and deep learning models directly on the device, without relying on cloud computing resources. Jetson boards are often used in robotics, autonomous vehicles, industrial automation, and other applications where AI inference needs to be performed locally with low latency and high efficiency. Additionally, these boards are based on the ARM64 architecture and run at lower power compared to traditional GPU computing devices.

Link to this sectionNVIDIA Jetson 시리즈 비교#

NVIDIA Jetson AGX Thor는 NVIDIA Blackwell 아키텍처를 기반으로 한 NVIDIA Jetson 제품군의 최신 버전으로, 이전 세대와 비교하여 AI 성능이 획기적으로 개선되었습니다. 아래 표는 생태계 내 몇 가지 Jetson 장치를 비교합니다.

더 자세한 비교 표는 공식 NVIDIA Jetson 페이지의 사양 비교 섹션을 방문해 주십시오.

Link to this sectionNVIDIA JetPack이란 무엇인가요?#

Jetson 모듈을 구동하는 NVIDIA JetPack SDK는 가장 종합적인 솔루션으로, 엔드 투 엔드 가속 AI 애플리케이션을 구축하기 위한 완전한 개발 환경을 제공하며 출시 시간을 단축시킵니다. JetPack에는 부트로더, Linux 커널, Ubuntu 데스크톱 환경을 포함한 Jetson Linux와 GPU 컴퓨팅, 멀티미디어, 그래픽 및 컴퓨터 비전 가속을 위한 완벽한 라이브러리 세트가 포함되어 있습니다. 또한 호스트 컴퓨터와 개발자 키트 모두를 위한 샘플, 문서 및 개발 도구가 포함되어 있으며 스트리밍 비디오 분석을 위한 DeepStream, 로봇 공학을 위한 Isaac, 대화형 AI를 위한 Riva와 같은 상위 수준 SDK를 지원합니다.

Link to this sectionNVIDIA Jetson에 JetPack 플래싱하기#

NVIDIA Jetson 장치를 확보한 후 첫 번째 단계는 장치에 NVIDIA JetPack을 플래싱하는 것입니다. NVIDIA Jetson 장치를 플래싱하는 방법은 여러 가지가 있습니다.

1. Jetson AGX Thor Developer Kit과 같은 공식 NVIDIA 개발자 키트를 보유한 경우, 이미지를 다운로드하고 부팅 가능한 USB 스틱을 준비하여 포함된 SSD에 JetPack을 플래싱할 수 있습니다.
2. Jetson Orin Nano Developer Kit과 같은 공식 NVIDIA 개발자 키트를 보유한 경우, 이미지를 다운로드하고 장치 부팅을 위해 JetPack이 포함된 SD 카드를 준비할 수 있습니다.
3. 다른 NVIDIA 개발자 키트를 보유한 경우, SDK Manager를 사용하여 장치에 JetPack을 플래싱할 수 있습니다.
4. Seeed Studio reComputer J4012 장치를 보유한 경우 포함된 SSD에 JetPack을 플래싱할 수 있으며, Seeed Studio reComputer J1020 v2 장치를 보유한 경우 eMMC/SSD에 JetPack을 플래싱할 수 있습니다.
5. NVIDIA Jetson 모듈로 구동되는 다른 타사 장치를 보유한 경우, 명령줄 플래싱 방법을 따르는 것이 권장됩니다.

Link to this sectionJetson 장치별 JetPack 지원#

아래 표는 각 NVIDIA Jetson 장치에서 지원하는 NVIDIA JetPack 버전을 보여줍니다.

Link to this sectionDocker를 사용한 빠른 시작#

NVIDIA Jetson에서 Ultralytics YOLO26을 시작하는 가장 빠른 방법은 Jetson용 사전 빌드된 도커 이미지를 실행하는 것입니다. 위 표를 참조하여 보유한 Jetson 장치에 맞는 JetPack 버전을 선택하십시오.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

완료 후, NVIDIA Jetson에서 TensorRT 사용 섹션으로 건너뛰십시오.

Link to this section네이티브 설치로 시작하기#

Docker를 사용하지 않는 네이티브 설치를 원하시면 아래 단계를 참조하십시오.

Link to this sectionJetPack 7.0에서 실행#

Link to this sectionUltralytics 패키지 설치#

여기서는 PyTorch 모델을 다른 형식으로 내보낼 수 있도록 옵션 종속성과 함께 Jetson에 Ultralytics 패키지를 설치하겠습니다. TensorRT를 사용하면 Jetson 장치에서 최대 성능을 얻을 수 있으므로 주로 NVIDIA TensorRT 내보내기에 집중할 것입니다.

1. 패키지 목록 업데이트, pip 설치 및 최신 버전으로 업그레이드

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. 선택적 종속성을 포함하여 ultralytics pip 패키지 설치

   pip install ultralytics[export]

3. 장치 재부팅

   sudo reboot

Link to this sectionPyTorch 및 Torchvision 설치#

위의 ultralytics 설치 과정에서 Torch와 Torchvision이 설치됩니다. 그러나 pip을 통해 설치된 이 두 패키지는 JetPack 7.0 및 CUDA 13이 탑재된 Jetson AGX Thor에서 실행하기에는 호환되지 않습니다. 따라서 수동으로 설치해야 합니다.

JP7.0에 맞춰 torch 및 torchvision 설치

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

Link to this sectiononnxruntime-gpu 설치#

PyPI에서 호스팅되는 onnxruntime-gpu 패키지에는 Jetson용 aarch64 바이너리가 없습니다. 따라서 이 패키지를 수동으로 설치해야 합니다. 이 패키지는 일부 내보내기 작업에 필요합니다.

Here we will download and install onnxruntime-gpu 1.24.0 with Python3.12 support.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

Link to this sectionJetPack 6.1에서 실행#

Link to this sectionUltralytics 패키지 설치#

여기서는 PyTorch 모델을 다른 형식으로 내보낼 수 있도록 옵션 종속성과 함께 Jetson에 Ultralytics 패키지를 설치하겠습니다. TensorRT를 사용하면 Jetson 장치에서 최대 성능을 얻을 수 있으므로 주로 NVIDIA TensorRT 내보내기에 집중할 것입니다.

1. 패키지 목록 업데이트, pip 설치 및 최신 버전으로 업그레이드

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. 선택적 종속성을 포함하여 ultralytics pip 패키지 설치

   pip install ultralytics[export]

3. 장치 재부팅

   sudo reboot

Link to this sectionPyTorch 및 Torchvision 설치#

위의 Ultralytics 설치 과정에서 Torch와 Torchvision이 설치됩니다. 하지만 pip를 통해 설치된 이 두 패키지는 ARM64 아키텍처 기반의 Jetson 플랫폼과 호환되지 않습니다. 따라서 사전 빌드된 PyTorch pip 휠을 수동으로 설치하고, Torchvision은 소스에서 직접 컴파일하거나 설치해야 합니다.

JP6.1에 따라 torch 2.10.0 및 torchvision 0.25.0을 설치합니다.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.10.0-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.25.0-cp310-cp310-linux_aarch64.whl

Install cuDSS to fix a dependency issue with torch 2.10.0

wget https://developer.download.nvidia.com/compute/cudss/0.7.1/local_installers/cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo dpkg -i cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo cp /var/cudss-local-tegra-repo-ubuntu2204-0.7.1/cudss-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cudss

Link to this sectiononnxruntime-gpu 설치#

PyPI에서 호스팅되는 onnxruntime-gpu 패키지에는 Jetson용 aarch64 바이너리가 없습니다. 따라서 이 패키지를 수동으로 설치해야 합니다. 이 패키지는 일부 내보내기 작업에 필요합니다.

JetPack 버전, Python 버전 및 기타 호환성 세부 정보별로 정리된 모든 사용 가능한 onnxruntime-gpu 패키지는 Jetson Zoo ONNX Runtime 호환성 매트릭스에서 확인할 수 있습니다.

Python 3.10을 지원하는 JetPack 6의 경우, onnxruntime-gpu 1.23.0을 설치할 수 있습니다:

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.23.0-cp310-cp310-linux_aarch64.whl

또는 onnxruntime-gpu 1.20.0의 경우:

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

Link to this sectionJetPack 5.1.2에서 실행#

Link to this sectionUltralytics 패키지 설치#

여기서는 PyTorch 모델을 다른 형식으로 내보낼 수 있도록 선택적 의존성과 함께 Jetson에 Ultralytics 패키지를 설치하겠습니다. TensorRT는 Jetson 장치에서 최대 성능을 보장하므로 NVIDIA TensorRT 내보내기에 중점을 둘 것입니다.

1. 패키지 목록 업데이트, pip 설치 및 최신 버전으로 업그레이드

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. 선택적 종속성을 포함하여 ultralytics pip 패키지 설치

   pip install ultralytics[export]

3. 장치 재부팅

   sudo reboot

Link to this sectionPyTorch 및 Torchvision 설치#

위의 Ultralytics 설치 과정에서 Torch와 Torchvision이 설치됩니다. 하지만 pip를 통해 설치된 이 두 패키지는 ARM64 아키텍처 기반의 Jetson 플랫폼과 호환되지 않습니다. 따라서 사전 빌드된 PyTorch pip 휠을 수동으로 설치하고, Torchvision은 소스에서 직접 컴파일하거나 설치해야 합니다.

1. 현재 설치된 PyTorch 및 Torchvision 삭제

   pip uninstall torch torchvision

2. JP5.1.2에 따라 torch 2.1.0 및 torchvision 0.16.2를 설치합니다.

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.16.2+c6f3977-cp38-cp38-linux_aarch64.whl

Link to this sectiononnxruntime-gpu 설치#

PyPI에서 호스팅되는 onnxruntime-gpu 패키지에는 Jetson용 aarch64 바이너리가 없습니다. 따라서 이 패키지를 수동으로 설치해야 합니다. 이 패키지는 일부 내보내기 작업에 필요합니다.

You can find all available onnxruntime-gpu packages—organized by JetPack version, Python version, and other compatibility details—in the Jetson Zoo ONNX Runtime compatibility matrix. Here we will download and install onnxruntime-gpu 1.17.0 with Python3.8 support.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Link to this sectionNVIDIA Jetson에서 TensorRT 사용#

Ultralytics에서 지원하는 모든 모델 내보내기 형식 중, TensorRT는 NVIDIA Jetson 장치에서 가장 높은 추론 성능을 제공하며 Jetson 배포에 가장 권장되는 형식입니다. 설정 지침 및 고급 사용법은 전용 TensorRT 통합 가이드를 참조하십시오.

Link to this section모델을 TensorRT로 변환 및 추론 실행#

PyTorch 형식의 YOLO26n 모델이 TensorRT로 변환되어 내보낸 모델로 추론을 실행합니다.

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo26n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

Link to this sectionNVIDIA Deep Learning Accelerator (DLA) 사용#

NVIDIA Deep Learning Accelerator (DLA)는 NVIDIA Jetson 장치에 내장된 특수 하드웨어 구성 요소로, 에너지 효율성과 성능을 위해 딥러닝 추론을 최적화합니다. GPU에서 작업을 오프로딩함으로써(더 집중적인 프로세스를 위해 GPU 여유 확보), DLA는 높은 처리량을 유지하면서 전력 소비를 낮춰 임베디드 시스템 및 실시간 AI 애플리케이션에 이상적입니다.

다음 Jetson 장치에는 DLA 하드웨어가 장착되어 있습니다:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", half=True)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

Link to this sectionNVIDIA Jetson YOLO11/ YOLO26 벤치마크#

YOLO11/ YOLO26 벤치마크는 Ultralytics 팀이 11가지 모델 형식(PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch)에서 속도와 정확도를 측정했습니다. 벤치마크는 NVIDIA Jetson AGX Thor Developer Kit, NVIDIA Jetson AGX Orin Developer Kit (64GB), NVIDIA Jetson Orin Nano Super Developer Kit 및 Jetson Orin NX 16GB 장치로 구동되는 Seeed Studio reComputer J4012에서 기본 입력 이미지 크기 640을 사용하여 FP32 정밀도로 실행되었습니다.

Link to this section비교 차트#

모든 모델 내보내기가 NVIDIA Jetson에서 작동하지만, 아래 비교 차트에는 PyTorch, TorchScript, TensorRT만 포함했습니다. 이들은 Jetson의 GPU를 활용하여 최상의 결과를 보장하기 때문입니다. 다른 모든 내보내기 형식은 CPU만 활용하며 성능이 위 세 가지보다 우수하지 않습니다. 이 차트 이후 섹션에서 모든 내보내기에 대한 벤치마크를 확인할 수 있습니다.

Link to this sectionNVIDIA Jetson AGX Thor Developer Kit#

Link to this sectionNVIDIA Jetson AGX Orin Developer Kit (64GB)#

Link to this sectionNVIDIA Jetson Orin Nano Super Developer Kit#

Link to this sectionNVIDIA Jetson Orin NX 16GB#

Link to this section상세 비교 테이블#

아래 표는 11가지 형식(PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch)에 걸친 5가지 모델(YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x)에 대한 벤치마크 결과를 나타내며, 각 조합에 대한 상태, 크기, mAP50-95(B) 메트릭 및 추론 시간을 제공합니다.

Link to this sectionNVIDIA Jetson AGX Thor Developer Kit#

Link to this sectionNVIDIA Jetson AGX Orin Developer Kit (64GB)#

Link to this sectionNVIDIA Jetson Orin Nano Super Developer Kit#

Link to this sectionNVIDIA Jetson Orin NX 16GB#

다양한 버전의 NVIDIA Jetson 하드웨어에서 실행되는 Seeed Studio의 추가 벤치마킹 작업을 확인해 보십시오.

Link to this section결과 재현하기#

모든 내보내기 형식에서 위 Ultralytics 벤치마크 결과를 재현하려면 다음 코드를 실행하십시오:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

Link to this sectionNVIDIA Jetson 사용 시 모범 사례#

NVIDIA Jetson을 사용할 때 YOLO26을 실행하는 NVIDIA Jetson에서 최고의 성능을 구현하기 위해 따라야 할 몇 가지 모범 사례가 있습니다.

1. 최대 전원 모드 활성화

   Jetson에서 최대 전원 모드를 활성화하면 모든 CPU 및 GPU 코어가 켜져 있는지 확인할 수 있습니다.

   sudo nvpmodel -m 0

2. Jetson 클록 활성화

   Jetson 클록을 활성화하면 모든 CPU 및 GPU 코어가 최대 주파수로 작동합니다.

   sudo jetson_clocks

3. Jetson 통계 애플리케이션 설치

   jetson stats 애플리케이션을 사용하여 시스템 구성 요소의 온도를 모니터링하고 CPU, GPU, RAM 사용량 확인, 전원 모드 변경, 최대 클록 설정, JetPack 정보 확인 등 기타 시스템 세부 정보를 확인할 수 있습니다.

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop

Link to this sectionNVIDIA Jetson을 위한 메모리 최적화 팁#

사용 가능한 메모리는 종종 Jetson 장치, 특히 Jetson Orin Nano (8 GB) 또는 Orin NX 8 GB와 같은 메모리가 낮은 변형 모델에서 제한 요소가 됩니다. 아래 팁은 수백 메가바이트를 절약하고 더 큰 YOLO 모델을 실행하거나 추가 병렬 워크로드를 지원할 수 있게 해주는 실용적이고 위험 부담이 낮은 변경 사항입니다. 종합적인 내용은 NVIDIA의 Jetson 메모리 효율성 극대화 블로그를 참조하십시오.

Link to this section헤드리스(GUI 없음) 부팅으로 전환#

Jetson이 SSH를 통해 연결되어 있거나 디스플레이가 연결되지 않은 상태로 운영 환경에서 실행 중인 경우, 데스크톱 환경과 디스플레이 서버를 제거하면 최대 865 MB의 RAM을 복구할 수 있습니다:

sudo systemctl set-default multi-user.target
sudo reboot

나중에 데스크톱을 복원하려면:

sudo systemctl set-default graphical.target
sudo reboot

Link to this section사용하지 않는 시스템 서비스 비활성화#

필수적이지 않은 백그라운드 서비스(Bluetooth, 연결 관리자, 사용하지 않는 하드웨어 데몬)는 합쳐서 약 32 MB를 소비합니다. 활성 서비스를 나열하고 배포에 필요하지 않은 서비스를 비활성화하십시오:

# List running services
systemctl list-units --type=service --state=running

# Disable a service
sudo systemctl disable SERVICE_NAME

Link to this section메모리 사용량 프로파일링#

최적화하기 전에 실제로 RAM을 소비하는 프로세스를 식별하십시오. procrank는 PSS(Proportional Set Size)별로 프로세스를 정렬하며, 이는 RSS(Resident Set Size, 프로세스가 매핑한 총 물리적 RAM 페이지(다른 프로세스와 공유된 페이지 포함))보다 프로세스당 실제 메모리 점유율을 더 정확하게 반영합니다:

git clone https://github.com/csimmonds/procrank_linux.git
cd procrank_linux && make
sudo ./procrank

프로세스별 GPU 및 NvMap(CUDA/비디오 파이프라인) 할당을 보려면 다음을 실행하십시오:

sudo cat /sys/kernel/debug/nvmap/iovmm/clients

Link to this section프로덕션 환경에서 디스플레이 없이 추론 실행#

실시간 미리보기가 필요 없는 추론 파이프라인의 경우 디스플레이 관련 구성 요소(Tiler, OSD, DisplaySink)를 비활성화하면 파이프라인만으로 200 MB 이상을 절약할 수 있습니다. Ultralytics YOLO에서는 뷰어를 억제하고 결과를 대신 디스크에 기록하십시오:

from ultralytics import YOLO

model = YOLO("yolo11n.engine")

# show=False prevents any display window; save=True writes annotated output to disk
results = model.predict(source="video.mp4", show=False, save=True)

Link to this section누적 효과#

이러한 변경 사항을 결합하는 것은 메모리 제약이 있는 장치에서 TensorRT INT8 모델을 타겟팅할 때 특히 유용하며, 더 큰 모델 변형을 메모리에 맞출 수 있는지 여부를 결정짓는 차이가 될 수 있습니다.

Link to this section다음 단계#

추가적인 학습 및 지원이 필요하시면 Ultralytics YOLO26 Docs를 참조하십시오.

Link to this sectionFAQ#

Link to this sectionNVIDIA Jetson 장치에 Ultralytics YOLO26을 어떻게 배포합니까?#

NVIDIA Jetson 장치에 Ultralytics YOLO26을 배포하는 과정은 간단합니다. 먼저 NVIDIA JetPack SDK로 Jetson 장치를 플래싱하십시오. 그런 다음 사전 빌드된 Docker 이미지를 사용하여 빠르게 설정하거나 필요한 패키지를 수동으로 설치하십시오. 각 접근 방식에 대한 자세한 단계는 Quick Start with Docker 및 Start with Native Installation 섹션에서 확인할 수 있습니다.

Link to this sectionNVIDIA Jetson 장치에서 YOLO11 모델의 성능 벤치마크는 어떻게 됩니까?#

YOLO11 모델은 다양한 NVIDIA Jetson 장치에서 벤치마크되었으며 성능이 크게 향상되었습니다. 예를 들어, TensorRT 형식은 최고의 추론 성능을 제공합니다. Detailed Comparison Tables 섹션의 표는 다양한 모델 형식 전반에 걸친 mAP50-95 및 추론 시간과 같은 성능 지표에 대한 포괄적인 정보를 제공합니다.

Link to this sectionNVIDIA Jetson에 YOLO26을 배포할 때 왜 TensorRT를 사용해야 합니까?#

TensorRT는 최적의 성능을 제공하므로 NVIDIA Jetson에 YOLO26 모델을 배포할 때 강력히 권장됩니다. Jetson의 GPU 기능을 활용하여 추론 속도를 가속화함으로써 최대의 효율성과 속도를 보장합니다. TensorRT로 변환하고 추론을 실행하는 방법에 대한 자세한 내용은 Use TensorRT on NVIDIA Jetson 섹션을 참조하십시오.

Link to this sectionNVIDIA Jetson에 PyTorch와 Torchvision을 어떻게 설치합니까?#

NVIDIA Jetson에 PyTorch와 Torchvision을 설치하려면 먼저 pip를 통해 설치되었을 수 있는 기존 버전을 삭제하십시오. 그 다음, Jetson의 ARM64 아키텍처와 호환되는 PyTorch 및 Torchvision 버전을 수동으로 설치하십시오. 이 과정에 대한 자세한 지침은 Install PyTorch and Torchvision 섹션에 제공되어 있습니다.

Link to this sectionYOLO26을 사용할 때 NVIDIA Jetson에서 성능을 극대화하기 위한 모범 사례는 무엇입니까?#

NVIDIA Jetson에서 YOLO26의 성능을 극대화하려면 다음 모범 사례를 따르십시오:

1. 모든 CPU 및 GPU 코어를 활용하려면 MAX Power Mode를 활성화하십시오.
2. 모든 코어를 최대 주파수로 실행하려면 Jetson Clocks를 활성화하십시오.
3. 시스템 지표를 모니터링하려면 Jetson Stats 애플리케이션을 설치하십시오.

명령어 및 추가 정보는 Best Practices when using NVIDIA Jetson 섹션을 참조하십시오.

Link to this section더 큰 YOLO 모델을 실행하기 위해 NVIDIA Jetson에서 메모리를 확보하려면 어떻게 해야 합니까?#

가용 RAM은 메모리가 적은 Jetson 장치에서 종종 병목 현상의 원인이 됩니다. 총 1GB 이상을 확보할 수 있는 세 가지 간단한 방법은 다음과 같습니다:

1. 헤드리스 부팅으로 전환 (sudo systemctl set-default multi-user.target)하여 데스크톱 GUI를 제거하십시오 (~865 MB 확보).
2. Bluetooth나 연결 관리자와 같이 사용하지 않는 서비스를 비활성화하십시오 (~32 MB 확보).
3. Run inference without a display by setting show=False in your YOLO predict call, which avoids allocating display pipeline memory (~200+ MB saved).

procrank를 사용하여 프로세스별 RAM 사용량을 프로파일링하고 sudo cat /sys/kernel/debug/nvmap/iovmm/clients를 사용하여 GPU 할당을 조사하십시오. 자세한 내용은 Memory Optimization Tips 섹션을 참조하십시오.

Link to this section왜 JetPack 6에서 TensorRT INT8 내보내기가 end2end를 비활성화합니까?#

JetPack 6와 함께 제공된 TensorRT 10.3.0에는 end2end=True가 활성화되었을 때 INT8 엔진 빌드를 방해하는 알려진 문제가 있습니다. Ultralytics는 이 조합을 감지하면 내보내기가 성공하도록 자동으로 end2end 브랜치를 비활성화합니다.

end2end INT8 내보내기를 복구하려면 TensorRT를 최신 버전(예: 10.7.0 이상)으로 업그레이드하십시오:

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/arm64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get install -y tensorrt

업그레이드 후 내보내기를 다시 실행하십시오. 자세한 내용은 GitHub issue #23841을 참조하십시오.