Ultralytics YOLO를 사용한 모델 내보내기#

Ultralytics를 사용하면 YOLO26 모델을 ONNX 형식으로 간편하게 내보낼 수 있습니다. 모델 내보내기에는 Python 및 CLI 방법을 모두 사용할 수 있습니다.

from ultralytics import YOLO

# 모델 로드
model = YOLO("yolo26n.pt")  # 공식 모델을 불러옵니다
model = YOLO("path/to/best.pt")  # 사용자 지정 학습 모델을 불러옵니다

# 모델을 내보냅니다
model.export(format="onnx")

다양한 입력 크기 처리와 같은 고급 옵션을 포함해 자세한 절차를 알아보려면 ONNX 통합 가이드를 참조하세요.

모델 내보내기에 TensorRT를 사용하면 성능이 크게 향상됩니다. TensorRT로 내보낸 YOLO26 모델은 최대 5배의 GPU 속도 향상을 달성할 수 있어 실시간 추론 애플리케이션에 적합합니다.

• 다용도성: 특정 하드웨어 구성에 맞게 모델을 최적화합니다.
• 속도: 고급 최적화를 통해 추론 속도를 높입니다.
• 호환성: NVIDIA 하드웨어와 원활하게 통합됩니다.

TensorRT 통합에 대한 자세한 내용은 TensorRT 통합 가이드를 참조하세요.

INT8 양자화는 모델을 압축하고 추론 속도를 높이는 효과적인 방법이며, 특히 엣지 디바이스에서 유용합니다. INT8 양자화를 활성화하는 방법은 다음과 같습니다:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")  # 모델 로드
model.export(format="onnx", quantize=8, data="coco8.yaml")

INT8 양자화는 ONNX, TensorRT, OpenVINO, CoreML, Rockchip RKNN, AMD Xilinx와 같은 형식에 적용할 수 있습니다. 최적의 양자화 결과를 얻으려면 data 매개변수를 사용해 대표성을 갖춘 데이터셋을 제공하세요. 허용되는 quantize 값과 지원 형식은 양자화 옵션을 참조하세요.

동적 입력 크기를 사용하면 내보낸 모델이 다양한 이미지 크기를 처리할 수 있어 유연성이 높아지고, 여러 사용 사례에 맞춰 처리 효율성을 최적화할 수 있습니다. ONNX 또는 TensorRT와 같은 형식으로 내보낼 때 동적 입력 크기를 활성화하면 모델이 서로 다른 입력 형태에 원활하게 대응할 수 있습니다.

이 기능을 활성화하려면 내보내기 중 dynamic=True 플래그를 사용하세요:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(format="onnx", dynamic=True)

동적 입력 크기 설정은 비디오 처리나 다양한 소스의 이미지 처리처럼 입력 크기가 달라질 수 있는 애플리케이션에서 특히 유용합니다.

PyTorch 모델과 동적 내보내기는 기본적으로 최소 직사각형 패딩을 사용하지만, 정적 내보내기는 전체 imgsz 크기로 패딩하므로 신뢰도 임계값에 가까운 감지 결과가 달라질 수 있습니다. 정적 내보내기와 일치시키려면 네이티브 추론에 rect=False를 사용하거나, 지원되는 경우 dynamic=True을 사용해 내보내세요.

모델 성능을 최적화하려면 내보내기 인수를 이해하고 구성하는 것이 중요합니다:

• format: 내보낸 모델의 대상 형식입니다(예: onnx, torchscript, saved_model).
• imgsz: 모델 입력에 사용할 이미지 크기입니다(예: 640 또는 (height, width)).
• quantize: 양자화 정밀도입니다. 예를 들어 8/"int8", 16/"fp16", 32/"fp32" 또는 지원 형식에서 사용하는 혼합 가중치/활성화 방식인 "w8a16" 및 "w8a32"(LiteRT 동적 INT8)이 있습니다. 양자화 옵션을 참조하세요.
• dynamic: ONNX, OpenVINO, TensorRT처럼 동적 형태를 지원하는 형식에서 가변 입력 크기를 허용합니다.
• nms: 외부 NMS용 원시 출력(None), 내장 NMS(True) 또는 NMS가 없는 헤드(False)를 선택합니다.
• device: 내보내기 중 모델 추적에 사용할 디바이스입니다. 예를 들어 첫 번째 CUDA GPU에는 cpu 또는 0를 사용합니다. FP16 TorchScript에는 GPU가 필요합니다.

특정 하드웨어 플랫폼에 배포할 때는 NVIDIA GPU용 TensorRT, Apple 디바이스용 CoreML, Google Coral 디바이스용 Edge TPU와 같은 특화된 내보내기 형식을 고려하세요.

YOLO 모델을 ONNX 또는 TensorRT와 같은 형식으로 내보내면 출력 텐서 구조는 모델 작업에 따라 달라집니다. 이러한 출력을 이해하는 것은 사용자 지정 추론 구현에 중요합니다.

nms=False을 사용해 내보낸 YOLO26 detection models(예: yolo26n.pt)의 경우, 지원되는 형식은 [x1, y1, x2, y2, confidence, class_id]개의 값을 포함하는 (batch_size, max_detections, 6) 형태의 NMS가 필요 없는 출력을 생성합니다. 기본 max_det=300를 사용하면 일반적으로 (batch_size, 300, 6) 형태입니다. 일부 제약이 있는 형식은 엔드투엔드 연산자를 지원하지 않을 경우 자동으로 기존 출력 레이아웃으로 대체됩니다.

기본 설정(nms=None)에서 YOLO26을 포함한 detection 모델은 원시 one-to-many 예측을 내보냅니다. 출력은 일반적으로 (batch_size, 4 + num_classes, num_predictions) 형태의 단일 텐서이며, 채널은 박스 좌표와 클래스별 점수를 나타내고 num_predictions는 내보내기 입력 해상도에 따라 달라집니다(동적일 수 있음). 엔드투엔드 detection 가이드에서 엔드투엔드 출력을 유지하는 형식을 확인할 수 있습니다.

segmentation 모델(예: yolo26n-seg.pt)은 일반적으로 두 개의 출력을 생성합니다. 첫 번째 텐서는 (batch_size, 4 + num_classes + mask_dim, num_predictions) 형태(박스, 클래스 점수, 마스크 계수)이고, 두 번째 텐서는 (batch_size, mask_dim, proto_h, proto_w) 형태이며 계수와 함께 인스턴스 마스크를 생성하는 데 사용되는 마스크 프로토타입을 포함합니다. 크기는 내보내기 입력 해상도에 따라 달라집니다(동적일 수 있음).

pose 모델(예: yolo26n-pose.pt)의 출력 텐서는 일반적으로 (batch_size, 4 + num_classes + keypoint_dims, num_predictions) 형태입니다. 여기서 keypoint_dims는 pose 사양(예: 키포인트 수와 신뢰도 포함 여부)에 따라 달라지고, num_predictions은 내보내기 입력 해상도에 따라 달라집니다(동적일 수 있음).

ONNX 추론 예제에서는 각 모델 유형의 출력을 처리하는 방법을 보여줍니다.

Ultralytics는 현재 YOLO 모델 전용 C++ 추론 API를 제공하지 않습니다. C++ 배포의 경우 모델을 ONNX, TensorRT, TorchScript 또는 MNN과 같은 런타임 형식으로 내보낸 다음, 내보낸 아티팩트를 해당 런타임의 네이티브 C++ API로 로드하세요.

예를 들어 yolo export model=yolo26n.pt format=onnx으로 detection 모델을 내보내고 .onnx 파일을 ONNX Runtime C++로 실행하거나, format=engine로 내보내고 TensorRT C++ 애플리케이션에서 TensorRT 엔진을 실행할 수 있습니다. 사용자 지정 C++ 후처리를 사용할 때는 작업 및 내보내기 설정에 맞는 출력 텐서 레이아웃을 사용하세요. 기본 YOLO26 detection 내보내기는 외부 NMS가 필요한 원시 예측 텐서를 반환합니다. NMS가 필요 없는 detection을 (batch, max_det, 6) 형태로 내보내려면 nms=False을 사용하거나, 지원되는 형식에서 NMS를 포함하려면 nms=True를 사용하세요.

quantize=16(FP16) 또는 quantize=8(INT8)로 내보내면 모델 크기를 줄이고 성능을 개선하기 위해 대부분의 텐서가 낮은 정밀도로 변환됩니다. 하지만 nms=False가 활성화되면 클래스 인덱스를 포함한 후처리가 내보낸 그래프에 직접 포함됩니다.

output0 텐서에는 클래스 인덱스가 포함되며, 내부적으로 부동 소수점 값으로 표현됩니다. FP16은 가수부 정밀도가 제한되어 있어 2048보다 큰 정수 값을 안정적으로 표현할 수 없습니다. 잠재적인 정밀도 손실이나 잘못된 클래스 ID를 방지하기 위해 output0은 의도적으로 FP32로 유지됩니다.

전체 FP16 출력이 필요한 경우 GPU에서 nms=None으로 내보내고 후처리를 외부에서 수행하세요. CPU에서 내보낸 FP16 ONNX는 내부 그래프만 변환하며 입력과 출력은 계속 FP32로 유지됩니다.