Intel OpenVINO 내보내기

이 가이드에서는 YOLO26 모델을 OpenVINO 형식으로 내보내는 방법을 다룹니다. 이 형식은 CPU 속도를 최대 3배까지 향상시킬 수 있으며, Intel GPU 및 NPU 하드웨어에서 YOLO 추론을 가속화합니다.

Open Visual Inference & Neural Network Optimization toolkit의 약자인 OpenVINO는 AI 추론 모델을 최적화하고 배포하기 위한 포괄적인 툴킷입니다. 이름에 'Visual'이 포함되어 있지만, OpenVINO는 언어, 오디오, 시계열 등을 포함한 다양한 추가 작업도 지원합니다.

사용 예시

YOLO26n 모델을 OpenVINO 형식으로 내보내고 내보낸 모델로 추론을 실행합니다.

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

내보내기 인수

내보내기 프로세스에 대한 자세한 내용은 Ultralytics 내보내기 관련 문서 페이지를 참조하십시오.

OpenVINO의 이점

1. 성능: OpenVINO는 Intel CPU, 통합 및 외장 GPU, FPGA의 성능을 활용하여 고성능 추론을 제공합니다.
2. 이기종 실행 지원: OpenVINO는 한 번 작성하여 모든 지원되는 Intel 하드웨어(CPU, GPU, FPGA, VPU 등)에 배포할 수 있는 API를 제공합니다.
3. Model Optimizer: OpenVINO provides a Model Optimizer that imports, converts, and optimizes models from popular deep learning frameworks such as PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle, and Caffe.
4. 사용 편의성: 이 툴킷은 툴킷의 다양한 측면을 가르치는 80개 이상의 튜토리얼 노트북(YOLO26 최적화 포함)과 함께 제공됩니다.

OpenVINO 내보내기 구조

모델을 OpenVINO 형식으로 내보내면 다음이 포함된 디렉터리가 생성됩니다:

1. XML 파일: 네트워크 토폴로지를 설명합니다.
2. BIN 파일: 가중치 및 편향 이진 데이터를 포함합니다.
3. 매핑 파일: 원본 모델 출력 텐서와 OpenVINO 텐서 이름 간의 매핑을 보유합니다.

이 파일들을 사용하여 OpenVINO 추론 엔진으로 추론을 실행할 수 있습니다.

배포 시 OpenVINO 내보내기 사용

모델이 OpenVINO 형식으로 성공적으로 내보내지면 추론 실행을 위한 두 가지 주요 옵션이 있습니다:

1. 상위 수준 API를 제공하고 OpenVINO Runtime을 래핑하는 ultralytics 패키지를 사용합니다.

2. 추론 동작에 대해 더 고급 또는 사용자 지정 제어를 위해 기본 openvino 패키지를 사용합니다.

Ultralytics를 이용한 추론

ultralytics 패키지를 사용하면 predict 메서드를 통해 내보낸 OpenVINO 모델을 사용하여 쉽게 추론을 실행할 수 있습니다. 또한 device 인수를 사용하여 대상 장치(예: intel:gpu, intel:npu, intel:cpu)를 지정할 수 있습니다.

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

이 방식은 빠른 프로토타이핑이나 추론 파이프라인에 대한 완전한 제어가 필요하지 않은 배포에 이상적입니다.

OpenVINO Runtime을 이용한 추론

OpenVINO Runtime은 모든 지원되는 Intel 하드웨어 전반에서 추론을 위한 통합 API를 제공합니다. 또한 Intel 하드웨어 간의 부하 분산 및 비동기 실행과 같은 고급 기능을 제공합니다. 추론 실행에 대한 자세한 정보는 YOLO26 노트북을 참조하십시오.

Runtime으로 모델을 올바르게 설정하고 사용하려면 XML 및 BIN 파일뿐만 아니라 입력 크기, 정규화를 위한 스케일 계수 등과 같은 응용 프로그램별 설정이 필요하다는 점을 기억하십시오.

배포 응용 프로그램에서는 일반적으로 다음 단계를 수행합니다:

1. core = Core()를 생성하여 OpenVINO를 초기화합니다.
2. core.read_model() 메서드를 사용하여 모델을 로드합니다.
3. core.compile_model() 함수를 사용하여 모델을 컴파일합니다.
4. 입력(이미지, 텍스트, 오디오 등)을 준비합니다.
5. compiled_model(input_data)를 사용하여 추론을 실행합니다.

더 자세한 단계와 코드 스니펫은 OpenVINO 문서 또는 API 튜토리얼을 참조하십시오.

OpenVINO YOLO26 벤치마크

Ultralytics 팀은 다양한 모델 형식과 정밀도에 걸쳐 YOLO26을 벤치마킹하여 OpenVINO와 호환되는 다양한 Intel 장치에서 속도와 정확도를 평가했습니다.

Intel® Core™ Ultra

Intel® Core™ Ultra™ 시리즈는 게이머와 크리에이터부터 AI를 활용하는 전문가까지 현대 사용자의 진화하는 요구를 충족하도록 설계된 고성능 컴퓨팅의 새로운 기준을 제시합니다. 이 차세대 라인업은 단순한 기존 CPU 시리즈를 넘어 강력한 CPU 코어, 통합 고성능 GPU 기능, 그리고 전용 신경망 처리 장치(NPU)를 단일 칩 내에 결합하여 다양하고 집약적인 컴퓨팅 작업을 위한 통합 솔루션을 제공합니다.

Intel® Core Ultra™ 아키텍처의 핵심은 기존 처리 작업, GPU 가속 작업, AI 기반 작업 전반에서 탁월한 성능을 발휘하는 하이브리드 설계입니다. NPU를 포함함으로써 온디바이스 AI 추론을 강화하여 광범위한 응용 프로그램에서 더 빠르고 효율적인 기계 학습 및 데이터 처리를 지원합니다.

Core Ultra™ 제품군은 에너지 효율적인 설계부터 'H' 명칭이 붙은 고전력 변형 모델까지 다양한 성능 요구 사항에 맞춘 여러 모델을 포함하고 있으며, 이는 강력한 컴퓨팅 성능을 요구하는 노트북과 소형 폼 팩터에 이상적입니다. 라인업 전반에서 사용자는 CPU, GPU, NPU 통합의 시너지를 통해 놀라운 효율성, 응답성, 멀티태스킹 기능을 누릴 수 있습니다.

Intel의 지속적인 혁신의 일환으로 Core Ultra™ 시리즈는 미래형 컴퓨팅의 새로운 표준을 정립합니다. 여러 모델을 사용할 수 있고 더 많은 모델이 예정되어 있는 이 시리즈는 지능형 AI 강화 장치의 차세대를 위해 최첨단 솔루션을 제공하려는 Intel의 의지를 강조합니다.

아래 벤치마크는 FP32, FP16, INT8 정밀도에서 Intel® Core™ Ultra™ X7 358H, Intel® Core™ Ultra™ 7 258V 및 Intel® Core™ Ultra™ 7 155H에서 실행되었습니다.

Intel® Core™ Ultra™ X7 358H

벤치마크

통합 Intel® Arc™ GPUIntel® Panther Lake CPUIntegrated Intel® AI Boost NPU

상세 벤치마크 결과

모델	형식	정밀도	상태	크기 (MB)	metrics/mAP50-95(B)	추론 시간 (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	25.18
YOLO26n	OpenVINO	FP32	✅	9.6	0.4763	2.67
YOLO26n	OpenVINO	FP16	✅	5.1	0.4763	2.64
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	2.73
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	50.09
YOLO26s	OpenVINO	FP32	✅	36.7	0.5615	3.57
YOLO26s	OpenVINO	FP16	✅	18.6	0.5615	3.55
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	3.09
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	135.1
YOLO26m	OpenVINO	FP32	✅	78.3	0.6168	5.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	5.85
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	4.14
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	169.75
YOLO26l	OpenVINO	FP32	✅	95.3	0.6206	8.14
YOLO26l	OpenVINO	FP16	✅	48.1	0.6206	8.18
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	4.67
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	407.56
YOLO26x	OpenVINO	FP32	✅	213.2	0.6569	13.11
YOLO26x	OpenVINO	FP16	✅	107.1	0.6569	13.15
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	9.24

Intel® Core™ Ultra™ 7 258V

벤치마크

통합 Intel® Arc™ GPUIntel® Lunar Lake CPUIntegrated Intel® AI Boost NPU

상세 벤치마크 결과

모델	형식	정밀도	상태	크기 (MB)	metrics/mAP50-95(B)	추론 시간 (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	31.43
YOLO26n	OpenVINO	FP32	✅	9.6	0.4762	3.57
YOLO26n	OpenVINO	FP16	✅	5.1	0.4762	3.53
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	3.65
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	60.4
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	5.02
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	5.01
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	4.31
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	173.31
YOLO26m	OpenVINO	FP32	✅	78.3	0.6191	9.48
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	9.6
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	6.03
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6173	224.52
YOLO26l	OpenVINO	FP32	✅	95.3	0.3725	11.88
YOLO26l	OpenVINO	FP16	✅	48.1	0.6201	12.0
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	8.47
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	595.72
YOLO26x	OpenVINO	FP32	✅	213.2	0.6567	20.26
YOLO26x	OpenVINO	FP16	✅	107.1	0.6454	20.25
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	14.77

Intel® Core™ Ultra™ 7 155H

벤치마크

통합 Intel® Arc™ GPUIntel® Meteor Lake CPU

상세 벤치마크 결과

모델	형식	정밀도	상태	크기 (MB)	metrics/mAP50-95(B)	추론 시간 (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	38.77
YOLO26n	OpenVINO	FP32	✅	9.6	0.4774	9.87
YOLO26n	OpenVINO	FP16	✅	5.1	0.4774	9.84
YOLO26n	OpenVINO	INT8	✅	3.2	0.4705	5.86
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	69.54
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	17.29
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	17.06
YOLO26s	OpenVINO	INT8	✅	10.0	0.5452	10.33
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	192.22
YOLO26m	OpenVINO	FP32	✅	78.3	0.6187	34.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6187	34.75
YOLO26m	OpenVINO	INT8	✅	20.5	0.6073	15.99
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	245.62
YOLO26l	OpenVINO	FP32	✅	95.3	0.6202	43.7
YOLO26l	OpenVINO	FP16	✅	48.1	0.6202	44.65
YOLO26l	OpenVINO	INT8	✅	25.2	0.6048	20.31
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	513.06
YOLO26x	OpenVINO	FP32	✅	213.2	0.6544	80.19
YOLO26x	OpenVINO	FP16	✅	107.1	0.6544	79.83
YOLO26x	OpenVINO	INT8	✅	54.8	0.6393	35.16

결과 재현하기

모든 내보내기 형식에서 위 Ultralytics 벤치마크 결과를 재현하려면 다음 코드를 실행하십시오:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

결론

벤치마크 결과는 YOLO26 모델을 OpenVINO 형식으로 내보낼 때의 이점을 명확하게 보여줍니다. 다양한 모델과 하드웨어 플랫폼 전반에 걸쳐 OpenVINO 형식은 정확도를 유지하면서도 추론 속도 면에서 다른 형식을 지속적으로 능가합니다.

이 벤치마크는 딥러닝 모델 배포를 위한 도구로서 OpenVINO의 효율성을 강조합니다. 모델을 OpenVINO 형식으로 변환함으로써 개발자는 상당한 성능 향상을 달성할 수 있으며, 이를 통해 실제 애플리케이션에 해당 모델을 더 쉽게 배포할 수 있습니다.

OpenVINO 사용에 대한 자세한 정보와 지침은 공식 OpenVINO 문서를 참조하십시오.

FAQ

YOLO26 모델을 OpenVINO 형식으로 어떻게 내보내나요?

YOLO26 모델을 OpenVINO 형식으로 내보내면 CPU 속도를 크게 향상시키고 Intel 하드웨어에서 GPU 및 NPU 가속을 활성화할 수 있습니다. 내보내려면 아래와 같이 Python 또는 CLI를 사용할 수 있습니다:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

자세한 내용은 내보내기 형식 문서를 참조하십시오.

YOLO26 모델에 OpenVINO를 사용할 때의 이점은 무엇인가요?

Intel의 OpenVINO 툴킷을 YOLO26 모델과 함께 사용하면 다음과 같은 여러 이점이 있습니다:

1. 성능: CPU 추론에서 최대 3배의 속도 향상을 달성하고 Intel GPU 및 NPU를 가속에 활용할 수 있습니다.
2. 모델 최적화: PyTorch, TensorFlow, ONNX와 같은 인기 있는 프레임워크의 모델을 변환, 최적화 및 실행할 수 있습니다.
3. 사용 편의성: YOLO26을 포함하여 사용자가 시작하는 데 도움이 되는 80개 이상의 튜토리얼 노트북을 제공합니다.
4. 이종 실행: 통합 API를 사용하여 다양한 Intel 하드웨어에 모델을 배포할 수 있습니다.

자세한 성능 비교는 벤치마크 섹션을 방문하십시오.

OpenVINO로 내보낸 YOLO26 모델을 사용하여 추론을 실행하려면 어떻게 해야 하나요?

YOLO26n 모델을 OpenVINO 형식으로 내보낸 후, Python 또는 CLI를 사용하여 추론을 실행할 수 있습니다:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

자세한 내용은 예측 모드 문서를 참조하십시오.

OpenVINO 내보내기를 위해 왜 다른 모델보다 Ultralytics YOLO26을 선택해야 하나요?

Ultralytics YOLO26은 높은 정확도와 속도를 갖춘 실시간 객체 탐지를 위해 최적화되었습니다. 특히 OpenVINO와 결합했을 때 YOLO26은 다음을 제공합니다:

• Intel CPU에서 최대 3배의 속도 향상
• Intel GPU 및 NPU에서의 원활한 배포
• 다양한 내보내기 형식에 걸친 일관되고 비교 가능한 정확도

심층적인 성능 분석을 위해 다양한 하드웨어에서의 자세한 YOLO26 벤치마크를 확인하십시오.

PyTorch, ONNX, OpenVINO와 같은 다양한 형식에서 YOLO26 모델을 벤치마킹할 수 있나요?

네, PyTorch, TorchScript, ONNX, OpenVINO를 포함한 다양한 형식으로 YOLO26 모델을 벤치마킹할 수 있습니다. 다음 코드 스니펫을 사용하여 선택한 데이터셋에서 벤치마크를 실행하십시오:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

자세한 벤치마크 결과는 벤치마크 섹션 및 내보내기 형식 문서를 참조하십시오.