Link to this sectionIntel OpenVINO 내보내기#

이 가이드에서는 YOLO26 모델을 OpenVINO 형식으로 내보내는 방법을 다룹니다. 이 형식을 사용하면 CPU에서 최대 3배의 속도 향상을 얻을 수 있으며, Intel GPU 및 NPU 하드웨어에서 YOLO 추론을 가속화할 수 있습니다.

Open Visual Inference & Neural Network Optimization toolkit의 약자인 OpenVINO는 AI 추론 모델을 최적화하고 배포하기 위한 포괄적인 툴킷입니다. 이름에는 Visual이 포함되어 있지만, OpenVINO는 언어, 오디오, 시계열 등을 포함한 다양한 추가 작업도 지원합니다.

Link to this section사용 예제#

OpenVINO 형식은 Export, Predict 및 Validate 모드를 지원합니다. 모델을 내보낸 후, 내보낸 모델을 로드하여 Intel CPU, 통합/외장 GPU 또는 NPU에서 추론을 실행하거나 정확도를 검증할 수 있습니다.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to OpenVINO format
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

from ultralytics import YOLO

# Load the exported OpenVINO model
model = YOLO("yolo26n_openvino_model/")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

# Run inference on a specific device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

from ultralytics import YOLO

# Load the exported OpenVINO model
model = YOLO("yolo26n_openvino_model/")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Link to this section내보내기 인수#

내보내기 프로세스에 대한 자세한 내용은 내보내기에 대한 Ultralytics 문서 페이지를 참조하십시오.

Link to this sectionOpenVINO의 장점#

1. 성능: OpenVINO는 Intel CPU, 통합 및 외장 GPU, FPGA의 성능을 활용하여 고성능 추론을 제공합니다.
2. 이종 실행 지원: OpenVINO는 한 번 작성하면 지원되는 모든 Intel 하드웨어(CPU, GPU, FPGA, VPU 등)에 배포할 수 있는 API를 제공합니다.
3. Model Optimizer: OpenVINO provides a Model Optimizer that imports, converts, and optimizes models from popular deep learning frameworks such as PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle, and Caffe.
4. 사용 편의성: 이 툴킷은 툴킷의 다양한 측면을 학습하는 방대한 튜토리얼 노트북 컬렉션(YOLO26 최적화 포함)을 제공합니다.

Link to this sectionOpenVINO 내보내기 구조#

모델을 OpenVINO 형식으로 내보내면 다음 항목을 포함하는 디렉터리가 생성됩니다.

1. XML 파일: 네트워크 토폴로지를 설명합니다.
2. BIN 파일: 가중치 및 편향 바이너리 데이터를 포함합니다.
3. 매핑 파일: 원본 모델 출력 텐서와 OpenVINO 텐서 이름 간의 매핑을 보관합니다.

이 파일들을 사용하여 OpenVINO Inference Engine으로 추론을 실행할 수 있습니다.

Link to this section배포 시 OpenVINO 내보내기 사용#

모델을 OpenVINO 형식으로 성공적으로 내보내면 추론 실행을 위한 두 가지 주요 옵션이 있습니다.

1. 고수준 API를 제공하고 OpenVINO Runtime을 래핑하는 ultralytics 패키지를 사용합니다.

2. 추론 동작에 대해 더 고급화되거나 사용자 정의된 제어가 필요한 경우 네이티브 openvino 패키지를 사용합니다.

Link to this sectionUltralytics를 사용한 추론#

ultralytics 패키지를 사용하면 predict 메서드를 통해 내보낸 OpenVINO 모델을 사용하여 쉽게 추론을 실행할 수 있습니다. 또한 device 인수를 사용하여 대상 장치(예: intel:gpu, intel:npu, intel:cpu)를 지정할 수 있습니다.

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

이 접근 방식은 추론 파이프라인에 대한 완전한 제어가 필요하지 않은 빠른 프로토타이핑이나 배포에 이상적입니다.

Link to this sectionOpenVINO Runtime을 사용한 추론#

OpenVINO Runtime은 지원되는 모든 Intel 하드웨어 전반에 걸쳐 추론을 위한 통합 API를 제공합니다. 또한 Intel 하드웨어 전반의 로드 밸런싱 및 비동기 실행과 같은 고급 기능을 제공합니다. 추론 실행에 대한 자세한 내용은 YOLO26 노트북을 참조하십시오.

Runtime과 함께 모델을 올바르게 설정하고 사용하려면 XML 및 BIN 파일뿐만 아니라 입력 크기, 정규화를 위한 스케일 팩터 등과 같은 애플리케이션별 설정이 필요함을 기억하십시오.

배포 애플리케이션에서는 일반적으로 다음 단계를 수행합니다.

1. core = Core()를 생성하여 OpenVINO를 초기화합니다.
2. core.read_model() 메서드를 사용하여 모델을 로드합니다.
3. core.compile_model() 함수를 사용하여 모델을 컴파일합니다.
4. 입력(이미지, 텍스트, 오디오 등)을 준비합니다.
5. compiled_model(input_data)를 사용하여 추론을 실행합니다.

더 자세한 단계와 코드 스니펫은 OpenVINO 문서 또는 API 튜토리얼을 참조하십시오.

Link to this sectionOpenVINO YOLO26 벤치마크#

Ultralytics 팀은 다양한 모델 형식과 정밀도 전반에서 YOLO26을 벤치마킹하여 OpenVINO와 호환되는 다양한 Intel 장치에서의 속도와 정확도를 평가했습니다.

Link to this sectionIntel® Core™ Ultra#

Intel® Core™ Ultra™ 시리즈는 게이머와 크리에이터부터 AI를 활용하는 전문가까지 현대 사용자의 진화하는 요구 사항을 충족하도록 설계된 고성능 컴퓨팅의 새로운 벤치마크를 나타냅니다. 이 차세대 라인업은 단순한 기존 CPU 시리즈를 넘어 강력한 CPU 코어, 통합 고성능 GPU 기능, 그리고 전용 신경망 처리 장치(NPU)를 단일 칩 내에 결합하여 다양하고 집중적인 컴퓨팅 작업 부하를 위한 통합 솔루션을 제공합니다.

Intel® Core Ultra™ 아키텍처의 핵심에는 기존 처리 작업, GPU 가속 작업 부하, AI 기반 작업 전반에서 뛰어난 성능을 구현하는 하이브리드 설계가 있습니다. NPU를 포함함으로써 온디바이스 AI 추론이 향상되어 광범위한 애플리케이션에서 더 빠르고 효율적인 머신 러닝 및 데이터 처리가 가능합니다.

Core Ultra™ 제품군은 다양한 성능 요구 사항에 맞춰진 여러 모델을 포함하며, 에너지 효율적인 설계부터 진지한 컴퓨팅 성능이 필요한 노트북 및 소형 폼 팩터에 이상적인 "H" 지정 고전력 변형 모델까지 선택할 수 있습니다. 제품군 전반에 걸쳐 사용자는 CPU, GPU 및 NPU 통합의 시너지를 통해 탁월한 효율성, 응답성 및 멀티태스킹 기능을 누릴 수 있습니다.

Intel의 지속적인 혁신의 일환으로, Core Ultra™ 시리즈는 미래 지향적인 컴퓨팅을 위한 새로운 표준을 설정합니다. 다수의 모델을 사용할 수 있고 더 많은 모델이 출시될 예정인 이 시리즈는 차세대 지능형 AI 강화 장치를 위한 최첨단 솔루션을 제공하겠다는 Intel의 약속을 강조합니다.

아래 벤치마크는 Intel® Core™ Ultra™ X7 358H, Intel® Core™ Ultra™ 7 258V 및 Intel® Core™ Ultra™ 7 155H에서 FP32, FP16 및 INT8 정밀도로 실행되었습니다.

Link to this sectionIntel® Core™ Ultra™ X7 358H#

벤치마크

통합 Intel® Arc™ GPUIntel® Panther Lake CPU통합 Intel® AI Boost NPU

상세 벤치마크 결과

모델	형식	정밀도	상태	크기(MB)	metrics/mAP50-95(B)	추론 시간(ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	25.18
YOLO26n	OpenVINO	FP32	✅	9.6	0.4763	2.67
YOLO26n	OpenVINO	FP16	✅	5.1	0.4763	2.64
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	2.73
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	50.09
YOLO26s	OpenVINO	FP32	✅	36.7	0.5615	3.57
YOLO26s	OpenVINO	FP16	✅	18.6	0.5615	3.55
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	3.09
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	135.1
YOLO26m	OpenVINO	FP32	✅	78.3	0.6168	5.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	5.85
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	4.14
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	169.75
YOLO26l	OpenVINO	FP32	✅	95.3	0.6206	8.14
YOLO26l	OpenVINO	FP16	✅	48.1	0.6206	8.18
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	4.67
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	407.56
YOLO26x	OpenVINO	FP32	✅	213.2	0.6569	13.11
YOLO26x	OpenVINO	FP16	✅	107.1	0.6569	13.15
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	9.24

Link to this sectionIntel® Core™ Ultra™ 7 258V#

벤치마크

통합 Intel® Arc™ GPUIntel® Lunar Lake CPU통합 Intel® AI Boost NPU

상세 벤치마크 결과

모델	형식	정밀도	상태	크기(MB)	metrics/mAP50-95(B)	추론 시간(ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	31.43
YOLO26n	OpenVINO	FP32	✅	9.6	0.4762	3.57
YOLO26n	OpenVINO	FP16	✅	5.1	0.4762	3.53
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	3.65
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	60.4
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	5.02
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	5.01
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	4.31
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	173.31
YOLO26m	OpenVINO	FP32	✅	78.3	0.6191	9.48
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	9.6
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	6.03
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6173	224.52
YOLO26l	OpenVINO	FP32	✅	95.3	0.3725	11.88
YOLO26l	OpenVINO	FP16	✅	48.1	0.6201	12.0
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	8.47
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	595.72
YOLO26x	OpenVINO	FP32	✅	213.2	0.6567	20.26
YOLO26x	OpenVINO	FP16	✅	107.1	0.6454	20.25
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	14.77

Link to this sectionIntel® Core™ Ultra™ 7 155H#

벤치마크

통합 Intel® Arc™ GPUIntel® Meteor Lake CPU

상세 벤치마크 결과

모델	형식	정밀도	상태	크기(MB)	metrics/mAP50-95(B)	추론 시간(ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	38.77
YOLO26n	OpenVINO	FP32	✅	9.6	0.4774	9.87
YOLO26n	OpenVINO	FP16	✅	5.1	0.4774	9.84
YOLO26n	OpenVINO	INT8	✅	3.2	0.4705	5.86
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	69.54
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	17.29
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	17.06
YOLO26s	OpenVINO	INT8	✅	10.0	0.5452	10.33
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	192.22
YOLO26m	OpenVINO	FP32	✅	78.3	0.6187	34.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6187	34.75
YOLO26m	OpenVINO	INT8	✅	20.5	0.6073	15.99
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	245.62
YOLO26l	OpenVINO	FP32	✅	95.3	0.6202	43.7
YOLO26l	OpenVINO	FP16	✅	48.1	0.6202	44.65
YOLO26l	OpenVINO	INT8	✅	25.2	0.6048	20.31
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	513.06
YOLO26x	OpenVINO	FP32	✅	213.2	0.6544	80.19
YOLO26x	OpenVINO	FP16	✅	107.1	0.6544	79.83
YOLO26x	OpenVINO	INT8	✅	54.8	0.6393	35.16

Link to this section결과 재현하기#

위의 Ultralytics 벤치마크 결과를 모든 내보내기 형식에서 재현하려면 다음 코드를 실행하십시오:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

Link to this section결론#

벤치마크 결과는 YOLO26 모델을 OpenVINO 형식으로 내보낼 때 얻는 이점을 명확하게 보여줍니다. 다양한 모델과 하드웨어 플랫폼 전반에 걸쳐, OpenVINO 형식은 유사한 정확도를 유지하면서도 추론 속도 측면에서 다른 형식보다 일관되게 뛰어난 성능을 보여줍니다.

이 벤치마크들은 딥러닝 모델 배포를 위한 도구로서 OpenVINO의 효율성을 강조합니다. 모델을 OpenVINO 형식으로 변환함으로써 개발자는 상당한 성능 향상을 달성할 수 있으며, 이를 통해 실제 애플리케이션에 모델을 보다 쉽게 배포할 수 있습니다.

OpenVINO 사용에 대한 더 자세한 정보와 지침은 공식 OpenVINO 문서를 참조하십시오.

Link to this sectionFAQ#

Link to this sectionYOLO26 모델을 OpenVINO 형식으로 내보내려면 어떻게 해야 합니까?#

YOLO26 모델을 OpenVINO 형식으로 내보내면 CPU 속도를 크게 높이고 Intel 하드웨어에서 GPU 및 NPU 가속을 활성화할 수 있습니다. 내보내려면 아래와 같이 Python 또는 CLI를 사용할 수 있습니다:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

더 자세한 정보는 내보내기 형식 문서를 참조하십시오.

Link to this sectionYOLO26 모델과 함께 OpenVINO를 사용하면 어떤 이점이 있습니까?#

Intel의 OpenVINO 툴킷을 YOLO26 모델과 함께 사용하면 다음과 같은 여러 가지 이점이 있습니다:

1. 성능: CPU 추론에서 최대 3배의 속도 향상을 달성하고 가속을 위해 Intel GPU 및 NPU를 활용합니다.
2. 모델 최적화(Model Optimizer): PyTorch, TensorFlow, ONNX와 같은 널리 사용되는 프레임워크의 모델을 변환, 최적화 및 실행합니다.
3. 사용 편의성: YOLO26을 포함하여 사용자가 시작하는 데 도움을 줄 수 있는 방대한 튜토리얼 노트북 컬렉션이 제공됩니다.
4. 이기종 실행(Heterogeneous Execution): 통합 API를 사용하여 다양한 Intel 하드웨어에 모델을 배포합니다.

상세한 성능 비교는 벤치마크 섹션을 방문하십시오.

Link to this sectionOpenVINO로 내보낸 YOLO26 모델을 사용하여 어떻게 추론을 실행할 수 있습니까?#

YOLO26n 모델을 OpenVINO 형식으로 내보낸 후, Python 또는 CLI를 사용하여 추론을 실행할 수 있습니다:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

자세한 내용은 예측 모드 문서를 참조하십시오.

Link to this sectionOpenVINO 내보내기를 위해 왜 다른 모델 대신 Ultralytics YOLO26을 선택해야 합니까?#

Ultralytics YOLO26은 높은 정확도와 속도를 갖춘 실시간 객체 탐지를 위해 최적화되었습니다. 특히 OpenVINO와 결합할 때 YOLO26은 다음을 제공합니다:

• Intel CPU에서 최대 3배의 속도 향상
• Intel GPU 및 NPU에서의 원활한 배포
• 다양한 내보내기 형식 간의 일관되고 유사한 정확도

심층적인 성능 분석을 위해 다양한 하드웨어에서의 YOLO26 벤치마크를 확인하십시오.

Link to this sectionPyTorch, ONNX, OpenVINO와 같은 다양한 형식으로 YOLO26 모델을 벤치마킹할 수 있습니까?#

네, PyTorch, TorchScript, ONNX 및 OpenVINO를 포함한 다양한 형식으로 YOLO26 모델을 벤치마킹할 수 있습니다. 다음 코드 스니펫을 사용하여 선택한 데이터셋에서 벤치마크를 실행하십시오:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

자세한 벤치마크 결과는 벤치마크 섹션 및 내보내기 형식 문서를 참조하십시오.