Link to this sectionIntel OpenVINO 내보내기#

이 가이드에서는 YOLO26 모델을 OpenVINO 형식으로 내보내는 방법을 다룹니다. 이를 통해 CPU 속도를 최대 3배까지 향상시킬 수 있으며, Intel GPU 및 NPU 하드웨어에서 YOLO 추론을 가속화할 수 있습니다.

OpenVINO(Open Visual Inference & Neural Network Optimization toolkit의 약자)는 AI 추론 모델을 최적화하고 배포하기 위한 종합 툴킷입니다. 이름에 Visual이 포함되어 있지만, OpenVINO는 언어, 오디오, 시계열 등 다양한 추가 작업을 지원합니다.

Link to this section사용 예시#

OpenVINO 형식은 Export, Predict, Validate 모드를 지원합니다. 모델을 내보낸 후 내보낸 모델을 로드하여 Intel CPU, 통합/외장 GPU 또는 NPU에서 추론을 실행하거나 정확도를 검증하십시오.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to OpenVINO format
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

from ultralytics import YOLO

# Load the exported OpenVINO model
model = YOLO("yolo26n_openvino_model/")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

# Run inference on a specific device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

from ultralytics import YOLO

# Load the exported OpenVINO model
model = YOLO("yolo26n_openvino_model/")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Link to this section내보내기 인수#

내보내기 프로세스에 대한 자세한 내용은 내보내기에 관한 Ultralytics 문서 페이지를 방문하십시오.

Link to this sectionOpenVINO의 이점#

1. 성능: OpenVINO는 Intel CPU, 통합 및 외장 GPU, FPGA의 성능을 활용하여 고성능 추론을 제공합니다.
2. 이종 실행 지원: OpenVINO는 한 번 작성하여 지원되는 모든 Intel 하드웨어(CPU, GPU, FPGA, VPU 등)에 배포할 수 있는 API를 제공합니다.
3. Model Optimizer: OpenVINO provides a Model Optimizer that imports, converts, and optimizes models from popular deep learning frameworks such as PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle, and Caffe.
4. 사용 편의성: 툴킷에는 툴킷의 다양한 측면을 학습할 수 있는 방대한 튜토리얼 노트북 컬렉션(YOLO26 최적화 포함)이 함께 제공됩니다.

Link to this sectionOpenVINO 내보내기 구조#

모델을 OpenVINO 형식으로 내보내면 다음 항목이 포함된 디렉토리가 생성됩니다:

1. XML 파일: 네트워크 토폴로지를 설명합니다.
2. BIN 파일: 가중치 및 편향 이진 데이터를 포함합니다.
3. 매핑 파일: 원본 모델 출력 텐서와 OpenVINO 텐서 이름 간의 매핑을 보유합니다.

이 파일들을 사용하여 OpenVINO Inference Engine으로 추론을 실행할 수 있습니다.

Link to this section배포 시 OpenVINO 내보내기 사용#

모델이 OpenVINO 형식으로 성공적으로 내보내지면 추론 실행을 위한 두 가지 주요 옵션이 있습니다:

1. 고수준 API를 제공하고 OpenVINO Runtime을 래핑하는 ultralytics 패키지를 사용합니다.

2. 추론 동작에 대해 더 고급이거나 맞춤화된 제어를 위해 네이티브 openvino 패키지를 사용합니다.

Link to this sectionUltralytics를 통한 추론#

ultralytics 패키지를 사용하면 predict 메서드를 통해 내보낸 OpenVINO 모델을 사용하여 쉽게 추론을 실행할 수 있습니다. 또한 device 인수를 사용하여 대상 장치(예: intel:gpu, intel:npu, intel:cpu)를 지정할 수 있습니다.

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

이 접근 방식은 추론 파이프라인에 대한 전체 제어가 필요하지 않은 빠른 프로토타이핑 또는 배포에 이상적입니다.

Link to this sectionOpenVINO Runtime을 통한 추론#

OpenVINO Runtime은 지원되는 모든 Intel 하드웨어에서 추론을 위한 통합 API를 제공합니다. 또한 Intel 하드웨어 간 로드 밸런싱 및 비동기 실행과 같은 고급 기능을 제공합니다. 추론 실행에 대한 자세한 내용은 YOLO26 노트북을 참조하십시오.

Runtime으로 모델을 올바르게 설정하고 사용하려면 XML 및 BIN 파일과 입력 크기, 정규화를 위한 스케일 계수 등 애플리케이션별 설정이 필요합니다.

배포 애플리케이션에서는 일반적으로 다음 단계를 수행합니다:

1. core = Core()를 생성하여 OpenVINO를 초기화합니다.
2. core.read_model() 메서드를 사용하여 모델을 로드합니다.
3. core.compile_model() 함수를 사용하여 모델을 컴파일합니다.
4. 입력(이미지, 텍스트, 오디오 등)을 준비합니다.
5. compiled_model(input_data)를 사용하여 추론을 실행합니다.

더 자세한 단계와 코드 조각은 OpenVINO 문서 또는 API 튜토리얼을 참조하십시오.

Link to this sectionOpenVINO YOLO26 벤치마크#

Ultralytics 팀은 다양한 모델 형식과 정밀도에 걸쳐 YOLO26을 벤치마킹하여 OpenVINO와 호환되는 다양한 Intel 장치에서 속도와 정확도를 평가했습니다.

Link to this sectionIntel® Core™ Ultra™#

Intel® Core™ Ultra™ 시리즈는 게이머와 크리에이터부터 AI를 활용하는 전문가에 이르기까지 현대 사용자의 진화하는 요구를 충족하도록 설계된 고성능 컴퓨팅의 새로운 기준을 제시합니다. 이 차세대 라인업은 단순한 기존 CPU 시리즈를 넘어 강력한 CPU 코어, 통합 고성능 GPU 기능, 그리고 전용 NPU(Neural Processing Unit)를 단일 칩에 결합하여 다양하고 집중적인 컴퓨팅 워크로드를 위한 통합 솔루션을 제공합니다.

Intel® Core Ultra™ 아키텍처의 핵심은 기존 처리 작업, GPU 가속 워크로드 및 AI 기반 작업 전반에서 탁월한 성능을 가능하게 하는 하이브리드 설계입니다. NPU를 포함하여 온디바이스 AI 추론이 향상되었으며, 이를 통해 광범위한 애플리케이션에서 더 빠르고 효율적인 머신 러닝 및 데이터 처리가 가능합니다.

Core Ultra™ 제품군은 에너지 효율적인 설계부터 "H" 지정이 표시된 고출력 변형 모델까지 다양한 성능 요구에 맞춘 여러 모델을 포함하고 있습니다. 이는 상당한 컴퓨팅 성능이 필요한 노트북 및 소형 폼 팩터에 이상적입니다. 전체 라인업에서 사용자는 CPU, GPU 및 NPU 통합의 시너지 효과를 누리며 뛰어난 효율성, 반응성 및 멀티태스킹 기능을 제공받습니다.

Intel의 지속적인 혁신의 일환으로 Core Ultra™ 시리즈는 미래 준비형 컴퓨팅의 새로운 표준을 설정합니다. 다양한 모델을 사용할 수 있고 향후 더 많은 모델이 출시될 예정인 이 시리즈는 차세대 지능형 AI 강화 장치를 위한 최첨단 솔루션을 제공하려는 Intel의 의지를 강조합니다.

아래 벤치마크는 FP32, FP16 및 INT8 정밀도로 Intel® Core™ Ultra™ X7 358H, Intel® Core™ Ultra™ 7 258V 및 Intel® Core™ Ultra™ 7 155H에서 실행되었습니다.

Link to this sectionIntel® Core™ Ultra™ X7 358H#

벤치마크

통합 Intel® Arc™ GPUIntel® Panther Lake CPU통합 Intel® AI Boost NPU

상세 벤치마크 결과

모델	형식	정밀도	상태	크기 (MB)	metrics/mAP50-95(B)	추론 시간 (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	25.18
YOLO26n	OpenVINO	FP32	✅	9.6	0.4763	2.67
YOLO26n	OpenVINO	FP16	✅	5.1	0.4763	2.64
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	2.73
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	50.09
YOLO26s	OpenVINO	FP32	✅	36.7	0.5615	3.57
YOLO26s	OpenVINO	FP16	✅	18.6	0.5615	3.55
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	3.09
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	135.1
YOLO26m	OpenVINO	FP32	✅	78.3	0.6168	5.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	5.85
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	4.14
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	169.75
YOLO26l	OpenVINO	FP32	✅	95.3	0.6206	8.14
YOLO26l	OpenVINO	FP16	✅	48.1	0.6206	8.18
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	4.67
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	407.56
YOLO26x	OpenVINO	FP32	✅	213.2	0.6569	13.11
YOLO26x	OpenVINO	FP16	✅	107.1	0.6569	13.15
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	9.24

Link to this sectionIntel® Core™ Ultra™ 7 258V#

벤치마크

통합 Intel® Arc™ GPUIntel® Lunar Lake CPU통합 Intel® AI Boost NPU

상세 벤치마크 결과

모델	형식	정밀도	상태	크기 (MB)	metrics/mAP50-95(B)	추론 시간 (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	31.43
YOLO26n	OpenVINO	FP32	✅	9.6	0.4762	3.57
YOLO26n	OpenVINO	FP16	✅	5.1	0.4762	3.53
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	3.65
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	60.4
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	5.02
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	5.01
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	4.31
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	173.31
YOLO26m	OpenVINO	FP32	✅	78.3	0.6191	9.48
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	9.6
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	6.03
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6173	224.52
YOLO26l	OpenVINO	FP32	✅	95.3	0.3725	11.88
YOLO26l	OpenVINO	FP16	✅	48.1	0.6201	12.0
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	8.47
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	595.72
YOLO26x	OpenVINO	FP32	✅	213.2	0.6567	20.26
YOLO26x	OpenVINO	FP16	✅	107.1	0.6454	20.25
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	14.77

Link to this sectionIntel® Core™ Ultra™ 7 155H#

벤치마크

통합 Intel® Arc™ GPUIntel® Meteor Lake CPU

상세 벤치마크 결과

모델	형식	정밀도	상태	크기 (MB)	metrics/mAP50-95(B)	추론 시간 (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	38.77
YOLO26n	OpenVINO	FP32	✅	9.6	0.4774	9.87
YOLO26n	OpenVINO	FP16	✅	5.1	0.4774	9.84
YOLO26n	OpenVINO	INT8	✅	3.2	0.4705	5.86
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	69.54
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	17.29
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	17.06
YOLO26s	OpenVINO	INT8	✅	10.0	0.5452	10.33
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	192.22
YOLO26m	OpenVINO	FP32	✅	78.3	0.6187	34.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6187	34.75
YOLO26m	OpenVINO	INT8	✅	20.5	0.6073	15.99
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	245.62
YOLO26l	OpenVINO	FP32	✅	95.3	0.6202	43.7
YOLO26l	OpenVINO	FP16	✅	48.1	0.6202	44.65
YOLO26l	OpenVINO	INT8	✅	25.2	0.6048	20.31
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	513.06
YOLO26x	OpenVINO	FP32	✅	213.2	0.6544	80.19
YOLO26x	OpenVINO	FP16	✅	107.1	0.6544	79.83
YOLO26x	OpenVINO	INT8	✅	54.8	0.6393	35.16

Link to this section결과 재현하기#

모든 내보내기 형식에 대해 위의 Ultralytics 벤치마크 결과를 재현하려면 이 코드를 실행하십시오:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

Link to this section결론#

벤치마크 결과는 YOLO26 모델을 OpenVINO 형식으로 내보낼 때의 이점을 명확하게 보여줍니다. 다양한 모델과 하드웨어 플랫폼 전반에서 OpenVINO 형식은 추론 속도 면에서 다른 형식보다 지속적으로 뛰어난 성능을 보이며, 동시에 동등한 수준의 정확도를 유지합니다.

이 벤치마크는 딥러닝 모델 배포를 위한 도구로서 OpenVINO의 효과를 강조합니다. 모델을 OpenVINO 형식으로 변환함으로써 개발자는 상당한 성능 향상을 달성할 수 있으며, 이를 통해 실제 애플리케이션에 모델을 보다 쉽게 배포할 수 있습니다.

OpenVINO 사용에 대한 더 자세한 정보와 지침은 공식 OpenVINO 문서를 참조하십시오.

Link to this sectionFAQ#

Link to this sectionYOLO26 모델을 OpenVINO 형식으로 내보내려면 어떻게 해야 합니까?#

YOLO26 모델을 OpenVINO 형식으로 내보내면 CPU 속도가 크게 향상되며 Intel 하드웨어에서 GPU 및 NPU 가속을 사용할 수 있습니다. 내보내려면 아래와 같이 Python 또는 CLI를 사용할 수 있습니다:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

더 자세한 정보는 내보내기 형식 문서를 참조하십시오.

Link to this sectionYOLO26 모델과 함께 OpenVINO를 사용하면 어떤 이점이 있습니까?#

Intel의 OpenVINO 툴킷을 YOLO26 모델과 함께 사용하면 다음과 같은 여러 이점이 있습니다:

1. 성능: CPU 추론에서 최대 3배의 속도 향상을 달성하고 Intel GPU 및 NPU를 활용하여 가속화할 수 있습니다.
2. 모델 최적화: PyTorch, TensorFlow, ONNX와 같은 널리 사용되는 프레임워크의 모델을 변환, 최적화 및 실행할 수 있습니다.
3. 사용 편의성: YOLO26을 포함하여 사용자가 쉽게 시작할 수 있도록 돕는 다양한 튜토리얼 노트북 컬렉션이 제공됩니다.
4. 이종 실행: 통합 API를 사용하여 다양한 Intel 하드웨어에 모델을 배포할 수 있습니다.

자세한 성능 비교는 벤치마크 섹션을 방문하십시오.

Link to this sectionOpenVINO로 내보낸 YOLO26 모델을 사용하여 추론을 실행하려면 어떻게 해야 합니까?#

YOLO26n 모델을 OpenVINO 형식으로 내보낸 후, Python 또는 CLI를 사용하여 추론을 실행할 수 있습니다:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

자세한 내용은 예측 모드 문서를 참조하십시오.

Link to this sectionOpenVINO 내보내기를 위해 다른 모델 대신 Ultralytics YOLO26을 선택해야 하는 이유는 무엇입니까?#

Ultralytics YOLO26은 높은 정확도와 속도를 갖춘 실시간 객체 탐지에 최적화되어 있습니다. 특히 OpenVINO와 결합할 경우, YOLO26은 다음을 제공합니다:

• Intel CPU에서 최대 3배 속도 향상
• Intel GPU 및 NPU에서의 원활한 배포
• 다양한 내보내기 형식 전반에서 일관되고 동등한 정확도

심층적인 성능 분석을 원하시면 다양한 하드웨어에 대한 상세 YOLO26 벤치마크를 확인하십시오.

Link to this sectionPyTorch, ONNX, OpenVINO와 같은 다양한 형식으로 YOLO26 모델을 벤치마크할 수 있습니까?#

네, PyTorch, TorchScript, ONNX, OpenVINO를 포함한 다양한 형식으로 YOLO26 모델을 벤치마크할 수 있습니다. 선택한 데이터셋에서 벤치마크를 실행하려면 다음 코드 스니펫을 사용하십시오:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

자세한 벤치마크 결과는 벤치마크 섹션 및 내보내기 형식 문서를 참조하십시오.