Intel OpenVINO 내보내기

이 가이드에서는 YOLOv8 모델로 내보내는 방법을 다룹니다. OpenVINO 형식으로 내보내는 방법을 다루며, 최대 3배 CPU 속도를 높이고 YOLO 추론을 가속화하는 방법과 Intel GPU 및 NPU 하드웨어에 대해 설명합니다.

OpenVINO오픈 시각적 추론 및 신경망 최적화 툴킷의 줄임말로, AI 추론 모델을 최적화하고 배포하기 위한 종합적인 툴킷입니다. 이름에 Visual이 포함되어 있지만 OpenVINO 은 언어, 오디오, 시계열 등 다양한 추가 작업도 지원합니다.

Watch: 추론을 위해 Ultralytics YOLOv8 모델을 내보내고 최적화하는 방법 OpenVINO.

사용 예

YOLOv8n 모델을 OpenVINO 형식으로 내보내고 내보낸 모델로 추론을 실행합니다.

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolov8n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

인수

다음과 같은 이점이 있습니다. OpenVINO

1. 성능: OpenVINO 는 Intel CPU, 통합형 및 개별형 GPU, FPGA의 성능을 활용하여 고성능 추론을 제공합니다.
2. 이기종 실행 지원: OpenVINO 은 한 번 작성하여 지원되는 모든 Intel 하드웨어(CPU, GPU, FPGA, VPU 등)에 배포할 수 있는 API를 제공합니다.
3. 모델 옵티마이저: OpenVINO 는 PyTorch 과 같은 인기 있는 딥 러닝 프레임워크에서 모델을 가져오고, 변환하고, 최적화하는 모델 옵티마이저를 제공합니다, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle, 및 Caffe.
4. 사용 편의성: 툴킷에는 툴킷의 다양한 측면을 알려주는 80개 이상의 튜토리얼 노트북 ( YOLOv8 최적화 포함)이 포함되어 있습니다.

OpenVINO 내보내기 구조

모델을 OpenVINO 형식으로 내보내면 다음이 포함된 디렉터리가 생성됩니다:

1. XML 파일입니다: 네트워크 토폴로지를 설명합니다.
2. BIN 파일: weights and biases 바이너리 데이터를 포함합니다.
3. 매핑 파일: 원본 모델 출력 텐서를 OpenVINO tensor 이름으로 매핑합니다.

이러한 파일을 사용하여 OpenVINO 추론 엔진으로 추론을 실행할 수 있습니다.

배포에서 OpenVINO 내보내기 사용

OpenVINO 파일이 있으면 OpenVINO 런타임을 사용하여 모델을 실행할 수 있습니다. 런타임은 지원되는 모든 Intel 하드웨어에서 추론할 수 있는 통합 API를 제공합니다. 또한 Intel 하드웨어에서의 로드 밸런싱 및 비동기 실행과 같은 고급 기능도 제공합니다. 추론 실행에 대한 자세한 내용은 OpenVINO 런타임을 사용한 추론 가이드를 참조하세요.

런타임에서 모델을 올바르게 설정하고 사용하려면 XML 및 BIN 파일은 물론 입력 크기, 정규화를 위한 배율 등 애플리케이션별 설정이 필요하다는 점을 기억하세요.

배포 애플리케이션에서는 일반적으로 다음 단계를 수행합니다:

1. 다음을 생성하여 OpenVINO 초기화 core = Core().
2. 를 사용하여 모델을 로드합니다. core.read_model() 메서드를 사용합니다.
3. 다음을 사용하여 모델을 컴파일합니다. core.compile_model() 함수입니다.
4. 입력(이미지, 텍스트, 오디오 등)을 준비합니다.
5. 다음을 사용하여 추론을 실행합니다. compiled_model(input_data).

자세한 단계와 코드 스니펫은 OpenVINO 문서 또는 API 튜토리얼을 참조하세요.

OpenVINO YOLOv8 벤치마크

YOLOv8 아래 벤치마크는 Ultralytics 팀이 속도와 정확도를 측정하는 4가지 모델 형식에서 실행했습니다: PyTorch, TorchScript, ONNX , OpenVINO. 벤치마크는 Intel Flex 및 Arc GPU와 Intel 제온 CPU에서 FP32로 실행되었습니다. 정밀도 (와 함께 half=False 인수).

Intel Flex GPU

인텔® 데이터 센터 GPU 플렉스 시리즈는 지능형 비주얼 클라우드를 위해 설계된 다목적의 강력한 솔루션입니다. GPU 미디어 스트리밍, 클라우드 게임, AI 시각적 추론, 가상 데스크톱 인프라 워크로드 등 다양한 워크로드를 지원합니다. 개방형 아키텍처와 AV1 인코드에 대한 기본 지원으로 고성능, 크로스 아키텍처 애플리케이션을 위한 표준 기반 소프트웨어 스택을 제공하는 것이 특징입니다. Flex 시리즈( GPU )는 집적도와 품질에 최적화되어 높은 안정성, 가용성 및 확장성을 제공합니다.

아래 벤치마크는 인텔® 데이터 센터 GPU Flex 170에서 FP32 정밀도로 실행되었습니다.

이 표는 네 가지 형식(PyTorch, TorchScript, ONNX, OpenVINO)의 다섯 가지 모델(YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x)에 대한 벤치마크 결과로, 각 조합의 상태, 크기, mAP50-95(B) 메트릭 및 추론 시간을 제공합니다.

Intel Arc GPU

인텔® 아크™는 Intel 의 전용 GPU 시장 진출을 의미합니다. GPU AMD 및 NVIDIA 와 같은 주요 제조업체와 경쟁하기 위해 설계된 Arc™ 시리즈는 노트북 및 데스크탑 시장을 모두 충족합니다. 이 시리즈에는 노트북과 같은 소형 디바이스를 위한 모바일 버전과 데스크톱 컴퓨터를 위한 더 크고 강력한 버전이 있습니다.

Arc™ 시리즈는 세 가지 카테고리로 나뉩니다: Arc™ 3, Arc™ 5, Arc™ 7이며, 각 숫자는 성능 수준을 나타냅니다. 각 카테고리에는 여러 모델이 포함되며 GPU 모델 이름의 'M'은 모바일 통합형 모델을 의미합니다.

초기 리뷰에서 Arc™ 시리즈, 특히 통합형 A770M GPU 은 인상적인 그래픽 성능으로 호평을 받고 있습니다. Arc™ 시리즈의 출시 여부는 지역에 따라 다르며, 곧 추가 모델이 출시될 예정입니다. 인텔® 아크™ GPU는 게임부터 콘텐츠 제작에 이르기까지 다양한 컴퓨팅 요구사항을 충족하는 고성능 솔루션을 제공합니다.

아래 벤치마크는 인텔® Arc 770 GPU 에서 FP32 정밀도로 실행되었습니다.

Intel 제온 CPU

인텔® 제온® CPU 은 복잡하고 까다로운 워크로드를 위해 설계된 고성능 서버급 프로세서입니다. 하이엔드 클라우드 컴퓨팅 및 가상화부터 인공 지능 및 머신 러닝 애플리케이션에 이르기까지, 제온® CPU는 오늘날의 데이터 센터에 필요한 성능, 안정성 및 유연성을 제공합니다.

특히, 제온® CPU는 높은 컴퓨팅 밀도와 확장성을 제공하므로 중소기업과 대기업 모두에 이상적입니다. 인텔® 제온® CPU를 선택함으로써 조직은 가장 까다로운 컴퓨팅 작업을 자신 있게 처리하고 혁신을 촉진하는 동시에 비용 효율성과 운영 효율성을 유지할 수 있습니다.

아래 벤치마크는 4세대 인텔® 제온® 스케일러블 CPU 에서 FP32 정밀도로 실행되었습니다.

Intel 핵심 CPU

인텔® 코어® 시리즈는 Intel 의 고성능 프로세서 제품군입니다. 라인업에는 코어 i3(보급형), 코어 i5(중급형), 코어 i7(고급형) 및 코어 i9(극한의 성능)이 포함됩니다. 각 시리즈는 일상적인 작업부터 까다로운 전문 워크로드까지 다양한 컴퓨팅 요구 사항과 예산을 충족합니다. 새로운 세대가 나올 때마다 성능, 에너지 효율성 및 기능이 개선됩니다.

아래 벤치마크는 13세대 인텔® 코어® i7-13700H CPU 에서 FP32 정밀도로 실행되었습니다.

Intel 울트라 7 155H 메테오 레이크 CPU

인텔® 울트라™ 7 155H는 게이머부터 콘텐츠 제작자까지 가장 까다로운 사용자를 위해 설계된 고성능 컴퓨팅의 새로운 벤치마크입니다. 울트라™ 7 155H는 단순한 CPU; 강력한 GPU 및 고급 NPU(신경 처리 장치)를 단일 칩에 통합하여 다양한 컴퓨팅 요구 사항을 충족하는 포괄적인 솔루션을 제공합니다.

이 하이브리드 아키텍처를 통해 Ultra™ 7 155H는 기존의 CPU 작업과 GPU 가속화된 워크로드 모두에서 탁월한 성능을 발휘하며, NPU는 AI 기반 프로세스를 향상시켜 더 빠르고 효율적인 머신 러닝 작업을 가능하게 합니다. 따라서 Ultra™ 7 155H는 고성능 그래픽, 복잡한 계산 및 AI 추론이 필요한 애플리케이션에 다재다능한 선택이 될 수 있습니다.

Ultra™ 7 시리즈에는 각각 다른 수준의 성능을 제공하는 여러 모델이 포함되어 있으며, 'H' 명칭은 노트북 및 소형 기기에 적합한 고출력 버전을 나타냅니다. 초기 벤치마크에서는 특히 멀티태스킹 환경에서 CPU, GPU, NPU의 결합된 파워가 놀라운 효율성과 속도를 제공하는 Ultra™ 7 155H의 탁월한 성능을 강조했습니다.

최첨단 기술에 대한 Intel 의 노력의 일환인 Ultra™ 7 155H는 미래 컴퓨팅의 요구 사항을 충족하도록 설계되었으며, 더 많은 모델이 출시될 예정입니다. Ultra™ 7 155H의 가용성은 지역에 따라 다르며, 단일 칩에 3개의 강력한 프로세싱 유닛을 통합하여 컴퓨팅 성능의 새로운 표준을 제시했다는 평가를 받고 있습니다.

아래 벤치마크는 인텔® 울트라™ 7 155H에서 FP32 및 INT8 정밀도로 실행됩니다.

벤치마크

통합 인텔® 아크™ GPU인텔® 메테오 레이크 CPU통합 인텔® AI 부스트 NPU

모델	형식	정밀도	상태	크기(MB)	metrics/mAP50-95(B)	추론 시간(ms/im)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	35.95
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6117	8.32
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5791	9.88
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.72
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7136	13.37
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7086	9.96
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	202.05
YOLOv8m	OpenVINO	FP32	✅	99.1	0.7331	28.07
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7259	21.11
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	393.37
YOLOv8l	OpenVINO	FP32	✅	167.0	0.0	52.73
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7861	28.11
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	610.71
YOLOv8x	OpenVINO	FP32	✅	260.6	0.748	73.51
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8085	51.71

모델	형식	정밀도	상태	크기(MB)	metrics/mAP50-95(B)	추론 시간(ms/im)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	34.69
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6092	39.06
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5968	18.37
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.9
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7136	82.6
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7083	29.51
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	202.43
YOLOv8m	OpenVINO	FP32	✅	99.1	0.728	181.27
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7285	51.25
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	385.87
YOLOv8l	OpenVINO	FP32	✅	167.0	0.7551	347.75
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7675	91.66
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	603.63
YOLOv8x	OpenVINO	FP32	✅	260.6	0.7479	516.39
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8119	142.42

모델	형식	정밀도	상태	크기(MB)	metrics/mAP50-95(B)	추론 시간(ms/im)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	36.98
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6103	16.68
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5941	14.6
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.76
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7144	32.89
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7062	26.13
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	201.44
YOLOv8m	OpenVINO	FP32	✅	99.1	0.7284	54.4
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7268	30.76
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	385.46
YOLOv8l	OpenVINO	FP32	✅	167.0	0.7539	80.1
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7508	52.25
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	609.4
YOLOv8x	OpenVINO	FP32	✅	260.6	0.7637	104.79
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8077	64.96

결과 재현

모든 내보내기 형식에서 위의 Ultralytics 벤치마크를 재현하려면 다음 코드를 실행하세요:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
results = model.benchmarks(data="coco8.yaml")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

결론

벤치마킹 결과는 YOLOv8 모델을 OpenVINO 형식으로 내보낼 때의 이점을 명확하게 보여줍니다. 다양한 모델과 하드웨어 플랫폼에서 OpenVINO 형식은 비슷한 정확도를 유지하면서 추론 속도 측면에서 다른 형식보다 일관되게 우수한 성능을 보였습니다.

인텔® 데이터 센터 GPU 플렉스 시리즈의 경우, OpenVINO 형식은 원래 PyTorch 형식보다 거의 10배 빠른 추론 속도를 제공할 수 있었습니다. 제온 CPU 에서는 OpenVINO 형식이 PyTorch 형식보다 두 배 더 빨랐습니다. 모델의 정확도는 서로 다른 형식에서 거의 동일하게 유지되었습니다.

이 벤치마크는 딥러닝 모델을 배포하는 도구로서 OpenVINO 의 효율성을 강조합니다. 개발자는 모델을 OpenVINO 형식으로 변환함으로써 상당한 성능 향상을 달성할 수 있으며, 실제 애플리케이션에 이러한 모델을 더 쉽게 배포할 수 있습니다.

OpenVINO 사용에 대한 자세한 정보와 지침은 공식 OpenVINO 문서를 참조하세요.

자주 묻는 질문

YOLOv8 모델을 OpenVINO 형식으로 내보내려면 어떻게 하나요?

YOLOv8 모델을 OpenVINO 형식으로 내보내면 CPU 속도가 크게 향상되고 GPU 및 NPU 가속을 Intel 하드웨어에서 활성화할 수 있습니다. 내보내려면 아래 그림과 같이 Python 또는 CLI 을 사용하면 됩니다:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolov8n_openvino_model/'

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

자세한 내용은 내보내기 형식 문서를 참조하세요.

YOLOv8 모델과 함께 OpenVINO 을 사용하면 어떤 이점이 있나요?

Intel 의 OpenVINO 툴킷을 YOLOv8 모델과 함께 사용하면 몇 가지 이점이 있습니다:

1. 성능: CPU 추론에서 최대 3배의 속도 향상을 달성하고 Intel GPU 및 NPU를 가속에 활용하세요.
2. 모델 옵티마이저: PyTorch , TensorFlow, ONNX 과 같은 인기 있는 프레임워크에서 모델을 변환, 최적화 및 실행합니다.
3. 사용 편의성: 사용자가 시작하는 데 도움이 되는 80개 이상의 튜토리얼 노트북이 제공되며, 여기에는 YOLOv8 용 노트북도 포함되어 있습니다.
4. 이기종 실행: 통합 API를 사용하여 다양한 Intel 하드웨어에 모델을 배포하세요.

자세한 성능 비교는 벤치마크 섹션에서 확인하세요.

OpenVINO 으로 내보낸 YOLOv8 모델을 사용하여 추론을 실행하려면 어떻게 해야 하나요?

YOLOv8 모델을 OpenVINO 형식으로 내보낸 후 Python 또는 CLI 을 사용하여 추론을 실행할 수 있습니다:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

자세한 내용은 예측 모드 설명서를 참조하세요.

OpenVINO 내보내기에 다른 모델 대신 Ultralytics YOLOv8 을 선택해야 하는 이유는 무엇인가요?

Ultralytics YOLOv8 는 높은 정확도와 속도로 실시간 물체 감지에 최적화되어 있습니다. 특히 OpenVINO 와 결합하면 YOLOv8 을 제공합니다:

• Intel CPU에서 최대 3배 속도 향상
• Intel GPU 및 NPU에서 원활한 배포
• 다양한 내보내기 형식에서 일관되고 비교 가능한 정확도 제공

자세한 성능 분석은 다양한 하드웨어에 대한 자세한 벤치마크(YOLOv8 )를 확인하세요.

PyTorch, ONNX, OpenVINO 과 같은 다른 형식의 YOLOv8 모델을 벤치마킹할 수 있나요?

예, PyTorch, TorchScript, ONNX, OpenVINO 등 다양한 형식의 YOLOv8 모델을 벤치마킹할 수 있습니다. 다음 코드 스니펫을 사용하여 선택한 데이터 세트에서 벤치마크를 실행하세요:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmarks(data="coco8.yaml")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

자세한 벤치마크 결과는 벤치마크 섹션과 내보내기 형식 문서를 참조하세요.

📅1 년 전 생성됨 ✏️ 2개월 전 업데이트됨

댓글