인텔 OpenVINO 내보내기

이 가이드에서는 YOLOv8 모델을 형식으로 내보내는 방법과 OpenVINO 형식으로 내보내는 방법과 인텔 GPU 및 NPU 하드웨어에서 YOLO 추론 속도를 최대 3배까지 높일 수 있는 방법에 대해 설명합니다.

OpenVINO오픈 시각적 추론 및 신경망 최적화 툴킷의 줄임말로, AI 추론 모델을 최적화하고 배포하기 위한 종합적인 툴킷입니다. 이름에 Visual이 포함되어 있지만 OpenVINO 은 언어, 오디오, 시계열 등 다양한 추가 작업도 지원합니다.

Watch: 추론을 위해 Ultralytics YOLOv8 모델을 내보내고 최적화하는 방법 OpenVINO.

사용 예

YOLOv8n 모델을 OpenVINO 형식으로 내보내고 내보낸 모델로 추론을 실행합니다.

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Export the model
model.export(format='openvino')  # creates 'yolov8n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO('yolov8n_openvino_model/')

# Run inference
results = ov_model('https://ultralytics.com/images/bus.jpg')

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

인수

다음과 같은 이점이 있습니다. OpenVINO

1. 성능: OpenVINO 은 인텔 CPU, 통합 및 개별 GPU, FPGA의 성능을 활용하여 고성능 추론을 제공합니다.
2. 이기종 실행 지원: OpenVINO 에서는 한 번 작성하면 지원되는 모든 인텔 하드웨어(CPU, GPU, FPGA, VPU 등)에 배포할 수 있는 API를 제공합니다.
3. 모델 옵티마이저: OpenVINO 는 PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle, Caffe 등 널리 사용되는 딥 러닝 프레임워크에서 모델을 가져와서 변환하고 최적화하는 모델 옵티마이저를 제공합니다.
4. 사용 편의성: 툴킷에는 툴킷의 다양한 측면을 알려주는 80개 이상의 튜토리얼 노트북 ( YOLOv8 최적화 포함)이 포함되어 있습니다.

OpenVINO 내보내기 구조

모델을 OpenVINO 형식으로 내보내면 다음이 포함된 디렉터리가 생성됩니다:

1. XML 파일입니다: 네트워크 토폴로지를 설명합니다.
2. BIN 파일: weights and biases 바이너리 데이터를 포함합니다.
3. 매핑 파일: 원본 모델 출력 텐서를 OpenVINO tensor 이름으로 매핑합니다.

이러한 파일을 사용하여 OpenVINO 추론 엔진으로 추론을 실행할 수 있습니다.

배포에서 OpenVINO 내보내기 사용

OpenVINO 파일이 있으면 OpenVINO 런타임을 사용하여 모델을 실행할 수 있습니다. 런타임은 지원되는 모든 인텔 하드웨어에서 추론할 수 있는 통합 API를 제공합니다. 또한 인텔 하드웨어 전반의 로드 밸런싱 및 비동기 실행과 같은 고급 기능도 제공합니다. 추론 실행에 대한 자세한 내용은 OpenVINO 런타임을 사용한 추론 가이드를 참조하세요.

런타임에서 모델을 올바르게 설정하고 사용하려면 XML 및 BIN 파일과 입력 크기, 정규화를 위한 배율 등 애플리케이션별 설정이 필요하다는 점을 기억하세요.

배포 애플리케이션에서는 일반적으로 다음 단계를 수행합니다:

1. 다음을 생성하여 OpenVINO 초기화 core = Core().
2. 를 사용하여 모델을 로드합니다. core.read_model() 메서드를 사용합니다.
3. 다음을 사용하여 모델을 컴파일합니다. core.compile_model() 함수입니다.
4. 입력(이미지, 텍스트, 오디오 등)을 준비합니다.
5. 다음을 사용하여 추론을 실행합니다. compiled_model(input_data).

자세한 단계와 코드 스니펫은 OpenVINO 문서 또는 API 튜토리얼을 참조하세요.

OpenVINO YOLOv8 벤치마크

YOLOv8 아래 벤치마크는 Ultralytics 팀이 속도와 정확도를 측정하는 4가지 모델 형식에서 실행했습니다: PyTorch, TorchScript, ONNX , OpenVINO. 벤치마크는 인텔 플렉스 및 아크 GPU와 인텔 제온 CPU에서 FP32 정밀도로 실행되었습니다( half=False 인수).

인텔 플렉스 GPU

인텔® 데이터센터 GPU 플렉스 시리즈는 인텔리전트 비주얼 클라우드를 위해 설계된 다재다능하고 강력한 솔루션입니다. 이 GPU는 미디어 스트리밍, 클라우드 게임, AI 시각 추론, 가상 데스크톱 인프라 워크로드 등 다양한 워크로드를 지원합니다. 개방형 아키텍처와 AV1 인코딩에 대한 기본 지원으로 고성능, 크로스 아키텍처 애플리케이션을 위한 표준 기반 소프트웨어 스택을 제공하는 것이 특징입니다. Flex 시리즈 GPU는 집적도와 품질에 최적화되어 높은 안정성, 가용성 및 확장성을 제공합니다.

아래 벤치마크는 인텔® 데이터센터 GPU 플렉스 170에서 FP32 정밀도로 실행됩니다.

이 표는 네 가지 형식(PyTorch, TorchScript, ONNX, OpenVINO)의 다섯 가지 모델(YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x)에 대한 벤치마크 결과를 나타내며, 각 조합의 상태, 크기, mAP50-95(B) 지표 및 추론 시간을 제공합니다.

인텔 아크 GPU

인텔® 아크™는 인텔의 전용 GPU 시장 진출을 상징합니다. AMD 및 Nvidia와 같은 선도적인 GPU 제조업체와 경쟁하기 위해 설계된 Arc™ 시리즈는 노트북 및 데스크톱 시장을 모두 충족합니다. 이 시리즈에는 노트북과 같은 소형 디바이스를 위한 모바일 버전과 데스크톱 컴퓨터를 위한 더 크고 강력한 버전이 있습니다.

Arc™ 시리즈는 세 가지 카테고리로 나뉩니다: Arc™ 3, Arc™ 5, Arc™ 7이며, 각 숫자는 성능 수준을 나타냅니다. 각 카테고리에는 여러 모델이 포함되며, GPU 모델명의 'M'은 모바일 통합형 모델을 의미합니다.

초기 리뷰에서는 Arc™ 시리즈, 특히 통합형 A770M GPU의 인상적인 그래픽 성능에 대한 찬사가 이어지고 있습니다. Arc™ 시리즈의 출시 여부는 지역에 따라 다르며, 곧 추가 모델이 출시될 예정입니다. 인텔® 아크™ GPU는 게임부터 콘텐츠 제작까지 다양한 컴퓨팅 요구사항에 맞는 고성능 솔루션을 제공합니다.

아래 벤치마크는 인텔® 아크 770 GPU에서 FP32 정밀도로 실행됩니다.

인텔 제온 CPU

인텔® 제온® CPU는 복잡하고 까다로운 워크로드를 위해 설계된 고성능 서버급 프로세서입니다. 하이엔드 클라우드 컴퓨팅 및 가상화부터 인공 지능 및 머신 러닝 애플리케이션에 이르기까지, 제온® CPU는 오늘날의 데이터 센터에 필요한 성능, 안정성 및 유연성을 제공합니다.

특히, 제온® CPU는 높은 컴퓨팅 밀도와 확장성을 제공하므로 중소기업과 대기업 모두에 이상적입니다. 인텔® 제온® CPU를 선택함으로써 조직은 가장 까다로운 컴퓨팅 작업을 자신 있게 처리하고 혁신을 촉진하는 동시에 비용 효율성과 운영 효율성을 유지할 수 있습니다.

아래 벤치마크는 4세대 인텔® 제온® 스케일러블 CPU에서 FP32 정밀도로 실행됩니다.

인텔 코어 CPU

인텔® 코어® 시리즈는 인텔의 고성능 프로세서 제품군입니다. 라인업에는 코어 i3(보급형), 코어 i5(중급형), 코어 i7(고급형) 및 코어 i9(극한의 성능)이 포함됩니다. 각 시리즈는 일상적인 작업부터 까다로운 전문 워크로드까지 다양한 컴퓨팅 요구 사항과 예산을 충족합니다. 새로운 세대가 나올 때마다 성능, 에너지 효율성 및 기능이 개선됩니다.

아래 벤치마크는 13세대 인텔® 코어® i7-13700H CPU에서 FP32 정밀도로 실행되었습니다.

결과 재현

모든 내보내기 형식에서 위의 Ultralytics 벤치마크를 재현하려면 다음 코드를 실행하세요:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
results= model.benchmarks(data='coco8.yaml')

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

결론

벤치마킹 결과는 YOLOv8 모델을 OpenVINO 형식으로 내보낼 때의 이점을 명확하게 보여줍니다. 다양한 모델과 하드웨어 플랫폼에서 OpenVINO 형식은 비슷한 정확도를 유지하면서 추론 속도 측면에서 다른 형식보다 일관되게 우수한 성능을 보였습니다.

인텔® 데이터센터 GPU 플렉스 시리즈의 경우, OpenVINO 형식은 원래의 PyTorch 형식보다 거의 10배 빠른 추론 속도를 제공할 수 있었습니다. 제온 CPU에서는 OpenVINO 형식이 PyTorch 형식보다 두 배 더 빨랐습니다. 모델의 정확도는 서로 다른 형식에서 거의 동일하게 유지되었습니다.

이 벤치마크는 딥러닝 모델을 배포하는 도구로서 OpenVINO 의 효율성을 강조합니다. 개발자는 모델을 OpenVINO 형식으로 변환함으로써 상당한 성능 향상을 달성할 수 있으며, 실제 애플리케이션에 이러한 모델을 더 쉽게 배포할 수 있습니다.

OpenVINO 사용에 대한 자세한 정보와 지침은 공식 OpenVINO 문서를 참조하세요.

댓글