Intel OpenVINO Export

In deze handleiding behandelen we het exporteren van YOLOv8 modellen naar het OpenVINO formaat, wat tot 3x CPU-snelheid kan opleveren, evenals het versnellen van YOLO inferentie op Intel GPU en NPU hardware.

OpenVINO, kort voor Open Visual Inference & Neural Network Optimization toolkit, is een uitgebreide toolkit voor het optimaliseren en inzetten van AI-inferentiemodellen. Hoewel de naam Visual bevat, ondersteunt OpenVINO ook verschillende andere taken, waaronder taal, audio, tijdreeksen, enz.

Kijken: Een Ultralytics YOLOv8 model exporteren en optimaliseren voor inferentie met OpenVINO.

Voorbeelden

Exporteer een YOLOv8n model naar OpenVINO formaat en voer inferentie uit met het geëxporteerde model.

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Export the model
model.export(format='openvino')  # creates 'yolov8n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO('yolov8n_openvino_model/')

# Run inference
results = ov_model('https://ultralytics.com/images/bus.jpg')

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Argumenten

Voordelen van OpenVINO

1. Prestaties: OpenVINO levert inferentie met hoge prestaties door gebruik te maken van de kracht van Intel CPU's, geïntegreerde en discrete GPU's en FPGA's.
2. Ondersteuning voor Heterogene Uitvoering: OpenVINO biedt een API om eenmalig te schrijven en te implementeren op alle ondersteunde Intel-hardware (CPU, GPU, FPGA, VPU, etc.).
3. Model Optimizer: OpenVINO biedt een Model Optimizer die modellen importeert, converteert en optimaliseert van populaire deep learning frameworks zoals PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle, en Caffe.
4. Gebruiksgemak: De toolkit wordt geleverd met meer dan 80 tutorials (inclusief YOLOv8 optimalisatie) waarin verschillende aspecten van de toolkit worden uitgelegd.

OpenVINO Exportstructuur

Wanneer je een model exporteert naar het formaat OpenVINO , resulteert dit in een map met daarin het volgende:

1. XML-bestand: Beschrijft de netwerktopologie.
2. BIN bestand: Bevat de weights and biases binaire gegevens.
3. Mapping bestand: Bevat de mapping van originele modeluitgangstensoren naar OpenVINO tensor namen.

Je kunt deze bestanden gebruiken om inferentie uit te voeren met de OpenVINO Inference Engine.

OpenVINO exporteren in implementatie gebruiken

Zodra je de OpenVINO bestanden hebt, kun je de OpenVINO Runtime gebruiken om het model uit te voeren. De Runtime biedt een uniforme API voor inferentie op alle ondersteunde Intel hardware. Het biedt ook geavanceerde mogelijkheden zoals load balancing op Intel hardware en asynchrone uitvoering. Raadpleeg voor meer informatie over het uitvoeren van de inferentie de Handleiding voor inferentie met OpenVINO Runtime.

Onthoud dat je de XML- en BIN-bestanden nodig hebt, evenals toepassingsspecifieke instellingen zoals invoergrootte, schaalfactor voor normalisatie, enzovoort, om het model correct in te stellen en te gebruiken met de Runtime.

In je implementatietoepassing zou je normaal gesproken de volgende stappen uitvoeren:

1. Initialiseer OpenVINO door core = Core().
2. Laad het model met de core.read_model() methode.
3. Compileer het model met de core.compile_model() functie.
4. Bereid de invoer voor (afbeelding, tekst, audio, enz.).
5. Inferentie uitvoeren met compiled_model(input_data).

Raadpleeg voor meer gedetailleerde stappen en codefragmenten de OpenVINO documentatie of API tutorial.

OpenVINO YOLOv8 Benchmarks

YOLOv8 De benchmarks hieronder zijn uitgevoerd door het Ultralytics team op 4 verschillende modelformaten die snelheid en nauwkeurigheid meten: PyTorch, TorchScript, ONNX en OpenVINO. De benchmarks werden uitgevoerd op Intel Flex en Arc GPU's en op Intel Xeon CPU's met FP32 precisie (met de half=False argument).

Intel Flex GPU

De Intel® Data Center GPU Flex Series is een veelzijdige en robuuste oplossing die is ontworpen voor de intelligente visuele cloud. Deze GPU ondersteunt een breed scala aan werklasten, waaronder media streaming, cloud gaming, AI visual inference en virtual desktop Infrastructure werklasten. Hij onderscheidt zich door zijn open architectuur en ingebouwde ondersteuning voor de AV1 codering, waardoor een op standaarden gebaseerde softwarestack wordt geboden voor krachtige, cross-architecture toepassingen. De Flex Series GPU is geoptimaliseerd voor dichtheid en kwaliteit en biedt een hoge betrouwbaarheid, beschikbaarheid en schaalbaarheid.

Onderstaande benchmarks zijn uitgevoerd op Intel® Data Center GPU Flex 170 met FP32 precisie.

Deze tabel toont de benchmarkresultaten voor vijf verschillende modellen (YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) over vier verschillende indelingen (PyTorch, TorchScript, ONNX, OpenVINO), met de status, grootte, mAP50-95(B) metric en inferentietijd voor elke combinatie.

Intel Arc GPU

Intel® Arc™ vertegenwoordigt Intels intrede in de speciale GPU markt. De Arc™ serie, ontworpen om te concurreren met toonaangevende GPU fabrikanten als AMD en Nvidia, richt zich op zowel de laptop- als de desktopmarkt. De serie omvat mobiele versies voor compacte apparaten zoals laptops en grotere, krachtigere versies voor desktopcomputers.

De Arc™ serie is onderverdeeld in drie categorieën: Arc™ 3, Arc™ 5 en Arc™ 7, waarbij elk nummer het prestatieniveau aangeeft. Elke categorie omvat verschillende modellen en de 'M' in de modelnaam van de GPU staat voor een mobiele, geïntegreerde variant.

In de eerste reviews wordt de Arc™ serie, met name de geïntegreerde A770M GPU, geprezen om zijn indrukwekkende grafische prestaties. De beschikbaarheid van de Arc™ serie varieert per regio en er worden binnenkort extra modellen verwacht. Intel® Arc™ GPU's bieden krachtige oplossingen voor een scala aan computerbehoeften, van gaming tot het maken van content.

Onderstaande benchmarks zijn uitgevoerd op Intel® Arc 770 GPU met FP32 precisie.

Intel Xeon CPU

De Intel® Xeon® CPU is een krachtige processor van serverkwaliteit die is ontworpen voor complexe en veeleisende werklasten. Van high-end cloud computing en virtualisatie tot kunstmatige intelligentie en machine learning toepassingen, Xeon® CPU's bieden de kracht, betrouwbaarheid en flexibiliteit die nodig is voor de datacenters van vandaag.

Xeon® CPU's leveren met name een hoge computerdichtheid en schaalbaarheid, waardoor ze ideaal zijn voor zowel kleine bedrijven als grote ondernemingen. Door te kiezen voor Intel® Xeon® CPU's kunnen organisaties met vertrouwen hun meest veeleisende computertaken aan en innovatie stimuleren met behoud van kosteneffectiviteit en operationele efficiëntie.

Onderstaande benchmarks zijn uitgevoerd op 4e generatie Intel® Xeon® Scalable CPU met FP32 precisie.

Intel Core CPU

De Intel® Core® serie is een reeks krachtige processors van Intel. De reeks omvat Core i3 (instapmodel), Core i5 (middenklasse), Core i7 (topklasse) en Core i9 (extreme prestaties). Elke serie is geschikt voor verschillende computerbehoeften en budgetten, van alledaagse taken tot veeleisende professionele werklasten. Bij elke nieuwe generatie worden verbeteringen aangebracht in prestaties, energiezuinigheid en functies.

Onderstaande benchmarks zijn uitgevoerd op een 13e generatie Intel® Core® i7-13700H CPU met FP32 precisie.

Onze resultaten reproduceren

Voer deze code uit om de bovenstaande Ultralytics benchmarks te reproduceren op alle exportformaten:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
results= model.benchmarks(data='coco8.yaml')

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

Conclusie

De benchmarkresultaten laten duidelijk de voordelen zien van het exporteren van het YOLOv8 model naar het OpenVINO formaat. Bij verschillende modellen en hardwareplatforms presteert het OpenVINO formaat consequent beter dan andere formaten wat betreft inferentiesnelheid, terwijl de nauwkeurigheid vergelijkbaar blijft.

Voor de Intel® Data Center GPU Flex Series was de OpenVINO indeling in staat om inferentiesnelheden te leveren die bijna 10 keer sneller waren dan de oorspronkelijke PyTorch indeling. Op de Xeon CPU was de indeling OpenVINO twee keer zo snel als de indeling PyTorch . De nauwkeurigheid van de modellen bleef vrijwel identiek voor de verschillende indelingen.

De benchmarks onderstrepen de effectiviteit van OpenVINO als hulpmiddel voor het implementeren van deep learning modellen. Door modellen te converteren naar het OpenVINO formaat kunnen ontwikkelaars aanzienlijke prestatieverbeteringen bereiken, waardoor het eenvoudiger wordt om deze modellen in te zetten in echte toepassingen.

Voor meer gedetailleerde informatie en instructies over het gebruik van OpenVINO, raadpleeg je de officiële OpenVINO documentatie.

Reacties