Intel OpenVINO Exportieren

In diesem Handbuch behandeln wir den Export von YOLOv8 Modellen in das OpenVINO Format, das eine bis zu 3-fache CPU beschleunigen kann, sowie die Beschleunigung der YOLO Inferenz auf Intel GPU und NPU-Hardware.

OpenVINO, kurz für Open Visual Inference & Neural Network Optimization toolkit, ist ein umfassendes Toolkit für die Optimierung und den Einsatz von KI-Inferenzmodellen. Auch wenn der Name Visual enthält, unterstützt OpenVINO auch verschiedene zusätzliche Aufgaben wie Sprache, Audio, Zeitreihen usw.

Beobachten: Exportieren und Optimieren eines Ultralytics YOLOv8 Modells für die Inferenz mit OpenVINO.

Beispiele für die Verwendung

Exportieren Sie ein Modell von YOLOv8n in das Format OpenVINO und führen Sie Inferenzen mit dem exportierten Modell durch.

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolov8n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Argumente

Vorteile von OpenVINO

1. Leistung: OpenVINO bietet leistungsstarke Inferenzen durch die Nutzung der Leistung von Intel CPUs, integrierten und diskreten GPUs und FPGAs.
2. Unterstützung für heterogene Ausführung: OpenVINO bietet eine API zum einmaligen Schreiben und Bereitstellen auf jeder unterstützten Intel Hardware (CPU, GPU, FPGA, VPU, etc.).
3. Modell-Optimierer: OpenVINO bietet einen Modell-Optimierer, der Modelle aus gängigen Deep-Learning-Frameworks wie PyTorch importiert, konvertiert und optimiert, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle und Caffe.
4. Benutzerfreundlichkeit: Das Toolkit wird mit mehr als 80 Lehrbüchern (einschließlich YOLOv8 optimization) geliefert, in denen verschiedene Aspekte des Toolkits behandelt werden.

OpenVINO Struktur der Ausfuhren

Wenn Sie ein Modell in das Format OpenVINO exportieren, erhalten Sie ein Verzeichnis mit folgendem Inhalt

1. XML-Datei: Beschreibt die Netzwerktopologie.
2. BIN-Datei: Enthält die Binärdaten von weights and biases .
3. Mapping-Datei: Enthält die Zuordnung der ursprünglichen Modellausgangs-Tensoren zu den Namen OpenVINO tensor .

Sie können diese Dateien verwenden, um Inferenzen mit der OpenVINO Inference Engine durchzuführen.

Verwendung von OpenVINO Export in der Bereitstellung

Sobald Sie die OpenVINO Dateien haben, können Sie die OpenVINO Runtime verwenden, um das Modell auszuführen. Die Runtime bietet eine einheitliche API für die Inferenz über alle unterstützten Intel Hardware. Sie bietet auch erweiterte Funktionen wie Lastausgleich über Intel Hardware und asynchrone Ausführung. Weitere Informationen zur Ausführung der Inferenz finden Sie in der Anleitung Inferenz mit OpenVINO Runtime.

Denken Sie daran, dass Sie die XML- und BIN-Dateien sowie alle anwendungsspezifischen Einstellungen wie Eingabegröße, Skalierungsfaktor für die Normalisierung usw. benötigen, um das Modell mit der Runtime korrekt einzurichten und zu verwenden.

In Ihrer Verteilungsanwendung würden Sie normalerweise die folgenden Schritte durchführen:

1. Initialisieren Sie OpenVINO durch Erstellen von core = Core().
2. Laden Sie das Modell mit der Funktion core.read_model() Methode.
3. Kompilieren Sie das Modell mit der core.compile_model() Funktion.
4. Bereiten Sie die Eingabe vor (Bild, Text, Audio, etc.).
5. Inferenz ausführen mit compiled_model(input_data).

Ausführlichere Schritte und Codeschnipsel finden Sie in der DokumentationOpenVINO oder im API-Tutorial.

OpenVINO YOLOv8 Benchmarks

YOLOv8 Die folgenden Benchmarks wurden vom Team Ultralytics auf 4 verschiedenen Modellformaten durchgeführt, um Geschwindigkeit und Genauigkeit zu messen: PyTorch, TorchScript, ONNX und OpenVINO. Die Benchmarks wurden auf Intel Flex und Arc GPUs und auf Intel Xeon CPUs bei FP32 durchgeführt. Präzision (mit dem half=False Argument).

Intel Flex GPU

Die Intel® Data Center GPU Flex Serie ist eine vielseitige und robuste Lösung, die für die intelligente visuelle Cloud entwickelt wurde. Diese GPU unterstützt eine breite Palette von Workloads, darunter Media-Streaming, Cloud-Gaming, visuelle KI-Inferenz und virtuelle Desktop-Infrastruktur-Workloads. Sie zeichnet sich durch ihre offene Architektur und die integrierte Unterstützung für die AV1-Kodierung aus und bietet einen standardbasierten Software-Stack für leistungsstarke, architekturübergreifende Anwendungen. Die Flex-Serie GPU ist für Dichte und Qualität optimiert und bietet hohe Zuverlässigkeit, Verfügbarkeit und Skalierbarkeit.

Die folgenden Benchmarks wurden auf Intel® Data Center GPU Flex 170 mit FP32-Präzision durchgeführt.

Diese Tabelle stellt die Benchmark-Ergebnisse für fünf verschiedene Modelle (YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) in vier verschiedenen Formaten (PyTorch, TorchScript, ONNX, OpenVINO) dar und gibt uns den Status, die Größe, die mAP50-95(B)-Metrik und die Inferenzzeit für jede Kombination an.

Intel Bogen GPU

Intel® Arc™ ist der Einstieg von Intel in den Markt für dedizierte GPU . Die Arc™-Serie wurde entwickelt, um mit führenden GPU Herstellern wie AMD und NVIDIA zu konkurrieren, und ist sowohl für den Laptop- als auch für den Desktop-Markt geeignet. Die Serie umfasst mobile Versionen für kompakte Geräte wie Laptops und größere, leistungsfähigere Versionen für Desktop-Computer.

Die Arc™-Serie ist in drei Kategorien unterteilt: Arc™ 3, Arc™ 5 und Arc™ 7, wobei jede Zahl die Leistungsstufe angibt. Jede Kategorie umfasst mehrere Modelle, und das "M" in der Modellbezeichnung GPU steht für eine mobile, integrierte Variante.

In ersten Rezensionen wurde die Arc™-Serie, insbesondere der integrierte A770M GPU, für seine beeindruckende Grafikleistung gelobt. Die Verfügbarkeit der Arc™-Serie variiert je nach Region, und es wird erwartet, dass bald weitere Modelle auf den Markt kommen. Intel® Arc™-Grafikprozessoren bieten Hochleistungslösungen für eine Reihe von Computeranforderungen, von Spielen bis zur Erstellung von Inhalten.

Die folgenden Benchmarks wurden auf dem Intel® Arc 770 GPU mit FP32-Präzision durchgeführt.

Intel Xeon CPU

Der Intel® Xeon® CPU ist ein leistungsstarker Prozessor in Serverqualität, der für komplexe und anspruchsvolle Arbeitslasten entwickelt wurde. Von High-End-Cloud-Computing und Virtualisierung bis hin zu Anwendungen für künstliche Intelligenz und maschinelles Lernen bieten Xeon® CPUs die Leistung, Zuverlässigkeit und Flexibilität, die für moderne Rechenzentren erforderlich sind.

Die Xeon® CPUs bieten eine hohe Rechendichte und Skalierbarkeit und eignen sich daher sowohl für kleine Unternehmen als auch für Großunternehmen. Durch die Wahl von Intel® Xeon® CPUs können Unternehmen ihre anspruchsvollsten Rechenaufgaben selbstbewusst bewältigen und Innovationen fördern, während sie gleichzeitig kostengünstig und effizient arbeiten.

Die folgenden Benchmarks laufen auf Intel® Xeon® Scalable der 4. Generation CPU mit FP32-Präzision.

Intel Kern CPU

Die Intel® Core® Serie ist eine Reihe von Hochleistungsprozessoren von Intel. Die Reihe umfasst Core i3 (Einstiegsmodell), Core i5 (Mittelklasse), Core i7 (Spitzenmodell) und Core i9 (extreme Leistung). Jede Serie eignet sich für unterschiedliche Anforderungen und Budgets, von alltäglichen Aufgaben bis hin zu anspruchsvollen professionellen Workloads. Mit jeder neuen Generation werden die Leistung, die Energieeffizienz und die Funktionen verbessert.

Die folgenden Benchmarks wurden mit dem Intel® Core® i7-13700H der 13. Generation CPU mit FP32-Präzision durchgeführt.

Intel Ultra 7 155H Meteorsee CPU

Der Intel® Ultra™ 7 155H setzt neue Maßstäbe im High-Performance-Computing und wurde für die anspruchsvollsten Nutzer entwickelt, von Gamern bis hin zu Content-Erstellern. Der Ultra™ 7 155H ist nicht einfach nur ein CPU; er integriert eine leistungsstarke GPU und eine fortschrittliche NPU (Neural Processing Unit) in einem einzigen Chip und bietet damit eine umfassende Lösung für verschiedene Computeranforderungen.

Dank dieser hybriden Architektur kann der Ultra™ 7 155H sowohl bei traditionellen CPU Aufgaben als auch bei GPU-beschleunigten Workloads glänzen, während die NPU die KI-gesteuerten Prozesse verbessert und schnellere und effizientere maschinelle Lernvorgänge ermöglicht. Dies macht die Ultra™ 7 155H zu einer vielseitigen Wahl für Anwendungen, die Hochleistungsgrafik, komplexe Berechnungen und KI-Inferenz erfordern.

Die Ultra™ 7-Serie umfasst mehrere Modelle, die jeweils unterschiedliche Leistungsniveaus bieten, wobei die Bezeichnung "H" für eine Hochleistungsvariante steht, die für Laptops und kompakte Geräte geeignet ist. Erste Benchmarks haben die außergewöhnliche Leistung des Ultra™ 7 155H hervorgehoben, insbesondere in Multitasking-Umgebungen, wo die kombinierte Leistung von CPU, GPU und NPU zu bemerkenswerter Effizienz und Geschwindigkeit führt.

Im Rahmen des Engagements von Intel für Spitzentechnologie ist der Ultra™ 7 155H so konzipiert, dass er die Anforderungen zukünftiger Computer erfüllt, und es werden voraussichtlich weitere Modelle auf den Markt kommen. Die Verfügbarkeit des Ultra™ 7 155H variiert je nach Region. Er wird weiterhin für seine Integration von drei leistungsstarken Recheneinheiten in einem einzigen Chip gelobt und setzt damit neue Maßstäbe für die Rechenleistung.

Die folgenden Benchmarks wurden auf Intel® Ultra™ 7 155H mit FP32- und INT8-Präzision durchgeführt.

Benchmarks

Integrierter Intel® Arc™ GPUIntel® Meteor Lake CPUIntegrierte Intel® AI Boost NPU

Modell	Format	Präzision	Status	Größe (MB)	metrisch/mAP50-95(B)	Inferenzzeit (ms/im)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	35.95
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6117	8.32
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5791	9.88
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.72
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7136	13.37
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7086	9.96
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	202.05
YOLOv8m	OpenVINO	FP32	✅	99.1	0.7331	28.07
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7259	21.11
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	393.37
YOLOv8l	OpenVINO	FP32	✅	167.0	0.0	52.73
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7861	28.11
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	610.71
YOLOv8x	OpenVINO	FP32	✅	260.6	0.748	73.51
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8085	51.71

Modell	Format	Präzision	Status	Größe (MB)	metrisch/mAP50-95(B)	Inferenzzeit (ms/im)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	34.69
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6092	39.06
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5968	18.37
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.9
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7136	82.6
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7083	29.51
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	202.43
YOLOv8m	OpenVINO	FP32	✅	99.1	0.728	181.27
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7285	51.25
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	385.87
YOLOv8l	OpenVINO	FP32	✅	167.0	0.7551	347.75
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7675	91.66
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	603.63
YOLOv8x	OpenVINO	FP32	✅	260.6	0.7479	516.39
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8119	142.42

Modell	Format	Präzision	Status	Größe (MB)	metrisch/mAP50-95(B)	Inferenzzeit (ms/im)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	36.98
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6103	16.68
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5941	14.6
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.76
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7144	32.89
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7062	26.13
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	201.44
YOLOv8m	OpenVINO	FP32	✅	99.1	0.7284	54.4
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7268	30.76
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	385.46
YOLOv8l	OpenVINO	FP32	✅	167.0	0.7539	80.1
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7508	52.25
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	609.4
YOLOv8x	OpenVINO	FP32	✅	260.6	0.7637	104.79
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8077	64.96

Reproduzieren Sie unsere Ergebnisse

Um die obigen Ultralytics Benchmarks für alle Exportformate zu reproduzieren, führen Sie diesen Code aus:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
results = model.benchmarks(data="coco8.yaml")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

Schlussfolgerung

Die Benchmarking-Ergebnisse zeigen deutlich die Vorteile des Exports des Modells YOLOv8 in das Format OpenVINO . Bei verschiedenen Modellen und Hardware-Plattformen übertrifft das Format OpenVINO andere Formate in Bezug auf die Inferenzgeschwindigkeit bei vergleichbarer Genauigkeit.

Für die Intel® Data Center GPU Flex Series konnte das OpenVINO Format eine fast 10-mal schnellere Inferenzgeschwindigkeit als das ursprüngliche PyTorch Format liefern. Auf dem Xeon CPU war das Format OpenVINO doppelt so schnell wie das Format PyTorch . Die Genauigkeit der Modelle blieb bei den verschiedenen Formaten nahezu identisch.

Die Benchmarks unterstreichen die Effektivität von OpenVINO als Werkzeug für den Einsatz von Deep-Learning-Modellen. Durch die Konvertierung von Modellen in das Format OpenVINO können Entwickler erhebliche Leistungsverbesserungen erzielen, die den Einsatz dieser Modelle in realen Anwendungen erleichtern.

Ausführlichere Informationen und Anweisungen zur Verwendung von OpenVINO finden Sie in der offiziellen Dokumentation OpenVINO .

FAQ

Wie exportiere ich YOLOv8 Modelle in das Format OpenVINO ?

Der Export von YOLOv8 -Modellen in das OpenVINO -Format kann die Geschwindigkeit von CPU deutlich erhöhen und GPU sowie NPU-Beschleunigungen auf Intel -Hardware ermöglichen. Zum Exportieren können Sie entweder Python oder CLI verwenden, wie unten gezeigt:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolov8n_openvino_model/'

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

Weitere Informationen finden Sie in der Dokumentation zu den Exportformaten.

Welche Vorteile bietet die Verwendung von OpenVINO mit YOLOv8 Modellen?

Die Verwendung von Intel's OpenVINO Toolkit mit YOLOv8 Modellen bietet mehrere Vorteile:

1. Leistung: Erzielen Sie eine bis zu 3-fache Beschleunigung der CPU Inferenz und nutzen Sie Intel GPUs und NPUs zur Beschleunigung.
2. Modell-Optimierer: Konvertieren, Optimieren und Ausführen von Modellen aus gängigen Frameworks wie PyTorch, TensorFlow und ONNX.
3. Benutzerfreundlichkeit: Über 80 Tutorial-Notizbücher stehen zur Verfügung, um den Benutzern den Einstieg zu erleichtern, darunter auch solche für YOLOv8.
4. Heterogene Ausführung: Bereitstellung von Modellen auf verschiedener Intel Hardware mit einer einheitlichen API.

Detaillierte Leistungsvergleiche finden Sie in unserem Benchmarking-Bereich.

Wie kann ich mit einem YOLOv8 Modell, das nach OpenVINO exportiert wurde, Inferenzen durchführen?

Nach dem Export eines YOLOv8 Modells in das OpenVINO Format können Sie die Inferenz mit Python oder CLI durchführen:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Weitere Einzelheiten finden Sie in unserer Dokumentation zum Vorhersagemodus.

Warum sollte ich Ultralytics YOLOv8 gegenüber anderen Modellen für den OpenVINO Export wählen?

Ultralytics YOLOv8 ist für die Objekterkennung in Echtzeit mit hoher Genauigkeit und Geschwindigkeit optimiert. Insbesondere in Kombination mit OpenVINO bietet YOLOv8 :

• Bis zu 3-fache Beschleunigung auf Intel CPUs
• Nahtloser Einsatz auf Intel GPUs und NPUs
• Konsistente und vergleichbare Genauigkeit bei verschiedenen Exportformaten

Eine ausführliche Leistungsanalyse finden Sie in unseren detaillierten YOLOv8 Benchmarks auf unterschiedlicher Hardware.

Kann ich die Modelle von YOLOv8 mit verschiedenen Formaten wie PyTorch, ONNX und OpenVINO vergleichen?

Ja, Sie können die Modelle von YOLOv8 in verschiedenen Formaten testen, darunter PyTorch, TorchScript, ONNX und OpenVINO. Verwenden Sie den folgenden Codeschnipsel, um Benchmarks mit dem von Ihnen gewählten Datensatz durchzuführen:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmarks(data="coco8.yaml")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

Detaillierte Benchmark-Ergebnisse finden Sie in unserem Abschnitt über Benchmarks und Exportformate.

📅 Erstellt vor 1 Jahr ✏️ Aktualisiert vor 2 Monaten

Kommentare