Intel OpenVINO Export

In diesem Leitfaden behandeln wir das Exportieren von YOLO11-Modellen in das OpenVINO-Format, das eine bis zu 3-fache CPU-Beschleunigung bieten kann, sowie das Beschleunigen der YOLO-Inferenz auf Intel GPU- und NPU-Hardware.

OpenVINO, kurz für Open Visual Inference & Neural Network Optimization Toolkit, ist ein umfassendes Toolkit zur Optimierung und Bereitstellung von KI-Inferenzmodellen. Auch wenn der Name Visual enthält, unterstützt OpenVINO auch verschiedene zusätzliche Aufgaben wie Sprache, Audio, Zeitreihen usw.

Ansehen: Exportieren von Ultralytics YOLO11 in das Intel OpenVINO für schnellere Inferenzen 🚀

Anwendungsbeispiele

Exportieren Sie ein YOLO11n-Modell in das OpenVINO-Format und führen Sie Inferenz mit dem exportierten Modell aus.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo11n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

# Export a YOLO11n PyTorch model to OpenVINO format
yolo export model=yolo11n.pt format=openvino # creates 'yolo11n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg'

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg' device="intel:gpu"

Export-Argumente

Weitere Informationen zum Exportprozess finden Sie auf der Ultralytics-Dokumentationsseite zum Exportieren.

Vorteile von OpenVINO

1. Performance: OpenVINO bietet hochleistungsfähige Inferenz, indem es die Leistung von Intel-CPUs, integrierten und diskreten GPUs und FPGAs nutzt.
2. Unterstützung für heterogene Ausführung: OpenVINO bietet eine API, mit der man einmal schreiben und auf jeder unterstützten Intel Hardware (CPU, GPU, FPGA, VPU usw.) bereitstellen kann.
3. Modelloptimierer: OpenVINO bietet einen Modelloptimierer, der Modelle aus gängigen Deep-Learning-Frameworks wie PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle und Caffe importiert, konvertiert und optimiert.
4. Einfache Bedienung: Das Toolkit enthält mehr als 80 Tutorial-Notebooks (einschließlich YOLOv8-Optimierung), die verschiedene Aspekte des Toolkits vermitteln.

OpenVINO Exportstruktur

Wenn Sie ein Modell in das OpenVINO-Format exportieren, resultiert dies in einem Verzeichnis mit folgendem Inhalt:

1. XML-Datei: Beschreibt die Netzwerktopologie.
2. BIN-Datei: Enthält die binären Daten für Gewichte und Biases.
3. Mapping-Datei: Enthält die Zuordnung der ursprünglichen Modell-Output-Tensoren zu OpenVINO-Tensor-Namen.

Sie können diese Dateien verwenden, um Inferenz mit der OpenVINO Inference Engine auszuführen.

Verwendung des OpenVINO-Exports bei der Bereitstellung

Sobald Ihr Modell erfolgreich in das OpenVINO-Format exportiert wurde, haben Sie zwei Hauptoptionen für die Ausführung von Inferenz:

1. Verwenden Sie den ultralytics package, das eine High-Level-API bereitstellt und die OpenVINO-Runtime umschließt.

2. Verwenden Sie die native openvino package für eine erweiterte oder angepasste Steuerung des Inferenzverhaltens.

Inferenz mit Ultralytics

Das Ultralytics-Paket ermöglicht es Ihnen, auf einfache Weise Inferenz mit dem exportierten OpenVINO-Modell über die Predict-Methode auszuführen. Sie können auch das Zielgerät angeben (z. B. intel:gpu, intel:npu, intel:cpu) mit dem Geräteargument.

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

Dieser Ansatz ist ideal für schnelles Prototyping oder Deployment, wenn Sie keine vollständige Kontrolle über die Inferenzpipeline benötigen.

Inferenz mit OpenVINO Runtime

Die OpenVINO-Runtime bietet eine einheitliche API für die Inferenz über alle unterstützten Intel-Hardwarekomponenten hinweg. Sie bietet außerdem erweiterte Funktionen wie Lastausgleich über Intel-Hardware und asynchrone Ausführung. Weitere Informationen zur Durchführung der Inferenz finden Sie in den YOLO11-Notebooks.

Denken Sie daran, dass Sie die XML- und BIN-Dateien sowie alle anwendungsspezifischen Einstellungen wie Eingabegröße, Skalierungsfaktor für die Normalisierung usw. benötigen, um das Modell mit der Runtime korrekt einzurichten und zu verwenden.

In Ihrer Bereitstellungsanwendung würden Sie typischerweise die folgenden Schritte durchführen:

1. OpenVINO initialisieren durch Erstellen core = Core().
2. Laden Sie das Modell mit dem core.read_model() Methode.
3. Modell kompilieren mit dem core.compile_model() Funktion.
4. Bereiten Sie die Eingabe vor (Bild, Text, Audio usw.).
5. Inferenz ausführen mit compiled_model(input_data).

Weitere detaillierte Schritte und Code-Snippets finden Sie in der OpenVINO-Dokumentation oder im API-Tutorial.

OpenVINO YOLO11 Benchmarks

Das Ultralytics-Team hat YOLO11 über verschiedene Modellformate und Genauigkeit hinweg einem Benchmark unterzogen und dabei Geschwindigkeit und Präzision auf verschiedenen, mit OpenVINO kompatiblen Intel-Geräten bewertet.

Intel Core CPU

Die Intel® Core®-Serie ist eine Reihe von Hochleistungsprozessoren von Intel. Die Produktreihe umfasst Core i3 (Einsteigerklasse), Core i5 (Mittelklasse), Core i7 (High-End) und Core i9 (extreme Leistung). Jede Serie ist auf unterschiedliche Rechenanforderungen und Budgets zugeschnitten, von alltäglichen Aufgaben bis hin zu anspruchsvollen professionellen Workloads. Mit jeder neuen Generation werden Verbesserungen in Bezug auf Leistung, Energieeffizienz und Funktionen erzielt.

Die folgenden Benchmarks laufen auf einer 12th Gen Intel® Core® i9-12900KS CPU mit FP32-Präzision.

Intel® Core™ Ultra

Die Intel® Core™ Ultra™-Serie stellt einen neuen Maßstab im High-Performance-Computing dar, der entwickelt wurde, um die wachsenden Anforderungen moderner Benutzer zu erfüllen – von Gamern und Kreativen bis hin zu Fachleuten, die KI nutzen. Diese Next-Generation-Reihe ist mehr als eine traditionelle CPU-Serie; sie kombiniert leistungsstarke CPU-Kerne, integrierte High-Performance-GPU-Funktionen und eine dedizierte Neural Processing Unit (NPU) in einem einzigen Chip und bietet so eine einheitliche Lösung für vielfältige und intensive Computing-Workloads.

Das Herzstück der Intel® Core Ultra™-Architektur ist ein hybrides Design, das eine außergewöhnliche Leistung bei traditionellen Verarbeitungsaufgaben, GPU-beschleunigten Workloads und KI-gesteuerten Operationen ermöglicht. Die Integration der NPU verbessert die KI-Inferenz auf dem Gerät und ermöglicht ein schnelleres, effizienteres maschinelles Lernen und eine schnellere Datenverarbeitung in einer Vielzahl von Anwendungen.

Die Core Ultra™-Familie umfasst verschiedene Modelle, die auf unterschiedliche Leistungsanforderungen zugeschnitten sind, mit Optionen, die von energieeffizienten Designs bis hin zu Hochleistungs-Varianten mit der Bezeichnung "H" reichen—ideal für Laptops und kompakte Formfaktoren, die eine hohe Rechenleistung erfordern. Über die gesamte Produktpalette profitieren die Benutzer von der Synergie der CPU-, GPU- und NPU-Integration, die eine bemerkenswerte Effizienz, Reaktionsfähigkeit und Multitasking-Fähigkeiten bietet.

Als Teil der kontinuierlichen Innovation von Intel setzt die Core Ultra™-Serie einen neuen Standard für zukunftssicheres Computing. Mit mehreren verfügbaren Modellen und weiteren in Vorbereitung unterstreicht diese Serie das Engagement von Intel, modernste Lösungen für die nächste Generation intelligenter, KI-gestützter Geräte zu liefern.

Die untenstehenden Benchmarks laufen auf Intel® Core™ Ultra™ 7 258V und Intel® Core™ Ultra™ 7 265K mit FP32- und INT8-Präzision.

Intel® Core™ Ultra™ 7 258V

Benchmarks

Integrierte Intel® Arc™ GPUIntel® Lunar Lake CPUIntegrierte Intel® AI Boost NPU

Detaillierte Benchmark-Ergebnisse

Modell	Format	Präzision	Status	Größe (MB)	Metriken/mAP50-95(B)	Inferenzzeit (ms/Bild)
YOLO11n	PyTorch	FP32	✅	5.4	0.5052	32.27
YOLO11n	OpenVINO	FP32	✅	10.4	0.5068	11.84
YOLO11n	OpenVINO	INT8	✅	3.3	0.4969	11.24
YOLO11s	PyTorch	FP32	✅	18.4	0.5776	92.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.5797	14.82
YOLO11s	OpenVINO	INT8	✅	9.8	0.5751	12.88
YOLO11m	PyTorch	FP32	✅	38.8	0.6262	277.24
YOLO11m	OpenVINO	FP32	✅	77.1	0.6306	22.94
YOLO11m	OpenVINO	INT8	✅	20.2	0.6126	17.85
YOLO11l	PyTorch	FP32	✅	49.0	0.6361	348.97
YOLO11l	OpenVINO	FP32	✅	97.3	0.6365	27.34
YOLO11l	OpenVINO	INT8	✅	25.7	0.6242	20.83
YOLO11x	PyTorch	FP32	✅	109.3	0.6984	666.07
YOLO11x	OpenVINO	FP32	✅	217.8	0.6890	39.09
YOLO11x	OpenVINO	INT8	✅	55.9	0.6856	30.60

Detaillierte Benchmark-Ergebnisse

Modell	Format	Präzision	Status	Größe (MB)	Metriken/mAP50-95(B)	Inferenzzeit (ms/Bild)
YOLO11n	PyTorch	FP32	✅	5.4	0.5052	32.27
YOLO11n	OpenVINO	FP32	✅	10.4	0.5077	32.55
YOLO11n	OpenVINO	INT8	✅	3.3	0.4980	22.98
YOLO11s	PyTorch	FP32	✅	18.4	0.5776	92.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.5782	98.38
YOLO11s	OpenVINO	INT8	✅	9.8	0.5745	52.84
YOLO11m	PyTorch	FP32	✅	38.8	0.6262	277.24
YOLO11m	OpenVINO	FP32	✅	77.1	0.6307	275.74
YOLO11m	OpenVINO	INT8	✅	20.2	0.6172	132.63
YOLO11l	PyTorch	FP32	✅	49.0	0.6361	348.97
YOLO11l	OpenVINO	FP32	✅	97.3	0.6361	348.97
YOLO11l	OpenVINO	INT8	✅	25.7	0.6240	171.36
YOLO11x	PyTorch	FP32	✅	109.3	0.6984	666.07
YOLO11x	OpenVINO	FP32	✅	217.8	0.6900	783.16
YOLO11x	OpenVINO	INT8	✅	55.9	0.6890	346.82

Detaillierte Benchmark-Ergebnisse

Modell	Format	Präzision	Status	Größe (MB)	Metriken/mAP50-95(B)	Inferenzzeit (ms/Bild)
YOLO11n	PyTorch	FP32	✅	5.4	0.5052	32.27
YOLO11n	OpenVINO	FP32	✅	10.4	0.5085	8.33
YOLO11n	OpenVINO	INT8	✅	3.3	0.5019	8.91
YOLO11s	PyTorch	FP32	✅	18.4	0.5776	92.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.5788	9.72
YOLO11s	OpenVINO	INT8	✅	9.8	0.5710	10.58
YOLO11m	PyTorch	FP32	✅	38.8	0.6262	277.24
YOLO11m	OpenVINO	FP32	✅	77.1	0.6301	19.41
YOLO11m	OpenVINO	INT8	✅	20.2	0.6124	18.26
YOLO11l	PyTorch	FP32	✅	49.0	0.6361	348.97
YOLO11l	OpenVINO	FP32	✅	97.3	0.6362	23.70
YOLO11l	OpenVINO	INT8	✅	25.7	0.6240	21.40
YOLO11x	PyTorch	FP32	✅	109.3	0.6984	666.07
YOLO11x	OpenVINO	FP32	✅	217.8	0.6892	43.91
YOLO11x	OpenVINO	INT8	✅	55.9	0.6890	34.04

Intel® Core™ Ultra™ 7 265K

Benchmarks

Integrierte Intel® Arc™ GPUIntel® Arrow Lake CPUIntegrierte Intel® AI Boost NPU

Detaillierte Benchmark-Ergebnisse

Modell	Format	Präzision	Status	Größe (MB)	Metriken/mAP50-95(B)	Inferenzzeit (ms/Bild)
YOLO11n	PyTorch	FP32	✅	5.4	0.5072	16.29
YOLO11n	OpenVINO	FP32	✅	10.4	0.5079	13.13
YOLO11n	OpenVINO	INT8	✅	3.3	0.4976	8.86
YOLO11s	PyTorch	FP32	✅	18.4	0.5771	39.61
YOLO11s	OpenVINO	FP32	✅	36.4	0.5808	18.26
YOLO11s	OpenVINO	INT8	✅	9.8	0.5726	13.24
YOLO11m	PyTorch	FP32	✅	38.8	0.6258	100.65
YOLO11m	OpenVINO	FP32	✅	77.1	0.6310	43.50
YOLO11m	OpenVINO	INT8	✅	20.2	0.6137	20.90
YOLO11l	PyTorch	FP32	✅	49.0	0.6367	131.37
YOLO11l	OpenVINO	FP32	✅	97.3	0.6371	54.52
YOLO11l	OpenVINO	INT8	✅	25.7	0.6226	27.36
YOLO11x	PyTorch	FP32	✅	109.3	0.6990	212.45
YOLO11x	OpenVINO	FP32	✅	217.8	0.6884	112.76
YOLO11x	OpenVINO	INT8	✅	55.9	0.6900	52.06

Detaillierte Benchmark-Ergebnisse

Modell	Format	Präzision	Status	Größe (MB)	Metriken/mAP50-95(B)	Inferenzzeit (ms/Bild)
YOLO11n	PyTorch	FP32	✅	5.4	0.5072	16.29
YOLO11n	OpenVINO	FP32	✅	10.4	0.5077	15.04
YOLO11n	OpenVINO	INT8	✅	3.3	0.4980	11.60
YOLO11s	PyTorch	FP32	✅	18.4	0.5771	39.61
YOLO11s	OpenVINO	FP32	✅	36.4	0.5782	33.45
YOLO11s	OpenVINO	INT8	✅	9.8	0.5745	20.64
YOLO11m	PyTorch	FP32	✅	38.8	0.6258	100.65
YOLO11m	OpenVINO	FP32	✅	77.1	0.6307	81.15
YOLO11m	OpenVINO	INT8	✅	20.2	0.6172	44.63
YOLO11l	PyTorch	FP32	✅	49.0	0.6367	131.37
YOLO11l	OpenVINO	FP32	✅	97.3	0.6409	103.77
YOLO11l	OpenVINO	INT8	✅	25.7	0.6240	58.00
YOLO11x	PyTorch	FP32	✅	109.3	0.6990	212.45
YOLO11x	OpenVINO	FP32	✅	217.8	0.6900	208.37
YOLO11x	OpenVINO	INT8	✅	55.9	0.6897	113.04

Detaillierte Benchmark-Ergebnisse

Modell	Format	Präzision	Status	Größe (MB)	Metriken/mAP50-95(B)	Inferenzzeit (ms/Bild)
YOLO11n	PyTorch	FP32	✅	5.4	0.5072	16.29
YOLO11n	OpenVINO	FP32	✅	10.4	0.5075	8.02
YOLO11n	OpenVINO	INT8	✅	3.3	0.3656	9.28
YOLO11s	PyTorch	FP32	✅	18.4	0.5771	39.61
YOLO11s	OpenVINO	FP32	✅	36.4	0.5801	13.12
YOLO11s	OpenVINO	INT8	✅	9.8	0.5686	13.12
YOLO11m	PyTorch	FP32	✅	38.8	0.6258	100.65
YOLO11m	OpenVINO	FP32	✅	77.1	0.6310	29.88
YOLO11m	OpenVINO	INT8	✅	20.2	0.6111	26.32
YOLO11l	PyTorch	FP32	✅	49.0	0.6367	131.37
YOLO11l	OpenVINO	FP32	✅	97.3	0.6356	37.08
YOLO11l	OpenVINO	INT8	✅	25.7	0.6245	30.81
YOLO11x	PyTorch	FP32	✅	109.3	0.6990	212.45
YOLO11x	OpenVINO	FP32	✅	217.8	0.6894	68.48
YOLO11x	OpenVINO	INT8	✅	55.9	0.6417	49.76

Intel® Arc GPU

Intel® Arc™ ist Intels Produktreihe diskreter Grafikkarten, die für hochleistungsfähiges Gaming, Content Creation und KI-Workloads entwickelt wurden. Die Arc-Serie verfügt über fortschrittliche GPU-Architekturen, die Echtzeit-Raytracing, KI-gestützte Grafiken und hochauflösendes Gaming unterstützen. Mit dem Fokus auf Leistung und Effizienz zielt Intel® Arc™ darauf ab, mit anderen führenden GPU-Marken zu konkurrieren und gleichzeitig einzigartige Funktionen wie hardwarebeschleunigte AV1-Codierung und Unterstützung für die neuesten Grafik-APIs zu bieten.

Die folgenden Benchmarks laufen auf Intel Arc A770 und Intel Arc B580 mit FP32- und INT8-Präzision.

Intel Arc A770

Intel Arc B580

Unsere Ergebnisse reproduzieren

Um die oben genannten Ultralytics-Benchmarks auf allen Export-Formaten zu reproduzieren, führen Sie diesen Code aus:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco128.yaml

Fazit

Die Benchmarking-Ergebnisse demonstrieren deutlich die Vorteile des Exports des YOLO11-Modells in das OpenVINO-Format. Über verschiedene Modelle und Hardwareplattformen hinweg übertrifft das OpenVINO-Format andere Formate in Bezug auf die Inferenzgeschwindigkeit konstant und behält gleichzeitig eine vergleichbare Genauigkeit bei.

Die Benchmarks unterstreichen die Effektivität von OpenVINO als Werkzeug für die Bereitstellung von Deep-Learning-Modellen. Durch die Konvertierung von Modellen in das OpenVINO-Format können Entwickler signifikante Leistungsverbesserungen erzielen, wodurch es einfacher wird, diese Modelle in realen Anwendungen einzusetzen.

Für detailliertere Informationen und Anweisungen zur Verwendung von OpenVINO lesen Sie die offizielle OpenVINO-Dokumentation.

FAQ

Wie exportiere ich YOLO11-Modelle in das OpenVINO-Format?

Das Exportieren von YOLO11-Modellen in das OpenVINO-Format kann die CPU-Geschwindigkeit erheblich verbessern und GPU- und NPU-Beschleunigungen auf Intel-Hardware ermöglichen. Zum Exportieren können Sie entweder Python oder CLI verwenden, wie unten gezeigt:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo11n_openvino_model/'

# Export a YOLO11n PyTorch model to OpenVINO format
yolo export model=yolo11n.pt format=openvino # creates 'yolo11n_openvino_model/'

Weitere Informationen finden Sie in der Dokumentation zu den Exportformaten.

Welche Vorteile bietet die Verwendung von OpenVINO mit YOLO11-Modellen?

Die Verwendung des OpenVINO-Toolkits von Intel mit YOLO11-Modellen bietet mehrere Vorteile:

1. Performance: Erreichen Sie bis zu 3x Beschleunigung bei der CPU-Inferenz und nutzen Sie Intel-GPUs und -NPUs zur Beschleunigung.
2. Modelloptimierer: Konvertieren, optimieren und führen Sie Modelle aus gängigen Frameworks wie PyTorch, TensorFlow und ONNX aus.
3. Benutzerfreundlichkeit: Über 80 Tutorial-Notebooks stehen zur Verfügung, um Benutzern den Einstieg zu erleichtern, darunter auch solche für YOLO11.
4. Heterogene Ausführung: Modelle auf verschiedener Intel-Hardware mit einer einheitlichen API bereitstellen.

Detaillierte Leistungsvergleiche finden Sie in unserem Benchmark-Abschnitt.

Wie kann ich Inferenz mit einem YOLO11-Modell ausführen, das nach OpenVINO exportiert wurde?

Nach dem Exportieren eines YOLO11n-Modells in das OpenVINO-Format können Sie die Inferenz mit Python oder CLI ausführen:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with the exported model
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Weitere Informationen finden Sie in unserer Dokumentation zum Vorhersagemodus.

Warum sollte ich Ultralytics YOLO11 gegenüber anderen Modellen für den OpenVINO-Export wählen?

Ultralytics YOLO11 ist für die Echtzeit-Objekterkennung mit hoher Genauigkeit und Geschwindigkeit optimiert. Insbesondere in Kombination mit OpenVINO bietet YOLO11 Folgendes:

• Bis zu 3x schnellere Beschleunigung auf Intel CPUs
• Nahtlose Bereitstellung auf Intel GPUs und NPUs
• Konsistente und vergleichbare Genauigkeit über verschiedene Exportformate hinweg

Für eine detaillierte Leistungsanalyse lesen Sie unsere detaillierten YOLO11 Benchmarks auf verschiedener Hardware.

Kann ich YOLO11-Modelle in verschiedenen Formaten wie PyTorch, ONNX und OpenVINO benchmarken?

Ja, Sie können YOLO11-Modelle in verschiedenen Formaten benchmarken, darunter PyTorch, TorchScript, ONNX und OpenVINO. Verwenden Sie den folgenden Code-Snippet, um Benchmarks für Ihr ausgewähltes Dataset auszuführen:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml

Detaillierte Benchmark-Ergebnisse finden Sie in unserem Benchmark-Abschnitt und in der Dokumentation zu den Exportformaten.

📅 Erstellt vor 1 Jahr ✏️ Aktualisiert vor 6 Tagen

Kommentare