Intel OpenVINO Exportieren

In diesem Handbuch behandeln wir den Export YOLO11 Modelle in das OpenVINO -Format, das eine bis zu 3-fache CPU -Beschleunigung sowie eine Beschleunigung bietet YOLO Schlussfolgerung auf Intel GPU und NPU- Hardware.

OpenVINO, kurz für Open Visual Inference & Neural Network Optimization toolkit, ist ein umfassendes Toolkit für die Optimierung und den Einsatz von KI-Inferenzmodellen. Auch wenn der Name Visual enthält, unterstützt OpenVINO auch verschiedene zusätzliche Aufgaben wie Sprache, Audio, Zeitreihen usw.

Beobachten: Exportieren und Optimieren eines Ultralytics YOLOv8 Modells für die Inferenz mit OpenVINO.

Beispiele für die Verwendung

Exportieren Sie ein YOLO11n-Modell nach OpenVINO Formatieren Sie das exportierte Modell und führen Sie Inferenzen damit aus.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo11n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

# Export a YOLO11n PyTorch model to OpenVINO format
yolo export model=yolo11n.pt format=openvino # creates 'yolo11n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg'

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg' device="intel:gpu"

Argumente exportieren

Weitere Einzelheiten zum Exportvorgang finden Sie auf der Dokumentationsseite zum Exportieren unterUltralytics .

Vorteile von OpenVINO

1. Leistung: OpenVINO bietet leistungsstarke Inferenzen durch die Nutzung der Leistung von Intel CPUs, integrierten und diskreten GPUs und FPGAs.
2. Unterstützung für heterogene Ausführung: OpenVINO bietet eine API zum einmaligen Schreiben und Bereitstellen auf jeder unterstützten Intel Hardware (CPU, GPU, FPGA, VPU, etc.).
3. Modell-Optimierer: OpenVINO bietet einen Modell-Optimierer, der Modelle aus gängigen Deep-Learning-Frameworks wie PyTorch importiert, konvertiert und optimiert, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle und Caffe.
4. Benutzerfreundlichkeit: Das Toolkit wird mit mehr als 80 Lehrbüchern (einschließlich YOLOv8 optimization) geliefert, in denen verschiedene Aspekte des Toolkits behandelt werden.

OpenVINO Struktur der Ausfuhren

Wenn Sie ein Modell in das Format OpenVINO exportieren, erhalten Sie ein Verzeichnis mit folgendem Inhalt

1. XML-Datei: Beschreibt die Netzwerktopologie.
2. BIN-Datei: Enthält die Binärdaten von weights and biases .
3. Mapping-Datei: Enthält die Zuordnung der ursprünglichen Modellausgangs-Tensoren zu den Namen OpenVINO tensor .

Sie können diese Dateien verwenden, um Inferenzen mit der OpenVINO Inference Engine durchzuführen.

Verwendung von OpenVINO Export in der Bereitstellung

Sobald Ihr Modell erfolgreich in das OpenVINO Format haben Sie zwei Hauptoptionen zum Ausführen von Inferenzen:

1. Verwenden Sie die ultralytics Paket, das eine High-Level-API bereitstellt und die OpenVINO Laufzeit.

2. Verwenden Sie die native openvino Paket für erweiterte oder benutzerdefinierte Kontrolle über das Inferenzverhalten.

Inferenz mit Ultralytics

Der ultralytics Paket ermöglicht Ihnen die einfache Ausführung von Inferenzen mit den exportierten OpenVINO Modell über die Predict-Methode. Sie können auch das Zielgerät angeben (z. B. intel:gpu, intel:npu, intel:cpu) mit dem Geräteargument.

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

Dieser Ansatz ist ideal für schnelles Prototyping oder Deployment, wenn Sie keine vollständige Kontrolle über die Inferenzpipeline benötigen.

Inferenz mit OpenVINO Laufzeit

Der openvino Runtime bietet eine einheitliche API zur Inferenz über alle unterstützten Intel Hardware. Es bietet auch erweiterte Funktionen wie Lastausgleich über Intel Hardware und asynchrone Ausführung. Weitere Informationen zum Ausführen der Inferenz finden Sie in den YOLO11 Notebooks .

Denken Sie daran, dass Sie die XML- und BIN-Dateien sowie alle anwendungsspezifischen Einstellungen wie Eingabegröße, Skalierungsfaktor für die Normalisierung usw. benötigen, um das Modell mit der Runtime korrekt einzurichten und zu verwenden.

In Ihrer Verteilungsanwendung würden Sie normalerweise die folgenden Schritte durchführen:

1. Initialisieren Sie OpenVINO durch Erstellen von core = Core().
2. Laden Sie das Modell mit der Funktion core.read_model() Methode.
3. Kompilieren Sie das Modell mit der core.compile_model() Funktion.
4. Bereiten Sie die Eingabe vor (Bild, Text, Audio, etc.).
5. Inferenz ausführen mit compiled_model(input_data).

Ausführlichere Schritte und Codeschnipsel finden Sie in der DokumentationOpenVINO oder im API-Tutorial.

OpenVINO YOLO11 Benchmarks

Der Ultralytics Team-Benchmarking YOLO11 über verschiedene Modellformate und Präzision , Bewertung von Geschwindigkeit und Genauigkeit auf verschiedenen Intel Geräte kompatibel mit OpenVINO .

Intel Kern CPU

Die Intel® Core® Serie ist eine Reihe von Hochleistungsprozessoren von Intel. Die Reihe umfasst Core i3 (Einstiegsmodell), Core i5 (Mittelklasse), Core i7 (Spitzenmodell) und Core i9 (extreme Leistung). Jede Serie eignet sich für unterschiedliche Anforderungen und Budgets, von alltäglichen Aufgaben bis hin zu anspruchsvollen professionellen Workloads. Mit jeder neuen Generation werden die Leistung, die Energieeffizienz und die Funktionen verbessert.

Die folgenden Benchmarks laufen auf dem Intel® Core® i9-12900KS der 12. Generation CPU mit FP32-Präzision.

Intel® Core™ Ultra

Die Intel® Core™ Ultra™ Serie setzt neue Maßstäbe im Hochleistungsrechnen und wurde entwickelt, um den steigenden Anforderungen moderner Anwender gerecht zu werden – von Gamern und Kreativen bis hin zu Profis, die KI nutzen. Diese Produktreihe der nächsten Generation ist mehr als eine traditionelle CPU Serie; es vereint leistungsstarke CPU Kerne, integrierte Hochleistungs GPU Funktionen und eine dedizierte Neural Processing Unit (NPU) in einem einzigen Chip und bietet so eine einheitliche Lösung für vielfältige und intensive Rechenlasten.

Das Herzstück der Intel® Core Ultra™ Architektur ist ein Hybriddesign, das außergewöhnliche Leistung bei herkömmlichen Verarbeitungsaufgaben ermöglicht, GPU -beschleunigte Workloads und KI-gesteuerte Vorgänge. Die Integration der NPU verbessert die KI-Inferenz auf dem Gerät und ermöglicht schnelleres, effizienteres maschinelles Lernen und Datenverarbeitung in einer Vielzahl von Anwendungen.

Die Core Ultra™-Familie umfasst verschiedene Modelle, die auf unterschiedliche Leistungsanforderungen zugeschnitten sind. Die Optionen reichen von energieeffizienten Designs bis hin zu Hochleistungsvarianten mit dem „H“-Kennzeichen – ideal für Laptops und kompakte Formfaktoren, die hohe Rechenleistung erfordern. Über die gesamte Produktpalette hinweg profitieren Anwender von der Synergie von CPU , GPU und NPU-Integration, die bemerkenswerte Effizienz, Reaktionsfähigkeit und Multitasking-Fähigkeiten bietet.

Im Rahmen Intel Die Core Ultra™-Serie setzt mit ihrer kontinuierlichen Innovation neue Maßstäbe für zukunftsfähiges Computing. Mit mehreren verfügbaren Modellen und weiteren in der Zukunft unterstreicht diese Serie Intel Das Engagement von besteht darin, Spitzenlösungen für die nächste Generation intelligenter, KI-gestützter Geräte bereitzustellen.

Die folgenden Benchmarks wurden auf Intel® Core™ Ultra™ 7 258V und Intel® Core™ Ultra™ 7 265K mit FP32- und INT8-Präzision durchgeführt.

Intel® Core™ Ultra™ 7 258 V

Benchmarks

Integrierter Intel® Arc™ GPUIntel® Lunar Lake CPUIntegrierte Intel® AI Boost NPU

Detaillierte Benchmark-Ergebnisse

Modell	Format	Präzision	Status	Größe (MB)	metrisch/mAP50-95(B)	Inferenzzeit (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.5052	32.27
YOLO11n	OpenVINO	FP32	✅	10.4	0.5068	11.84
YOLO11n	OpenVINO	INT8	✅	3.3	0.4969	11.24
YOLO11s	PyTorch	FP32	✅	18.4	0.5776	92.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.5797	14.82
YOLO11s	OpenVINO	INT8	✅	9.8	0.5751	12.88
YOLO11m	PyTorch	FP32	✅	38.8	0.6262	277.24
YOLO11m	OpenVINO	FP32	✅	77.1	0.6306	22.94
YOLO11m	OpenVINO	INT8	✅	20.2	0.6126	17.85
YOLO11l	PyTorch	FP32	✅	49.0	0.6361	348.97
YOLO11l	OpenVINO	FP32	✅	97.3	0.6365	27.34
YOLO11l	OpenVINO	INT8	✅	25.7	0.6242	20.83
YOLO11x	PyTorch	FP32	✅	109.3	0.6984	666.07
YOLO11x	OpenVINO	FP32	✅	217.8	0.6890	39.09
YOLO11x	OpenVINO	INT8	✅	55.9	0.6856	30.60

Detaillierte Benchmark-Ergebnisse

Modell	Format	Präzision	Status	Größe (MB)	metrisch/mAP50-95(B)	Inferenzzeit (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.5052	32.27
YOLO11n	OpenVINO	FP32	✅	10.4	0.5077	32.55
YOLO11n	OpenVINO	INT8	✅	3.3	0.4980	22.98
YOLO11s	PyTorch	FP32	✅	18.4	0.5776	92.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.5782	98.38
YOLO11s	OpenVINO	INT8	✅	9.8	0.5745	52.84
YOLO11m	PyTorch	FP32	✅	38.8	0.6262	277.24
YOLO11m	OpenVINO	FP32	✅	77.1	0.6307	275.74
YOLO11m	OpenVINO	INT8	✅	20.2	0.6172	132.63
YOLO11l	PyTorch	FP32	✅	49.0	0.6361	348.97
YOLO11l	OpenVINO	FP32	✅	97.3	0.6361	348.97
YOLO11l	OpenVINO	INT8	✅	25.7	0.6240	171.36
YOLO11x	PyTorch	FP32	✅	109.3	0.6984	666.07
YOLO11x	OpenVINO	FP32	✅	217.8	0.6900	783.16
YOLO11x	OpenVINO	INT8	✅	55.9	0.6890	346.82

Detaillierte Benchmark-Ergebnisse

Modell	Format	Präzision	Status	Größe (MB)	metrisch/mAP50-95(B)	Inferenzzeit (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.5052	32.27
YOLO11n	OpenVINO	FP32	✅	10.4	0.5085	8.33
YOLO11n	OpenVINO	INT8	✅	3.3	0.5019	8.91
YOLO11s	PyTorch	FP32	✅	18.4	0.5776	92.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.5788	9.72
YOLO11s	OpenVINO	INT8	✅	9.8	0.5710	10.58
YOLO11m	PyTorch	FP32	✅	38.8	0.6262	277.24
YOLO11m	OpenVINO	FP32	✅	77.1	0.6301	19.41
YOLO11m	OpenVINO	INT8	✅	20.2	0.6124	18.26
YOLO11l	PyTorch	FP32	✅	49.0	0.6361	348.97
YOLO11l	OpenVINO	FP32	✅	97.3	0.6362	23.70
YOLO11l	OpenVINO	INT8	✅	25.7	0.6240	21.40
YOLO11x	PyTorch	FP32	✅	109.3	0.6984	666.07
YOLO11x	OpenVINO	FP32	✅	217.8	0.6892	43.91
YOLO11x	OpenVINO	INT8	✅	55.9	0.6890	34.04

Intel® Core™ Ultra™ 7 265K

Benchmarks

Integrierter Intel® Arc™ GPUIntel® Arrow Lake CPUIntegrierte Intel® AI Boost NPU

Detaillierte Benchmark-Ergebnisse

Modell	Format	Präzision	Status	Größe (MB)	metrisch/mAP50-95(B)	Inferenzzeit (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.5072	16.29
YOLO11n	OpenVINO	FP32	✅	10.4	0.5079	13.13
YOLO11n	OpenVINO	INT8	✅	3.3	0.4976	8.86
YOLO11s	PyTorch	FP32	✅	18.4	0.5771	39.61
YOLO11s	OpenVINO	FP32	✅	36.4	0.5808	18.26
YOLO11s	OpenVINO	INT8	✅	9.8	0.5726	13.24
YOLO11m	PyTorch	FP32	✅	38.8	0.6258	100.65
YOLO11m	OpenVINO	FP32	✅	77.1	0.6310	43.50
YOLO11m	OpenVINO	INT8	✅	20.2	0.6137	20.90
YOLO11l	PyTorch	FP32	✅	49.0	0.6367	131.37
YOLO11l	OpenVINO	FP32	✅	97.3	0.6371	54.52
YOLO11l	OpenVINO	INT8	✅	25.7	0.6226	27.36
YOLO11x	PyTorch	FP32	✅	109.3	0.6990	212.45
YOLO11x	OpenVINO	FP32	✅	217.8	0.6884	112.76
YOLO11x	OpenVINO	INT8	✅	55.9	0.6900	52.06

Detaillierte Benchmark-Ergebnisse

Modell	Format	Präzision	Status	Größe (MB)	metrisch/mAP50-95(B)	Inferenzzeit (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.5072	16.29
YOLO11n	OpenVINO	FP32	✅	10.4	0.5077	15.04
YOLO11n	OpenVINO	INT8	✅	3.3	0.4980	11.60
YOLO11s	PyTorch	FP32	✅	18.4	0.5771	39.61
YOLO11s	OpenVINO	FP32	✅	36.4	0.5782	33.45
YOLO11s	OpenVINO	INT8	✅	9.8	0.5745	20.64
YOLO11m	PyTorch	FP32	✅	38.8	0.6258	100.65
YOLO11m	OpenVINO	FP32	✅	77.1	0.6307	81.15
YOLO11m	OpenVINO	INT8	✅	20.2	0.6172	44.63
YOLO11l	PyTorch	FP32	✅	49.0	0.6367	131.37
YOLO11l	OpenVINO	FP32	✅	97.3	0.6409	103.77
YOLO11l	OpenVINO	INT8	✅	25.7	0.6240	58.00
YOLO11x	PyTorch	FP32	✅	109.3	0.6990	212.45
YOLO11x	OpenVINO	FP32	✅	217.8	0.6900	208.37
YOLO11x	OpenVINO	INT8	✅	55.9	0.6897	113.04

Detaillierte Benchmark-Ergebnisse

Modell	Format	Präzision	Status	Größe (MB)	metrisch/mAP50-95(B)	Inferenzzeit (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.5072	16.29
YOLO11n	OpenVINO	FP32	✅	10.4	0.5075	8.02
YOLO11n	OpenVINO	INT8	✅	3.3	0.3656	9.28
YOLO11s	PyTorch	FP32	✅	18.4	0.5771	39.61
YOLO11s	OpenVINO	FP32	✅	36.4	0.5801	13.12
YOLO11s	OpenVINO	INT8	✅	9.8	0.5686	13.12
YOLO11m	PyTorch	FP32	✅	38.8	0.6258	100.65
YOLO11m	OpenVINO	FP32	✅	77.1	0.6310	29.88
YOLO11m	OpenVINO	INT8	✅	20.2	0.6111	26.32
YOLO11l	PyTorch	FP32	✅	49.0	0.6367	131.37
YOLO11l	OpenVINO	FP32	✅	97.3	0.6356	37.08
YOLO11l	OpenVINO	INT8	✅	25.7	0.6245	30.81
YOLO11x	PyTorch	FP32	✅	109.3	0.6990	212.45
YOLO11x	OpenVINO	FP32	✅	217.8	0.6894	68.48
YOLO11x	OpenVINO	INT8	✅	55.9	0.6417	49.76

Intel® Arc GPU

Intel® Arc™ ist Intel Produktreihe diskreter Grafikkarten, die für Hochleistungsspiele, Inhaltserstellung und KI-Workloads entwickelt wurde. Die Arc-Serie verfügt über fortschrittliche GPU , die Raytracing in Echtzeit, KI-erweiterte Grafiken und hochauflösendes Gaming unterstützen. Mit dem Fokus auf Leistung und Effizienz zielt Intel® Arc™ darauf ab, mit anderen führenden GPU zu konkurrieren und bietet gleichzeitig einzigartige Funktionen wie hardwarebeschleunigte AV1-Kodierung und Unterstützung für die neuesten Grafik-APIs.

Die folgenden Benchmarks wurden auf Intel Arc A770 und Intel Arc B580 mit FP32- und INT8-Präzision durchgeführt.

Intel Arc A770

Intel Arc B580

Reproduzieren Sie unsere Ergebnisse

Um die obigen Ultralytics Benchmarks für alle Exportformate zu reproduzieren, führen Sie diesen Code aus:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco128.yaml

Schlussfolgerung

Die Benchmarking-Ergebnisse zeigen deutlich die Vorteile des Exports der YOLO11 Modell zum OpenVINO Format. Über verschiedene Modelle und Hardwareplattformen hinweg OpenVINO Das Format übertrifft andere Formate hinsichtlich der Inferenzgeschwindigkeit durchweg, während die Genauigkeit vergleichbar bleibt.

Die Benchmarks unterstreichen die Effektivität von OpenVINO als Werkzeug für den Einsatz von Deep-Learning-Modellen. Durch die Konvertierung von Modellen in das Format OpenVINO können Entwickler erhebliche Leistungsverbesserungen erzielen, die den Einsatz dieser Modelle in realen Anwendungen erleichtern.

Ausführlichere Informationen und Anweisungen zur Verwendung von OpenVINO finden Sie in der offiziellen Dokumentation OpenVINO .

FAQ

Wie exportiere ich YOLO11 Modelle zu OpenVINO Format?

Exportieren YOLO11 Modelle zum OpenVINO Format kann erheblich verbessern CPU beschleunigen und ermöglichen GPU und NPU-Beschleunigungen auf Intel Hardware. Zum Exportieren können Sie entweder Python oder CLI wie unten gezeigt:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo11n_openvino_model/'

# Export a YOLO11n PyTorch model to OpenVINO format
yolo export model=yolo11n.pt format=openvino # creates 'yolo11n_openvino_model/'

Weitere Informationen finden Sie in der Dokumentation zu den Exportformaten.

Welche Vorteile bietet die Verwendung OpenVINO mit YOLO11 Modelle?

Verwenden Intel 'S OpenVINO Werkzeugkasten mit YOLO11 Modelle bieten mehrere Vorteile:

1. Leistung: Erzielen Sie eine bis zu 3-fache Beschleunigung der CPU Inferenz und nutzen Sie Intel GPUs und NPUs zur Beschleunigung.
2. Modell-Optimierer: Konvertieren, Optimieren und Ausführen von Modellen aus gängigen Frameworks wie PyTorch, TensorFlow und ONNX.
3. Benutzerfreundlichkeit : Über 80 Lernhefte stehen zur Verfügung, um den Benutzern den Einstieg zu erleichtern, darunter auch solche für YOLO11 .
4. Heterogene Ausführung: Bereitstellung von Modellen auf verschiedener Intel Hardware mit einer einheitlichen API.

Detaillierte Leistungsvergleiche finden Sie in unserem Benchmarking-Bereich.

Wie kann ich Inferenzen ausführen mit einem YOLO11 Modell exportiert nach OpenVINO ?

Nach dem Export eines YOLO11n-Modells nach OpenVINO Format können Sie Inferenzen ausführen mit Python oder CLI :

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with the exported model
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Weitere Einzelheiten finden Sie in unserer Dokumentation zum Vorhersagemodus.

Warum sollte ich wählen Ultralytics YOLO11 gegenüber anderen Modellen für OpenVINO Export?

Ultralytics YOLO11 ist für die Echtzeit-Objekterkennung mit hoher Genauigkeit und Geschwindigkeit optimiert. Insbesondere in Kombination mit OpenVINO , YOLO11 bietet:

• Bis zu 3-fache Beschleunigung auf Intel CPUs
• Nahtloser Einsatz auf Intel GPUs und NPUs
• Konsistente und vergleichbare Genauigkeit bei verschiedenen Exportformaten

Für eine umfassende Leistungsanalyse sehen Sie sich unsere ausführlichen YOLO11 Benchmarks auf unterschiedlicher Hardware an.

Kann ich Benchmarking durchführen? YOLO11 Modelle auf verschiedenen Formaten wie PyTorch , ONNX , Und OpenVINO ?

Ja, Sie können Benchmarking durchführen YOLO11 Modelle in verschiedenen Formaten, einschließlich PyTorch , TorchScript , ONNX , Und OpenVINO . Verwenden Sie den folgenden Codeausschnitt, um Benchmarks für den von Ihnen gewählten Datensatz auszuführen:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml

Detaillierte Benchmark-Ergebnisse finden Sie in unserem Abschnitt über Benchmarks und Exportformate.

📅 Erstellt vor 1 Jahr ✏️ Aktualisiert vor 1 Monat

Kommentare