Intel OpenVINO Export

In dieser Anleitung behandeln wir den Export von YOLO26-Modellen in das OpenVINO-Format, was eine bis zu 3-fache CPU-Beschleunigung bieten sowie die YOLO-Inferenz auf Intel GPU- und NPU-Hardware beschleunigen kann.

OpenVINO, kurz für Open Visual Inference & Neural Network Optimization Toolkit, ist ein umfassendes Toolkit zur Optimierung und Bereitstellung von KI-Inferenzmodellen. Obwohl der Name „Visual“ enthält, unterstützt OpenVINO auch diverse weitere Aufgaben wie Sprache, Audio, Zeitreihen usw.

Anwendungsbeispiele

Exportiere ein YOLO26n-Modell in das OpenVINO-Format und führe eine Inferenz mit dem exportierten Modell durch.

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Export-Argumente

Weitere Details zum Exportprozess findest du auf der Ultralytics-Dokumentationsseite zum Export.

Vorteile von OpenVINO

1. Leistung: OpenVINO liefert hochperformante Inferenz durch Nutzung der Leistung von Intel-CPUs, integrierten und dedizierten GPUs sowie FPGAs.
2. Unterstützung für heterogene Ausführung: OpenVINO bietet eine API, um einmal zu schreiben und auf jeder unterstützten Intel-Hardware (CPU, GPU, FPGA, VPU usw.) bereitzustellen.
3. Modell-Optimierer: OpenVINO bietet einen Modell-Optimierer, der Modelle aus populären deep learning-Frameworks wie PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle und Caffe importiert, konvertiert und optimiert.
4. Benutzerfreundlichkeit: Das Toolkit enthält mehr als 80 Tutorial-Notebooks (einschließlich YOLO26-Optimierung), die verschiedene Aspekte des Toolkits vermitteln.

OpenVINO-Exportstruktur

Wenn du ein Modell in das OpenVINO-Format exportierst, führt dies zu einem Verzeichnis, das Folgendes enthält:

1. XML-Datei: Beschreibt die Netzwerktopologie.
2. BIN-Datei: Enthält die Binärdaten der Gewichte und Biases.
3. Mapping-Datei: Enthält das Mapping der ursprünglichen Modellausgabe-Tensoren zu den OpenVINO-Tensor-Namen.

Du kannst diese Dateien verwenden, um die Inferenz mit der OpenVINO Inference Engine durchzuführen.

Verwendung des OpenVINO-Exports in der Bereitstellung

Sobald dein Modell erfolgreich in das OpenVINO-Format exportiert wurde, hast du zwei primäre Optionen für die Durchführung der Inferenz:

1. Verwende das ultralytics-Paket, das eine High-Level-API bereitstellt und die OpenVINO Runtime einbindet.

2. Verwende das native openvino-Paket für fortgeschrittenere oder maßgeschneiderte Kontrolle über das Inferenzverhalten.

Inferenz mit Ultralytics

Das ultralytics-Paket ermöglicht es dir, einfach Inferenz mit dem exportierten OpenVINO-Modell über die predict-Methode auszuführen. Du kannst auch das Zielgerät (z. B. intel:gpu, intel:npu, intel:cpu) über das device-Argument angeben.

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

Dieser Ansatz ist ideal für schnelles Prototyping oder die Bereitstellung, wenn du keine vollständige Kontrolle über die Inferenz-Pipeline benötigst.

Inferenz mit OpenVINO Runtime

Die OpenVINO Runtime bietet eine einheitliche API für die Inferenz auf aller unterstützten Intel-Hardware. Sie bietet zudem erweiterte Funktionen wie Lastverteilung über Intel-Hardware hinweg und asynchrone Ausführung. Weitere Informationen zur Durchführung der Inferenz findest du in den YOLO26-Notebooks.

Denk daran, dass du die XML- und BIN-Dateien sowie alle anwendungsspezifischen Einstellungen wie Eingabegröße, Skalierungsfaktor für die Normalisierung usw. benötigst, um das Modell mit der Runtime korrekt einzurichten und zu verwenden.

In deiner Bereitstellungsanwendung würdest du typischerweise die folgenden Schritte durchführen:

1. Initialisiere OpenVINO durch das Erstellen von core = Core().
2. Lade das Modell über die Methode core.read_model().
3. Kompiliere das Modell über die Funktion core.compile_model().
4. Bereite den Eingang vor (Bild, Text, Audio usw.).
5. Führe die Inferenz über compiled_model(input_data) aus.

Für detailliertere Schritte und Code-Snippets beachte die OpenVINO-Dokumentation oder das API-Tutorial.

OpenVINO YOLO26 Benchmarks

Das Ultralytics-Team hat YOLO26 über verschiedene Modellformate und precision hinweg gebenchmarkt und Geschwindigkeit sowie Genauigkeit auf verschiedenen Intel-Geräten evaluiert, die mit OpenVINO kompatibel sind.

Intel® Core™ Ultra

Die Intel® Core™ Ultra™-Serie stellt einen neuen Maßstab im High-Performance-Computing dar, entwickelt, um den wachsenden Anforderungen moderner Nutzer gerecht zu werden – von Gamern und Creatorn bis hin zu Fachleuten, die KI nutzen. Diese Hardware der nächsten Generation ist mehr als eine traditionelle CPU-Serie; sie kombiniert leistungsstarke CPU-Kerne, integrierte High-Performance-GPU-Fähigkeiten und eine dedizierte Neural Processing Unit (NPU) in einem einzigen Chip und bietet eine einheitliche Lösung für vielfältige und intensive Computing-Workloads.

Im Herzen der Intel® Core Ultra™-Architektur steckt ein hybrides Design, das eine außergewöhnliche Leistung über traditionelle Verarbeitungsaufgaben, GPU-beschleunigte Workloads und KI-gesteuerte Operationen hinweg ermöglicht. Die Einbindung der NPU verbessert die On-Device-KI-Inferenz und ermöglicht schnelleres, effizienteres Machine Learning und Datenverarbeitung über eine breite Palette von Anwendungen.

Die Core Ultra™-Familie umfasst verschiedene Modelle, die auf unterschiedliche Leistungsanforderungen zugeschnitten sind, mit Optionen, die von energieeffizienten Designs bis hin zu leistungsstarken Varianten mit der „H“-Bezeichnung reichen – ideal für Laptops und kompakte Formfaktoren, die ernsthafte Rechenleistung erfordern. Über das gesamte Lineup hinweg profitieren Nutzer von der Synergie aus CPU-, GPU- und NPU-Integration, die bemerkenswerte Effizienz, Reaktionsfähigkeit und Multitasking-Fähigkeiten liefert.

Als Teil von Intels kontinuierlicher Innovation setzt die Core Ultra™-Serie einen neuen Standard für zukunftsbereites Computing. Mit mehreren verfügbaren Modellen und weiteren in der Pipeline unterstreicht diese Serie Intels Engagement, modernste Lösungen für die nächste Generation intelligenter, KI-gestärkter Geräte zu liefern.

Die unten stehenden Benchmarks wurden auf Intel® Core™ Ultra™ X7 358H, Intel® Core™ Ultra™ 7 258V und Intel® Core™ Ultra™ 7 155H bei FP32-, FP16- und INT8-Präzision ausgeführt.

Intel® Core™ Ultra™ X7 358H

Benchmarks

Integrierte Intel® Arc™ GPUIntel® Panther Lake CPUIntegrierter Intel® AI Boost NPU

Detaillierte Benchmark-Ergebnisse

Modell	Format	Präzision	Status	Größe (MB)	metrics/mAP50-95(B)	Inferenzzeit (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	25.18
YOLO26n	OpenVINO	FP32	✅	9.6	0.4763	2.67
YOLO26n	OpenVINO	FP16	✅	5.1	0.4763	2.64
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	2.73
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	50.09
YOLO26s	OpenVINO	FP32	✅	36.7	0.5615	3.57
YOLO26s	OpenVINO	FP16	✅	18.6	0.5615	3.55
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	3.09
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	135.1
YOLO26m	OpenVINO	FP32	✅	78.3	0.6168	5.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	5.85
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	4.14
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	169.75
YOLO26l	OpenVINO	FP32	✅	95.3	0.6206	8.14
YOLO26l	OpenVINO	FP16	✅	48.1	0.6206	8.18
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	4.67
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	407.56
YOLO26x	OpenVINO	FP32	✅	213.2	0.6569	13.11
YOLO26x	OpenVINO	FP16	✅	107.1	0.6569	13.15
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	9.24

Intel® Core™ Ultra™ 7 258V

Benchmarks

Integrierte Intel® Arc™ GPUIntel® Lunar Lake CPUIntegrierter Intel® AI Boost NPU

Detaillierte Benchmark-Ergebnisse

Modell	Format	Präzision	Status	Größe (MB)	metrics/mAP50-95(B)	Inferenzzeit (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	31.43
YOLO26n	OpenVINO	FP32	✅	9.6	0.4762	3.57
YOLO26n	OpenVINO	FP16	✅	5.1	0.4762	3.53
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	3.65
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	60.4
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	5.02
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	5.01
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	4.31
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	173.31
YOLO26m	OpenVINO	FP32	✅	78.3	0.6191	9.48
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	9.6
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	6.03
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6173	224.52
YOLO26l	OpenVINO	FP32	✅	95.3	0.3725	11.88
YOLO26l	OpenVINO	FP16	✅	48.1	0.6201	12.0
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	8.47
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	595.72
YOLO26x	OpenVINO	FP32	✅	213.2	0.6567	20.26
YOLO26x	OpenVINO	FP16	✅	107.1	0.6454	20.25
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	14.77

Intel® Core™ Ultra™ 7 155H

Benchmarks

Integrierte Intel® Arc™ GPUIntel® Meteor Lake CPU

Detaillierte Benchmark-Ergebnisse

Modell	Format	Präzision	Status	Größe (MB)	metrics/mAP50-95(B)	Inferenzzeit (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	38.77
YOLO26n	OpenVINO	FP32	✅	9.6	0.4774	9.87
YOLO26n	OpenVINO	FP16	✅	5.1	0.4774	9.84
YOLO26n	OpenVINO	INT8	✅	3.2	0.4705	5.86
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	69.54
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	17.29
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	17.06
YOLO26s	OpenVINO	INT8	✅	10.0	0.5452	10.33
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	192.22
YOLO26m	OpenVINO	FP32	✅	78.3	0.6187	34.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6187	34.75
YOLO26m	OpenVINO	INT8	✅	20.5	0.6073	15.99
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	245.62
YOLO26l	OpenVINO	FP32	✅	95.3	0.6202	43.7
YOLO26l	OpenVINO	FP16	✅	48.1	0.6202	44.65
YOLO26l	OpenVINO	INT8	✅	25.2	0.6048	20.31
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	513.06
YOLO26x	OpenVINO	FP32	✅	213.2	0.6544	80.19
YOLO26x	OpenVINO	FP16	✅	107.1	0.6544	79.83
YOLO26x	OpenVINO	INT8	✅	54.8	0.6393	35.16

Unsere Ergebnisse reproduzieren

Um die oben genannten Ultralytics-Benchmarks für alle Export-formate zu reproduzieren, führe diesen Code aus:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

Fazit

Die Benchmark-Ergebnisse demonstrieren deutlich die Vorteile des Exports des YOLO26-Modells in das OpenVINO-Format. Über verschiedene Modelle und Hardwareplattformen hinweg übertrifft das OpenVINO-Format bei der Inferenzgeschwindigkeit konsistent andere Formate, während es eine vergleichbare Genauigkeit beibehält.

Die Benchmarks unterstreichen die Effektivität von OpenVINO als Werkzeug für die Bereitstellung von Deep-Learning-Modellen. Durch die Konvertierung von Modellen in das OpenVINO-Format können Entwickler signifikante Leistungssteigerungen erzielen, was die Bereitstellung dieser Modelle in realen Anwendungen erleichtert.

Weitere detaillierte Informationen und Anweisungen zur Verwendung von OpenVINO findest du in der offiziellen OpenVINO-Dokumentation.

FAQ

Wie exportiere ich YOLO26-Modelle in das OpenVINO-Format?

Der Export von YOLO26-Modellen in das OpenVINO-Format kann die CPU-Geschwindigkeit erheblich steigern und GPU- sowie NPU-Beschleunigungen auf Intel-Hardware ermöglichen. Zum Exportieren kannst du entweder Python oder die CLI verwenden, wie unten gezeigt:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

Weitere Informationen findest du in der Dokumentation zu Exportformaten.

Was sind die Vorteile der Verwendung von OpenVINO mit YOLO26-Modellen?

Die Verwendung des Intel OpenVINO-Toolkits mit YOLO26-Modellen bietet mehrere Vorteile:

1. Leistung: Erziele eine bis zu 3-fache Beschleunigung bei der CPU-Inferenz und nutze Intel GPUs und NPUs zur Beschleunigung.
2. Modell-Optimierer: Konvertiere, optimiere und führe Modelle aus gängigen Frameworks wie PyTorch, TensorFlow und ONNX aus.
3. Benutzerfreundlichkeit: Es stehen über 80 Tutorial-Notebooks zur Verfügung, um den Einstieg zu erleichtern, einschließlich solcher für YOLO26.
4. Heterogene Ausführung: Stelle Modelle auf verschiedener Intel-Hardware mit einer einheitlichen API bereit.

Für detaillierte Leistungsvergleiche besuche unseren Benchmark-Abschnitt.

Wie kann ich die Inferenz mit einem in OpenVINO exportierten YOLO26-Modell ausführen?

Nachdem du ein YOLO26n-Modell in das OpenVINO-Format exportiert hast, kannst du die Inferenz mit Python oder CLI ausführen:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

Weitere Details findest du in unserer Dokumentation zum Vorhersagemodus.

Warum sollte ich mich für Ultralytics YOLO26 gegenüber anderen Modellen für den OpenVINO-Export entscheiden?

Ultralytics YOLO26 ist für die Objekterkennung in Echtzeit mit hoher Genauigkeit und Geschwindigkeit optimiert. Insbesondere in Kombination mit OpenVINO bietet YOLO26:

• Bis zu 3-fache Beschleunigung auf Intel CPUs
• Nahtlose Bereitstellung auf Intel GPUs und NPUs
• Konsistente und vergleichbare Genauigkeit über verschiedene Exportformate hinweg

Für eine tiefgehende Leistungsanalyse sieh dir unsere detaillierten YOLO26-Benchmarks auf verschiedener Hardware an.

Kann ich YOLO26-Modelle auf verschiedenen Formaten wie PyTorch, ONNX und OpenVINO vergleichen?

Ja, du kannst YOLO26-Modelle in verschiedenen Formaten vergleichen, einschließlich PyTorch, TorchScript, ONNX und OpenVINO. Verwende den folgenden Code-Schnipsel, um Benchmarks für den Datensatz deiner Wahl auszuführen:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

Für detaillierte Benchmark-Ergebnisse siehe unseren Benchmark-Abschnitt und die Dokumentation zu Exportformaten.