Intel OpenVINO Export#

In diesem Leitfaden behandeln wir den Export von YOLO26-Modellen in das OpenVINO-Format, das eine bis zu 3-mal schnellere CPU-Geschwindigkeit sowie eine Beschleunigung der YOLO-Inferenz auf Intel-GPU- und NPU-Hardware bieten kann.

OpenVINO, kurz für Open Visual Inference & Neural Network Optimization toolkit, ist ein umfassendes Toolkit zur Optimierung und Bereitstellung von KI-Inferenzmodellen. Obwohl der Name „Visual“ enthält, unterstützt OpenVINO auch verschiedene zusätzliche Aufgaben wie Sprache, Audio, Zeitreihen usw.

Unterstützte Aufgaben#

Der OpenVINO-Export unterstützt alle sieben Ultralytics-Aufgaben. Semantische Segmentierung und Tiefenschätzung sind nur mit YOLO26 verfügbar, der einzigen Familie, die diese Köpfe bereitstellt.

Anwendungsbeispiele#

Das OpenVINO-Format unterstützt die Modi Export, Predict und Validate. Exportiere dein Modell und lade das exportierte Modell anschließend, um Inferenz auszuführen oder dessen Genauigkeit auf einer Intel-CPU, einer integrierten/dedizierten GPU oder einer NPU zu validieren.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to OpenVINO format
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

from ultralytics import YOLO

# Load the exported OpenVINO model
model = YOLO("yolo26n_openvino_model/")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

# Run inference on a specific device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

from ultralytics import YOLO

# Load the exported OpenVINO model
model = YOLO("yolo26n_openvino_model/")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Export-Argumente#

Weitere Details zum Exportprozess findest du auf der Ultralytics-Dokumentationsseite zum Exportieren.

Vorteile von OpenVINO#

1. Leistung: OpenVINO liefert eine leistungsstarke Inferenz durch die Nutzung der Leistung von Intel CPUs, integrierten und diskreten GPUs sowie FPGAs.
2. Unterstützung für heterogene Ausführung: OpenVINO bietet eine API, um einmal zu schreiben und auf jeder unterstützten Intel-Hardware (CPU, GPU, FPGA, VPU, usw.) bereitzustellen.
3. Model Optimizer: OpenVINO bietet einen Model Optimizer, der Modelle aus gängigen deep learning-Frameworks wie PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle und Caffe importiert, konvertiert und optimiert.
4. Benutzerfreundlichkeit: Das Toolkit enthält eine große Sammlung von tutorial notebooks (einschließlich YOLO26 optimization), die verschiedene Aspekte des Toolkits vermitteln.

Struktur des OpenVINO-Exports#

Wenn du ein Modell in das OpenVINO-Format exportierst, führt dies zu einem Verzeichnis, das Folgendes enthält:

1. XML-Datei: Beschreibt die Netzwerktopologie.
2. BIN-Datei: Enthält die Binärdaten der Gewichte und Biases.
3. Mapping-Datei: Enthält die Zuordnung der ursprünglichen Modellausgabe-Tensoren zu OpenVINO-Tensor-Namen.

Du kannst diese Dateien verwenden, um Inferenz mit der OpenVINO Inference Engine auszuführen.

Verwendung des OpenVINO-Exports bei der Bereitstellung#

Sobald dein Modell erfolgreich in das OpenVINO-Format exportiert wurde, hast du zwei primäre Optionen für die Inferenz:

1. Verwende das Paket ultralytics, das eine High-Level-API bereitstellt und die OpenVINO Runtime umschließt.

2. Verwende das native Paket openvino für eine fortgeschrittenere oder individuellere Steuerung des Inferenzverhaltens.

Inferenz mit Ultralytics#

Mit dem ultralytics-Paket kannst du über die predict-Methode ganz einfach Inferenz mit dem exportierten OpenVINO-Modell ausführen. Du kannst das Zielgerät (z. B. intel:gpu, intel:npu, intel:cpu) auch über das Argument device angeben.

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

Dieser Ansatz ist ideal für schnelles Prototyping oder die Bereitstellung, wenn du keine vollständige Kontrolle über die Inferenz-Pipeline benötigst.

Inferenz mit OpenVINO Runtime#

Die OpenVINO Runtime bietet eine einheitliche API für Inferenz auf gesamter unterstützter Intel-Hardware. Sie bietet zudem erweiterte Funktionen wie Lastenausgleich über Intel-Hardware hinweg und asynchrone Ausführung. Weitere Informationen zur Durchführung von Inferenz findest du in den YOLO26 notebooks.

Denke daran, dass du die XML- und BIN-Dateien sowie anwendungsspezifische Einstellungen wie Eingabegröße, Skalierungsfaktor für die Normalisierung, usw. benötigst, um das Modell korrekt einzurichten und mit der Runtime zu verwenden.

In deiner Bereitstellungsanwendung führst du normalerweise die folgenden Schritte aus:

1. Initialisiere OpenVINO, indem du core = Core() erstellst.
2. Lade das Modell mit der Methode core.read_model().
3. Kompiliere das Modell mit der Funktion core.compile_model().
4. Bereite die Eingabe vor (Bild, Text, Audio, usw.).
5. Führe Inferenz mit compiled_model(input_data) aus.

Ausführlichere Schritte und Code-Snippets findest du in der OpenVINO-Dokumentation oder im API-Tutorial.

OpenVINO YOLO26 Benchmarks#

Das Ultralytics-Team hat YOLO26 über verschiedene Modellformate und precision hinweg gebenchmarkt und dabei Geschwindigkeit und Genauigkeit auf verschiedenen mit OpenVINO kompatiblen Intel-Geräten bewertet.

Intel® Core™ Ultra#

Die Intel® Core™ Ultra™-Serie stellt einen neuen Maßstab im High-Performance-Computing dar und wurde entwickelt, um die wachsenden Anforderungen moderner Nutzer zu erfüllen – von Gamern und Kreativen bis hin zu Profis, die KI nutzen. Diese neue Generation ist mehr als eine herkömmliche CPU-Serie; sie kombiniert leistungsstarke CPU-Kerne, integrierte Hochleistungs-GPU-Funktionen und eine dedizierte Neural Processing Unit (NPU) in einem einzigen Chip und bietet eine einheitliche Lösung für vielfältige und intensive Rechenlasten.

Im Herzen der Intel® Core Ultra™-Architektur liegt ein hybrides Design, das eine außergewöhnliche Leistung bei herkömmlichen Verarbeitungsaufgaben, GPU-beschleunigten Workloads und KI-gesteuerten Operationen ermöglicht. Die Integration der NPU verbessert die On-Device-KI-Inferenz und ermöglicht schnelleres, effizienteres maschinelles Lernen und eine schnellere Datenverarbeitung in einer Vielzahl von Anwendungen.

Die Core Ultra™-Familie umfasst verschiedene Modelle, die auf unterschiedliche Leistungsanforderungen zugeschnitten sind, mit Optionen, die von energieeffizienten Designs bis hin zu Hochleistungs-Varianten mit der Kennzeichnung "H" reichen – ideal für Laptops und kompakte Formfaktoren, die ernsthafte Rechenleistung erfordern. Über das gesamte Sortiment hinweg profitieren Nutzer von der Synergie aus CPU-, GPU- und NPU-Integration, die bemerkenswerte Effizienz, Reaktionsfähigkeit und Multitasking-Fähigkeiten liefert.

Als Teil von Intels kontinuierlicher Innovation setzt die Core Ultra™-Serie einen neuen Standard für das Computing der Zukunft. Mit mehreren verfügbaren Modellen und weiteren in Aussicht, unterstreicht diese Serie Intels Engagement für die Bereitstellung modernster Lösungen für die nächste Generation intelligenter, KI-erweiterter Geräte.

Die Benchmarks unten laufen auf Intel® Core™ Ultra™ X7 358H, Intel® Core™ Ultra™ 7 258V und Intel® Core™ Ultra™ 7 155H mit FP32-, FP16- und INT8-Präzision.

Intel® Core™ Ultra™ X7 358H#

Benchmarks

Integrierte Intel® Arc™ GPUIntel® Panther Lake CPUIntegrierter Intel® AI Boost NPU

Detaillierte Benchmark-Ergebnisse

Modell	Format	Präzision	Status	Größe (MB)	Metriken/mAP50-95(B)	Inferenzzeit (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	29.28
YOLO26n	OpenVINO	FP32	✅	9.7	0.4762	4.09
YOLO26n	OpenVINO	FP16	✅	5.1	0.4762	4.03
YOLO26n	OpenVINO	INT8	✅	3.2	0.4634	4.24
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	59.32
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	5.08
YOLO26s	OpenVINO	FP16	✅	18.7	0.5616	5.14
YOLO26s	OpenVINO	INT8	✅	10.0	0.5462	4.47
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	143.21
YOLO26m	OpenVINO	FP32	✅	78.4	0.6166	7.1
YOLO26m	OpenVINO	FP16	✅	39.5	0.6166	7.06
YOLO26m	OpenVINO	INT8	✅	20.6	0.6055	5.61
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	181.16
YOLO26l	OpenVINO	FP32	✅	95.3	0.6205	8.45
YOLO26l	OpenVINO	FP16	✅	48.1	0.6205	8.49
YOLO26l	OpenVINO	INT8	✅	25.2	0.5938	6.25
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	379.75
YOLO26x	OpenVINO	FP32	✅	213.3	0.6568	13.03
YOLO26x	OpenVINO	FP16	✅	107.1	0.6568	12.98
YOLO26x	OpenVINO	INT8	✅	54.8	0.6385	8.74

Intel® Core™ Ultra™ 7 258V#

Benchmarks

Integrierte Intel® Arc™ GPUIntel® Lunar Lake CPUIntegrierter Intel® AI Boost NPU

Detaillierte Benchmark-Ergebnisse

Modell	Format	Präzision	Status	Größe (MB)	Metriken/mAP50-95(B)	Inferenzzeit (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	27.33
YOLO26n	OpenVINO	FP32	✅	9.6	0.4764	3.33
YOLO26n	OpenVINO	FP16	✅	5.1	0.4764	3.34
YOLO26n	OpenVINO	INT8	✅	3.2	0.4634	3.46
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	60.2
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	4.66
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	4.65
YOLO26s	OpenVINO	INT8	✅	10.0	0.5462	3.99
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	152.87
YOLO26m	OpenVINO	FP32	✅	78.4	0.6168	9.03
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	8.98
YOLO26m	OpenVINO	INT8	✅	20.6	0.6055	5.7
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	201.57
YOLO26l	OpenVINO	FP32	✅	95.3	0.6203	11.32
YOLO26l	OpenVINO	FP16	✅	48.1	0.6203	11.36
YOLO26l	OpenVINO	INT8	✅	25.2	0.5938	7.45
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	431.04
YOLO26x	OpenVINO	FP32	✅	213.2	0.6568	19.08
YOLO26x	OpenVINO	FP16	✅	107.1	0.6568	19.63
YOLO26x	OpenVINO	INT8	✅	54.8	0.6385	13.69

Intel® Core™ Ultra™ 7 155H#

Benchmarks

Integrierte Intel® Arc™ GPUIntel® Meteor Lake CPU

Detaillierte Benchmark-Ergebnisse

Modell	Format	Präzision	Status	Größe (MB)	Metriken/mAP50-95(B)	Inferenzzeit (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	33.19
YOLO26n	OpenVINO	FP32	✅	9.6	0.4758	9.13
YOLO26n	OpenVINO	FP16	✅	5.1	0.4758	9.07
YOLO26n	OpenVINO	INT8	✅	3.2	0.4573	5.79
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	70.92
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	16.37
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	16.65
YOLO26s	OpenVINO	INT8	✅	10.0	0.545	9.27
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	192.45
YOLO26m	OpenVINO	FP32	✅	78.4	0.6167	34.47
YOLO26m	OpenVINO	FP16	✅	39.5	0.6167	35.71
YOLO26m	OpenVINO	INT8	✅	20.6	0.6039	15.46
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	239.19
YOLO26l	OpenVINO	FP32	✅	95.3	0.621	43.24
YOLO26l	OpenVINO	FP16	✅	48.1	0.621	43.4
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	19.72
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	511.89
YOLO26x	OpenVINO	FP32	✅	213.2	0.6552	79.49
YOLO26x	OpenVINO	FP16	✅	107.1	0.6552	79.45
YOLO26x	OpenVINO	INT8	✅	54.8	0.642	34.66

Unsere Ergebnisse reproduzieren#

Um die obigen Ultralytics-Benchmarks für alle Exportformats zu reproduzieren, führe diesen Code aus:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

Fazit#

Die Benchmarking-Ergebnisse demonstrieren eindeutig die Vorteile des Exports des YOLO26 Modells in das OpenVINO-Format. Über verschiedene Modelle und Hardwareplattformen hinweg übertrifft das OpenVINO-Format andere Formate konsistent in Bezug auf die Inferenzgeschwindigkeit, während es eine vergleichbare Genauigkeit beibehält.

Die Benchmarks unterstreichen die Effektivität von OpenVINO als Werkzeug für die Bereitstellung von Deep-Learning-Modellen. Durch die Konvertierung von Modellen in das OpenVINO-Format können Entwickler signifikante Leistungsverbesserungen erzielen, was die Bereitstellung dieser Modelle in realen Anwendungen erleichtert.

Weitere detaillierte Informationen und Anweisungen zur Verwendung von OpenVINO findest du in der offiziellen OpenVINO-Dokumentation.

FAQ#