Intel OpenVINO-Export#

In diesem Leitfaden zeigen wir, wie du YOLO26-Modelle ins Format OpenVINO exportierst. Damit lässt sich die Geschwindigkeit auf der CPU um bis zu das Dreifache steigern und die YOLO-Inferenz auf Intel-GPU- und NPU-Hardware beschleunigen.

OpenVINO, kurz für Open Visual Inference & neuronales Netzwerk-Optimierungstoolkit, ist ein umfassendes Toolkit zur Optimierung und Bereitstellung von KI-Inferenzmodellen. Obwohl der Name den Begriff „Visual“ enthält, unterstützt OpenVINO auch verschiedene weitere Aufgaben, darunter Sprache, Audio, Zeitreihen und mehr.

Unterstützte Aufgaben#

Der OpenVINO-Export unterstützt alle sieben Ultralytics-Aufgaben. Semantische Segmentierung und Tiefenschätzung sind nur mit YOLO26 verfügbar, der einzigen Modellfamilie, die diese Köpfe enthält.

Installation#

Installiere die Abhängigkeiten für den OpenVINO-Export mit:

pip install "ultralytics[export-openvino]"

Diese Abhängigkeiten sind auch in ultralytics[export] enthalten und werden bei Bedarf automatisch für einen Export installiert.

Anwendungsbeispiele#

Das OpenVINO-Format unterstützt die Modi Export, Vorhersage und Validierung. Exportiere dein Modell und lade es anschließend, um Inferenz auszuführen oder seine Genauigkeit auf einer Intel-CPU, einer integrierten oder separaten GPU oder einer NPU zu überprüfen.

from ultralytics import YOLO

# Ein YOLO26-Modell laden
model = YOLO("yolo26n.pt")

# Modell ins OpenVINO-Format exportieren
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

from ultralytics import YOLO

# Das exportierte OpenVINO-Modell laden
model = YOLO("yolo26n_openvino_model/")

# Inferenz ausführen
results = model("https://ultralytics.com/images/bus.jpg")

# Inferenz auf einem bestimmten Gerät ausführen; verfügbare Geräte: ["intel:gpu", "intel:npu", "intel:cpu"]
results = model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

from ultralytics import YOLO

# Das exportierte OpenVINO-Modell laden
model = YOLO("yolo26n_openvino_model/")

# Die Genauigkeit anhand des COCO8-Datensatzes validieren
metrics = model.val(data="coco8.yaml")

Exportargumente#

Weitere Informationen zum Exportvorgang findest du auf der Ultralytics-Dokumentationsseite zum Export.

Vorteile von OpenVINO#

1. Leistung: OpenVINO ermöglicht leistungsstarke Inferenz, indem es die Leistung von Intel-CPUs, integrierten und separaten GPUs sowie FPGAs nutzt.
2. Unterstützung heterogener Ausführung: OpenVINO bietet eine API, mit der du einmal entwickelst und deine Lösung auf jeder unterstützten Intel-Hardware (CPU, GPU, FPGA, VPU usw.) bereitstellst.
3. Modelloptimierer: OpenVINO enthält einen Modelloptimierer, der Modelle aus gängigen Frameworks für Deep Learning wie PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle und Caffe importiert, konvertiert und optimiert.
4. Einfache Nutzung: Das Toolkit enthält eine umfangreiche Sammlung von Tutorial-Notebooks, darunter YOLO26-Optimierung, die verschiedene Aspekte des Toolkits vermitteln.

Aufbau des OpenVINO-Exports#

Beim Export eines Modells ins OpenVINO-Format wird ein Verzeichnis mit den folgenden Dateien erstellt:

1. XML-Datei: Beschreibt die Netzwerktopologie.
2. BIN-Datei: Enthält die binären Daten zu Gewichten und Biases.
3. Metadatendatei: metadata.yaml enthält Modellmetadaten wie Klassennamen, Bildgröße und Aufgabe, die Ultralytics beim Laden des Modells ausliest.

Mit diesen Dateien kannst du Inferenz mit der OpenVINO Runtime ausführen.

OpenVINO-Export bei der Bereitstellung verwenden#

Nachdem du dein Modell erfolgreich ins OpenVINO-Format exportiert hast, stehen dir zwei Hauptoptionen für die Inferenz zur Verfügung:

1. Verwende das Paket ultralytics, das eine High-Level-API bereitstellt und die OpenVINO Runtime einbindet.

2. Verwende das native Paket openvino, um das Inferenzverhalten umfassender oder individueller zu steuern.

Inferenz mit Ultralytics#

Mit dem Paket ultralytics kannst du über die Methode predict ganz einfach Inferenz mit dem exportierten OpenVINO-Modell ausführen. Über das Argument device kannst du auch das Zielgerät angeben, zum Beispiel intel:gpu, intel:npu, intel:cpu.

from ultralytics import YOLO

# Das exportierte OpenVINO-Modell laden
ov_model = YOLO("yolo26n_openvino_model/")  # Pfad zu deinem exportierten OpenVINO-Modell
# Inferenz mit dem exportierten Modell ausführen
ov_model.predict(device="intel:gpu")  # Gib das Gerät an, auf dem die Inferenz ausgeführt werden soll

Dieser Ansatz eignet sich ideal für schnelles Prototyping oder die Bereitstellung, wenn du keine vollständige Kontrolle über die Inferenzpipeline benötigst.

Inferenz mit der OpenVINO Runtime#

Die OpenVINO Runtime bietet eine einheitliche API für Inferenz auf allen unterstützten Intel-Geräten. Außerdem stehen erweiterte Funktionen wie Lastverteilung auf Intel-Hardware und asynchrone Ausführung zur Verfügung. Weitere Informationen zur Inferenz findest du in den YOLO26-Notebooks.

Beachte: Für die korrekte Einrichtung und Verwendung des Modells mit der Runtime benötigst du die XML- und BIN-Dateien sowie anwendungsspezifische Einstellungen wie Eingabegröße, Skalierungsfaktor für die Normalisierung usw.

In deiner Bereitstellungsanwendung würdest du normalerweise die folgenden Schritte ausführen:

1. Initialisiere OpenVINO, indem du core = Core() erstellst.
2. Lade das Modell mit der Methode core.read_model().
3. Kompiliere das Modell mit der Funktion core.compile_model().
4. Bereite die Eingabe vor (Bild, Text, Audio usw.).
5. Führe die Inferenz mit compiled_model(input_data) aus.

Ausführlichere Schritte und Codebeispiele findest du in der OpenVINO-Dokumentation oder im API-Tutorial.

YOLO26-Benchmarks mit OpenVINO#

Das Ultralytics-Team hat YOLO26 in verschiedenen Modellformaten getestet und Genauigkeit sowie Geschwindigkeit auf unterschiedlichen OpenVINO-kompatiblen Intel-Geräten ausgewertet.

Intel® Core™ Ultra#

Die Intel® Core™ Ultra™-Serie setzt neue Maßstäbe im Hochleistungsrechnen und wurde für die wachsenden Anforderungen moderner Nutzer entwickelt – von Gamern und Kreativen bis hin zu Fachleuten, die KI einsetzen. Diese Produktreihe der nächsten Generation ist mehr als eine herkömmliche CPU-Serie: Sie vereint leistungsstarke CPU-Kerne, integrierte Hochleistungs-GPU-Funktionen und eine dedizierte Neuronale Verarbeitungseinheit (NPU) in einem einzigen Chip. So bietet sie eine einheitliche Lösung für vielfältige und anspruchsvolle Rechenlasten.

Das Herzstück der Intel® Core Ultra™-Architektur ist ein hybrides Design, das außergewöhnliche Leistung bei herkömmlichen Verarbeitungsaufgaben, GPU-beschleunigten Workloads und KI-gestützten Vorgängen ermöglicht. Die integrierte NPU verbessert die KI-Inferenz direkt auf dem Gerät und ermöglicht so schnelleres und effizienteres maschinelles Lernen sowie eine zügigere Datenverarbeitung in vielen Anwendungsbereichen.

Die Core Ultra™-Familie umfasst verschiedene Modelle für unterschiedliche Leistungsanforderungen. Zur Auswahl stehen energieeffiziente Ausführungen und leistungsstarke Varianten mit der Kennzeichnung „H“ – ideal für Laptops und kompakte Geräte, die hohe Rechenleistung benötigen. Die gesamte Produktreihe profitiert von der gemeinsamen Integration von CPU, GPU und NPU, die bemerkenswerte Effizienz, Reaktionsfähigkeit und Multitasking-Funktionen ermöglicht.

Als Teil der fortlaufenden Innovation von Intel setzt die Core Ultra™-Serie einen neuen Maßstab für zukunftsfähiges Computing. Mit mehreren verfügbaren Modellen und weiteren in Aussicht unterstreicht diese Serie Intels Engagement, fortschrittliche Lösungen für die nächste Generation intelligenter, KI-gestützter Geräte bereitzustellen.

Die folgenden Benchmarks wurden mit Intel® Core™ Ultra™ X7 358H, Intel® Core™ Ultra™ 7 258V und Intel® Core™ Ultra™ 7 155H mit FP32-, FP16- und INT8-Genauigkeit ausgeführt.

Intel® Core™ Ultra™ X7 358H#

Benchmarks

Integrierte Intel® Arc™ GPUIntel® Panther Lake CPUIntegrierte Intel® AI Boost NPU

Detaillierte Benchmark-Ergebnisse

Modell	Format	Precision	Status	Größe (MB)	metrics/mAP50-95(B)	Inferenzzeit (ms/Bild)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	29.28
YOLO26n	OpenVINO	FP32	✅	9.7	0.4762	4.09
YOLO26n	OpenVINO	FP16	✅	5.1	0.4762	4.03
YOLO26n	OpenVINO	INT8	✅	3.2	0.4634	4.24
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	59.32
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	5.08
YOLO26s	OpenVINO	FP16	✅	18.7	0.5616	5.14
YOLO26s	OpenVINO	INT8	✅	10.0	0.5462	4.47
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	143.21
YOLO26m	OpenVINO	FP32	✅	78.4	0.6166	7.1
YOLO26m	OpenVINO	FP16	✅	39.5	0.6166	7.06
YOLO26m	OpenVINO	INT8	✅	20.6	0.6055	5.61
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	181.16
YOLO26l	OpenVINO	FP32	✅	95.3	0.6205	8.45
YOLO26l	OpenVINO	FP16	✅	48.1	0.6205	8.49
YOLO26l	OpenVINO	INT8	✅	25.2	0.5938	6.25
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	379.75
YOLO26x	OpenVINO	FP32	✅	213.3	0.6568	13.03
YOLO26x	OpenVINO	FP16	✅	107.1	0.6568	12.98
YOLO26x	OpenVINO	INT8	✅	54.8	0.6385	8.74

Intel® Core™ Ultra™ 7 258V#

Benchmarks

Integrierte Intel® Arc™ GPUIntel® Lunar Lake CPUIntegrierte Intel® AI Boost NPU

Detaillierte Benchmark-Ergebnisse

Modell	Format	Precision	Status	Größe (MB)	metrics/mAP50-95(B)	Inferenzzeit (ms/Bild)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	27.33
YOLO26n	OpenVINO	FP32	✅	9.6	0.4764	3.33
YOLO26n	OpenVINO	FP16	✅	5.1	0.4764	3.34
YOLO26n	OpenVINO	INT8	✅	3.2	0.4634	3.46
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	60.2
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	4.66
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	4.65
YOLO26s	OpenVINO	INT8	✅	10.0	0.5462	3.99
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	152.87
YOLO26m	OpenVINO	FP32	✅	78.4	0.6168	9.03
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	8.98
YOLO26m	OpenVINO	INT8	✅	20.6	0.6055	5.7
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	201.57
YOLO26l	OpenVINO	FP32	✅	95.3	0.6203	11.32
YOLO26l	OpenVINO	FP16	✅	48.1	0.6203	11.36
YOLO26l	OpenVINO	INT8	✅	25.2	0.5938	7.45
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	431.04
YOLO26x	OpenVINO	FP32	✅	213.2	0.6568	19.08
YOLO26x	OpenVINO	FP16	✅	107.1	0.6568	19.63
YOLO26x	OpenVINO	INT8	✅	54.8	0.6385	13.69

Intel® Core™ Ultra™ 7 155H#

Benchmarks

Integrierte Intel® Arc™ GPUIntel® Meteor Lake CPU

Detaillierte Benchmark-Ergebnisse

Modell	Format	Precision	Status	Größe (MB)	metrics/mAP50-95(B)	Inferenzzeit (ms/Bild)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	33.19
YOLO26n	OpenVINO	FP32	✅	9.6	0.4758	9.13
YOLO26n	OpenVINO	FP16	✅	5.1	0.4758	9.07
YOLO26n	OpenVINO	INT8	✅	3.2	0.4573	5.79
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	70.92
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	16.37
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	16.65
YOLO26s	OpenVINO	INT8	✅	10.0	0.545	9.27
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	192.45
YOLO26m	OpenVINO	FP32	✅	78.4	0.6167	34.47
YOLO26m	OpenVINO	FP16	✅	39.5	0.6167	35.71
YOLO26m	OpenVINO	INT8	✅	20.6	0.6039	15.46
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	239.19
YOLO26l	OpenVINO	FP32	✅	95.3	0.621	43.24
YOLO26l	OpenVINO	FP16	✅	48.1	0.621	43.4
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	19.72
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	511.89
YOLO26x	OpenVINO	FP32	✅	213.2	0.6552	79.49
YOLO26x	OpenVINO	FP16	✅	107.1	0.6552	79.45
YOLO26x	OpenVINO	INT8	✅	54.8	0.642	34.66

Unsere Ergebnisse reproduzieren#

Um die obigen Ultralytics-Benchmarks für alle Export-Formate nachzustellen, führe diesen Code aus:

from ultralytics import YOLO

# Ein YOLO26n-PyTorch-Modell laden
model = YOLO("yolo26n.pt")

# Benchmark für Geschwindigkeit und Genauigkeit von YOLO26n auf dem COCO128-Datensatz für alle Exportformate
results = model.benchmark(data="coco128.yaml")

Fazit#

Die Benchmark-Ergebnisse zeigen deutlich die Vorteile des Exports des YOLO26-Modells ins OpenVINO-Format. Bei verschiedenen Modellen und Hardwareplattformen ist das OpenVINO-Format hinsichtlich der Inferenzgeschwindigkeit durchgehend schneller als andere Formate und erreicht dabei eine vergleichbare Genauigkeit.

Die Benchmarks unterstreichen die Wirksamkeit von OpenVINO als Werkzeug für die Bereitstellung von Deep-Learning-Modellen. Wenn du Modelle ins OpenVINO-Format konvertierst, kannst du erhebliche Leistungsverbesserungen erzielen und diese Modelle einfacher in realen Anwendungen einsetzen.

Ausführlichere Informationen und Anleitungen zur Verwendung von OpenVINO findest du in der offiziellen OpenVINO-Dokumentation.

Häufig gestellte Fragen#