Link to this sectionIntel OpenVINO Export#

In diesem Leitfaden behandeln wir den Export von YOLO26-Modellen in das OpenVINO-Format, das eine bis zu 3-fache Beschleunigung auf der CPU bieten kann und zudem die YOLO-Inferenz auf Intel GPU und NPU Hardware beschleunigt.

OpenVINO, kurz für Open Visual Inference & Neural Network Optimization Toolkit, ist ein umfassendes Toolkit zur Optimierung und Bereitstellung von KI-Inferenzmodellen. Obwohl der Name „Visual“ enthält, unterstützt OpenVINO auch verschiedene weitere Aufgaben, einschließlich Sprache, Audio, Zeitreihen usw.

Link to this sectionAnwendungsbeispiele#

Das OpenVINO-Format unterstützt die Modi Export, Predict und Validate. Exportiere dein Modell und lade es dann, um eine Inferenz auszuführen oder dessen Genauigkeit auf einer Intel CPU, einer integrierten/dedizierten GPU oder einer NPU zu validieren.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to OpenVINO format
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

from ultralytics import YOLO

# Load the exported OpenVINO model
model = YOLO("yolo26n_openvino_model/")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

# Run inference on a specific device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

from ultralytics import YOLO

# Load the exported OpenVINO model
model = YOLO("yolo26n_openvino_model/")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Link to this sectionExport-Argumente#

Für weitere Details zum Exportprozess besuche die Dokumentationsseite von Ultralytics zum Thema Exportieren.

Link to this sectionVorteile von OpenVINO#

1. Leistung: OpenVINO liefert eine leistungsstarke Inferenz durch Nutzung der Rechenleistung von Intel-CPUs, integrierten und dedizierten GPUs sowie FPGAs.
2. Unterstützung für heterogene Ausführung: OpenVINO bietet eine API, um einmal zu schreiben und auf jeder unterstützten Intel-Hardware (CPU, GPU, FPGA, VPU usw.) bereitzustellen.
3. Model Optimizer: OpenVINO bietet einen Model Optimizer, der Modelle aus gängigen Frameworks für Deep Learning wie PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle und Caffe importiert, konvertiert und optimiert.
4. Benutzerfreundlichkeit: Das Toolkit enthält eine große Sammlung von Tutorial-Notebooks (einschließlich YOLO26-Optimierung), die verschiedene Aspekte des Toolkits vermitteln.

Link to this sectionOpenVINO-Exportstruktur#

Wenn du ein Modell in das OpenVINO-Format exportierst, resultiert dies in einem Verzeichnis, das Folgendes enthält:

1. XML-Datei: Beschreibt die Netzwerktopologie.
2. BIN-Datei: Enthält die Binärdaten der Gewichte und Biases.
3. Mapping-Datei: Enthält die Zuordnung der ursprünglichen Modellausgabe-Tensoren zu den OpenVINO-Tensor-Namen.

Du kannst diese Dateien verwenden, um eine Inferenz mit der OpenVINO Inference Engine auszuführen.

Link to this sectionVerwendung des OpenVINO-Exports in der Bereitstellung#

Sobald dein Modell erfolgreich in das OpenVINO-Format exportiert wurde, hast du zwei primäre Optionen für die Ausführung der Inferenz:

1. Verwende das ultralytics-Paket, das eine High-Level-API bereitstellt und die OpenVINO Runtime umschließt.

2. Verwende das native openvino-Paket für eine fortgeschrittenere oder individuell angepasste Kontrolle über das Inferenzverhalten.

Link to this sectionInferenz mit Ultralytics#

The ultralytics package allows you to easily run inference using the exported OpenVINO model via the predict method. You can also specify the target device (e.g., intel:gpu, intel:npu, intel:cpu) using the device argument.

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

Dieser Ansatz ist ideal für schnelles Prototyping oder die Bereitstellung, wenn du keine vollständige Kontrolle über die Inferenz-Pipeline benötigst.

Link to this sectionInferenz mit OpenVINO Runtime#

Die OpenVINO Runtime bietet eine vereinheitlichte API für die Inferenz auf allen unterstützten Intel-Hardwareplattformen. Sie bietet zudem erweiterte Funktionen wie Lastverteilung auf Intel-Hardware und asynchrone Ausführung. Weitere Informationen zur Durchführung der Inferenz findest du in den YOLO26-Notebooks.

Denke daran, dass du die XML- und BIN-Dateien sowie alle anwendungsspezifischen Einstellungen wie Eingabegröße, Skalierungsfaktor für die Normalisierung usw. benötigst, um das Modell korrekt mit der Runtime einzurichten und zu nutzen.

In deiner Bereitstellungsanwendung würdest du typischerweise die folgenden Schritte durchführen:

1. Initialisiere OpenVINO durch Erstellen von core = Core().
2. Lade das Modell mit der Methode core.read_model().
3. Kompiliere das Modell mit der Funktion core.compile_model().
4. Bereite die Eingabe vor (Bild, Text, Audio usw.).
5. Führe die Inferenz mit compiled_model(input_data) aus.

Für detailliertere Schritte und Code-Schnipsel schaue in die OpenVINO-Dokumentation oder das API-Tutorial.

Link to this sectionOpenVINO YOLO26 Benchmarks#

Das Ultralytics-Team hat YOLO26 über verschiedene Modellformate und Präzisionen hinweg gebenchmarkt und Geschwindigkeit sowie Genauigkeit auf verschiedenen Intel-Geräten bewertet, die mit OpenVINO kompatibel sind.

Link to this sectionIntel® Core™ Ultra#

Die Intel® Core™ Ultra™-Serie stellt einen neuen Maßstab im Hochleistungsrechnen dar, entwickelt, um die wachsenden Anforderungen moderner Nutzer zu erfüllen – von Gamern und Creatorn bis hin zu Fachleuten, die KI nutzen. Diese Reihe der nächsten Generation ist mehr als eine traditionelle CPU-Serie; sie kombiniert leistungsstarke CPU-Kerne, integrierte Hochleistungs-GPU-Funktionen und eine dedizierte Neural Processing Unit (NPU) in einem einzigen Chip und bietet somit eine einheitliche Lösung für vielfältige und intensive Rechenlasten.

Das Herzstück der Intel® Core Ultra™-Architektur ist ein hybrides Design, das eine außergewöhnliche Leistung über traditionelle Verarbeitungstasks, GPU-beschleunigte Workloads und KI-gesteuerte Operationen hinweg ermöglicht. Die Integration der NPU verbessert die On-Device-KI-Inferenz und ermöglicht schnelleres, effizienteres maschinelles Lernen sowie Datenverarbeitung über eine breite Palette von Anwendungen hinweg.

Die Core Ultra™-Familie beinhaltet verschiedene Modelle, die auf unterschiedliche Leistungsanforderungen zugeschnitten sind, mit Optionen von energieeffizienten Designs bis hin zu leistungsstarken Varianten mit der „H“-Bezeichnung – ideal für Laptops und kompakte Formfaktoren, die ernsthafte Rechenleistung erfordern. Über die gesamte Reihe hinweg profitieren Nutzer von der Synergie aus CPU-, GPU- und NPU-Integration, die bemerkenswerte Effizienz, Reaktionsfähigkeit und Multitasking-Fähigkeiten liefert.

Als Teil von Intels kontinuierlicher Innovation setzt die Core Ultra™-Serie einen neuen Standard für zukunftssicheres Rechnen. Mit mehreren verfügbaren Modellen und weiteren in Aussicht unterstreicht diese Serie Intels Engagement, modernste Lösungen für die nächste Generation intelligenter, KI-gestützter Geräte zu liefern.

Die untenstehenden Benchmarks wurden auf Intel® Core™ Ultra™ X7 358H, Intel® Core™ Ultra™ 7 258V und Intel® Core™ Ultra™ 7 155H bei FP32-, FP16- und INT8-Präzision ausgeführt.

Link to this sectionIntel® Core™ Ultra™ X7 358H#

Benchmarks

Integrierte Intel® Arc™ GPUIntel® Panther Lake CPUIntegrierter Intel® AI Boost NPU

Detaillierte Benchmark-Ergebnisse

Modell	Format	Präzision	Status	Größe (MB)	metrics/mAP50-95(B)	Inferenzzeit (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	25.18
YOLO26n	OpenVINO	FP32	✅	9.6	0.4763	2.67
YOLO26n	OpenVINO	FP16	✅	5.1	0.4763	2.64
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	2.73
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	50.09
YOLO26s	OpenVINO	FP32	✅	36.7	0.5615	3.57
YOLO26s	OpenVINO	FP16	✅	18.6	0.5615	3.55
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	3.09
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	135.1
YOLO26m	OpenVINO	FP32	✅	78.3	0.6168	5.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	5.85
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	4.14
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	169.75
YOLO26l	OpenVINO	FP32	✅	95.3	0.6206	8.14
YOLO26l	OpenVINO	FP16	✅	48.1	0.6206	8.18
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	4.67
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	407.56
YOLO26x	OpenVINO	FP32	✅	213.2	0.6569	13.11
YOLO26x	OpenVINO	FP16	✅	107.1	0.6569	13.15
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	9.24

Link to this sectionIntel® Core™ Ultra™ 7 258V#

Benchmarks

Integrierte Intel® Arc™ GPUIntel® Lunar Lake CPUIntegrierter Intel® AI Boost NPU

Detaillierte Benchmark-Ergebnisse

Modell	Format	Präzision	Status	Größe (MB)	metrics/mAP50-95(B)	Inferenzzeit (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	31,43
YOLO26n	OpenVINO	FP32	✅	9.6	0,4762	3.57
YOLO26n	OpenVINO	FP16	✅	5.1	0,4762	3,53
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	3,65
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	60,4
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	5,02
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	5,01
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	4,31
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	173,31
YOLO26m	OpenVINO	FP32	✅	78.3	0.6191	9,48
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	9.6
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	6,03
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0,6173	224,52
YOLO26l	OpenVINO	FP32	✅	95.3	0,3725	11,88
YOLO26l	OpenVINO	FP16	✅	48.1	0.6201	12,0
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	8,47
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	595,72
YOLO26x	OpenVINO	FP32	✅	213.2	0,6567	20,26
YOLO26x	OpenVINO	FP16	✅	107.1	0,6454	20,25
YOLO26x	OpenVINO	INT8	✅	54.8	0.6374	14,77

Link to this sectionIntel® Core™ Ultra™ 7 155H#

Benchmarks

Integrierte Intel® Arc™ GPUIntel® Meteor Lake CPU

Detaillierte Benchmark-Ergebnisse

Modell	Format	Präzision	Status	Größe (MB)	metrics/mAP50-95(B)	Inferenzzeit (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	38,77
YOLO26n	OpenVINO	FP32	✅	9.6	0,4774	9,87
YOLO26n	OpenVINO	FP16	✅	5.1	0,4774	9,84
YOLO26n	OpenVINO	INT8	✅	3.2	0,4705	5,86
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	69,54
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	17,29
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	17,06
YOLO26s	OpenVINO	INT8	✅	10.0	0,5452	10,33
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	192,22
YOLO26m	OpenVINO	FP32	✅	78.3	0,6187	34,64
YOLO26m	OpenVINO	FP16	✅	39.5	0,6187	34,75
YOLO26m	OpenVINO	INT8	✅	20.5	0,6073	15,99
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	245,62
YOLO26l	OpenVINO	FP32	✅	95.3	0,6202	43,7
YOLO26l	OpenVINO	FP16	✅	48.1	0,6202	44,65
YOLO26l	OpenVINO	INT8	✅	25.2	0,6048	20,31
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	513,06
YOLO26x	OpenVINO	FP32	✅	213.2	0,6544	80,19
YOLO26x	OpenVINO	FP16	✅	107.1	0,6544	79,83
YOLO26x	OpenVINO	INT8	✅	54.8	0,6393	35,16

Link to this sectionUnsere Ergebnisse reproduzieren#

Um die oben genannten Ultralytics Benchmarks für alle Export-Formate zu reproduzieren, führe diesen Code aus:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

Link to this sectionFazit#

Die Benchmarking-Ergebnisse demonstrieren deutlich die Vorteile des Exports des YOLO26 Modells in das OpenVINO Format. Über verschiedene Modelle und Hardware-Plattformen hinweg übertrifft das OpenVINO Format andere Formate in Bezug auf die Inferenzgeschwindigkeit konsistent, während die Genauigkeit vergleichbar bleibt.

Die Benchmarks unterstreichen die Effektivität von OpenVINO als Werkzeug für die Bereitstellung von Deep Learning Modellen. Durch die Konvertierung von Modellen in das OpenVINO Format können Entwickler signifikante Leistungsverbesserungen erzielen, was die Bereitstellung dieser Modelle in realen Anwendungen erleichtert.

Für detailliertere Informationen und Anweisungen zur Verwendung von OpenVINO, siehe die offizielle OpenVINO Dokumentation.

Link to this sectionFAQ#

Link to this sectionWie exportiere ich YOLO26 Modelle in das OpenVINO Format?#

Der Export von YOLO26 Modellen in das OpenVINO Format kann die CPU-Geschwindigkeit signifikant erhöhen und GPU- sowie NPU-Beschleunigungen auf Intel Hardware ermöglichen. Zum Exportieren kannst du entweder Python oder die CLI verwenden, wie unten gezeigt:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

Weitere Informationen findest du in der Dokumentation zu Exportformaten.

Link to this sectionWas sind die Vorteile der Verwendung von OpenVINO mit YOLO26 Modellen?#

Die Verwendung des Intel OpenVINO Toolkits mit YOLO26 Modellen bietet mehrere Vorteile:

1. Leistung: Erziele eine bis zu 3-fache Beschleunigung bei der CPU-Inferenz und nutze Intel GPUs und NPUs zur Beschleunigung.
2. Model Optimizer: Konvertiere, optimiere und führe Modelle aus populären Frameworks wie PyTorch, TensorFlow und ONNX aus.
3. Benutzerfreundlichkeit: Eine große Sammlung von Tutorial-Notebooks ist verfügbar, um Benutzern den Einstieg zu erleichtern, einschließlich solcher für YOLO26.
4. Heterogene Ausführung: Stelle Modelle auf verschiedener Intel Hardware mit einer einheitlichen API bereit.

Detaillierte Leistungsvergleiche findest du in unserem Benchmark-Abschnitt.

Link to this sectionWie kann ich die Inferenz mit einem in OpenVINO exportierten YOLO26 Modell ausführen?#

Nachdem du ein YOLO26n Modell in das OpenVINO Format exportiert hast, kannst du die Inferenz mittels Python oder CLI ausführen:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

Weitere Details findest du in unserer Dokumentation zum Vorhersagemodus.

Link to this sectionWarum sollte ich mich für Ultralytics YOLO26 gegenüber anderen Modellen für den OpenVINO Export entscheiden?#

Ultralytics YOLO26 ist für Echtzeit-Objekterkennung mit hoher Genauigkeit und Geschwindigkeit optimiert. Insbesondere in Kombination mit OpenVINO bietet YOLO26:

• Bis zu 3-fache Geschwindigkeitssteigerung auf Intel CPUs
• Nahtlose Bereitstellung auf Intel GPUs und NPUs
• Konsistente und vergleichbare Genauigkeit über verschiedene Exportformate hinweg

Für eine eingehende Leistungsanalyse sieh dir unsere detaillierten YOLO26 Benchmarks auf verschiedenen Hardwareplattformen an.

Link to this sectionKann ich YOLO26 Modelle auf verschiedenen Formaten wie PyTorch, ONNX und OpenVINO benchmarken?#

Ja, du kannst YOLO26 Modelle in verschiedenen Formaten benchmarken, einschließlich PyTorch, TorchScript, ONNX und OpenVINO. Verwende den folgenden Code-Schnipsel, um Benchmarks für deinen gewählten Datensatz auszuführen:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

Detaillierte Benchmark-Ergebnisse findest du in unserem Benchmark-Abschnitt sowie in der Dokumentation zu Exportformaten.