Link to this sectionIntel OpenVINO Export#

In diesem Leitfaden behandeln wir den Export von YOLO26-Modellen in das OpenVINO-Format, das eine bis zu dreifache CPU-Beschleunigung bieten kann sowie die YOLO-Inferenz auf Intel GPU- und NPU-Hardware beschleunigt.

OpenVINO, kurz für Open Visual Inference & Neural Network Optimization Toolkit, ist ein umfassendes Toolkit zur Optimierung und Bereitstellung von KI-Inferenzmodellen. Obwohl der Name "Visual" enthält, unterstützt OpenVINO auch verschiedene zusätzliche Aufgaben, darunter Sprache, Audio, Zeitreihen usw.

Link to this sectionAnwendungsbeispiele#

Das OpenVINO-Format unterstützt die Modi Export, Predict und Validate. Exportiere dein Modell und lade das exportierte Modell dann, um Inferenz auszuführen oder dessen Genauigkeit auf Intel CPU, integrierter/diskretet GPU oder NPU zu validieren.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to OpenVINO format
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

from ultralytics import YOLO

# Load the exported OpenVINO model
model = YOLO("yolo26n_openvino_model/")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

# Run inference on a specific device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

from ultralytics import YOLO

# Load the exported OpenVINO model
model = YOLO("yolo26n_openvino_model/")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Link to this sectionExport-Argumente#

Weitere Details zum Exportprozess findest du auf der Ultralytics-Dokumentationsseite zum Exportieren.

Link to this sectionVorteile von OpenVINO#

1. Leistung: OpenVINO liefert eine leistungsstarke Inferenz durch die Nutzung der Leistung von Intel CPUs, integrierten und diskreten GPUs sowie FPGAs.
2. Unterstützung für heterogene Ausführung: OpenVINO bietet eine API, um einmal zu schreiben und auf jeder unterstützten Intel-Hardware (CPU, GPU, FPGA, VPU, usw.) bereitzustellen.
3. Model Optimizer: OpenVINO bietet einen Model Optimizer, der Modelle aus gängigen Deep Learning-Frameworks wie PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle und Caffe importiert, konvertiert und optimiert.
4. Benutzerfreundlichkeit: Das Toolkit enthält eine große Sammlung von Tutorial-Notebooks (einschließlich YOLO26-Optimierung), die verschiedene Aspekte des Toolkits vermitteln.

Link to this sectionStruktur des OpenVINO-Exports#

Wenn du ein Modell in das OpenVINO-Format exportierst, führt dies zu einem Verzeichnis, das Folgendes enthält:

1. XML-Datei: Beschreibt die Netzwerktopologie.
2. BIN-Datei: Enthält die Binärdaten der Gewichte und Biases.
3. Mapping-Datei: Enthält die Zuordnung der ursprünglichen Modellausgabe-Tensoren zu OpenVINO-Tensor-Namen.

Du kannst diese Dateien verwenden, um Inferenz mit der OpenVINO Inference Engine auszuführen.

Link to this sectionVerwendung des OpenVINO-Exports bei der Bereitstellung#

Sobald dein Modell erfolgreich in das OpenVINO-Format exportiert wurde, hast du zwei primäre Optionen für die Inferenz:

1. Verwende das ultralytics-Paket, das eine High-Level-API bereitstellt und die OpenVINO Runtime umschließt.

2. Verwende das native openvino-Paket für eine fortgeschrittenere oder individuellere Kontrolle über das Inferenzverhalten.

Link to this sectionInferenz mit Ultralytics#

Das ultralytics-Paket ermöglicht es dir, Inferenz einfach über die predict-Methode mit dem exportierten OpenVINO-Modell auszuführen. Du kannst auch das Zielgerät (z. B. intel:gpu, intel:npu, intel:cpu) mithilfe des device-Arguments angeben.

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

Dieser Ansatz ist ideal für schnelles Prototyping oder die Bereitstellung, wenn du keine vollständige Kontrolle über die Inferenz-Pipeline benötigst.

Link to this sectionInferenz mit OpenVINO Runtime#

Die OpenVINO Runtime bietet eine einheitliche API für Inferenz auf aller unterstützten Intel-Hardware. Sie bietet zudem erweiterte Funktionen wie Lastverteilung über Intel-Hardware hinweg und asynchrone Ausführung. Weitere Informationen zur Ausführung der Inferenz findest du in den YOLO26-Notebooks.

Denke daran, dass du die XML- und BIN-Dateien sowie anwendungsspezifische Einstellungen wie Eingabegröße, Skalierungsfaktor für die Normalisierung, usw. benötigst, um das Modell korrekt einzurichten und mit der Runtime zu verwenden.

In deiner Bereitstellungsanwendung führst du normalerweise die folgenden Schritte aus:

1. Initialisiere OpenVINO, indem du core = Core() erstellst.
2. Lade das Modell mit der core.read_model()-Methode.
3. Kompiliere das Modell mit der core.compile_model()-Funktion.
4. Bereite die Eingabe vor (Bild, Text, Audio, usw.).
5. Führe die Inferenz mit compiled_model(input_data) aus.

Für detailliertere Schritte und Codebeispiele siehe die OpenVINO-Dokumentation oder das API-Tutorial.

Link to this sectionOpenVINO YOLO26 Benchmarks#

Das Ultralytics-Team hat YOLO26 über verschiedene Modellformate und Präzisionen hinweg gebenchmarkt und dabei Geschwindigkeit und Genauigkeit auf verschiedenen Intel-Geräten evaluiert, die mit OpenVINO kompatibel sind.

Link to this sectionIntel® Core™ Ultra#

Die Intel® Core™ Ultra™-Serie stellt einen neuen Maßstab im High-Performance-Computing dar und wurde entwickelt, um die wachsenden Anforderungen moderner Nutzer zu erfüllen – von Gamern und Kreativen bis hin zu Profis, die KI nutzen. Diese neue Generation ist mehr als eine herkömmliche CPU-Serie; sie kombiniert leistungsstarke CPU-Kerne, integrierte Hochleistungs-GPU-Funktionen und eine dedizierte Neural Processing Unit (NPU) in einem einzigen Chip und bietet eine einheitliche Lösung für vielfältige und intensive Rechenlasten.

Im Herzen der Intel® Core Ultra™-Architektur liegt ein hybrides Design, das eine außergewöhnliche Leistung bei herkömmlichen Verarbeitungsaufgaben, GPU-beschleunigten Workloads und KI-gesteuerten Operationen ermöglicht. Die Integration der NPU verbessert die On-Device-KI-Inferenz und ermöglicht schnelleres, effizienteres maschinelles Lernen und eine schnellere Datenverarbeitung in einer Vielzahl von Anwendungen.

Die Core Ultra™-Familie umfasst verschiedene Modelle, die auf unterschiedliche Leistungsanforderungen zugeschnitten sind, mit Optionen, die von energieeffizienten Designs bis hin zu Hochleistungs-Varianten mit der Kennzeichnung "H" reichen – ideal für Laptops und kompakte Formfaktoren, die ernsthafte Rechenleistung erfordern. Über das gesamte Sortiment hinweg profitieren Nutzer von der Synergie aus CPU-, GPU- und NPU-Integration, die bemerkenswerte Effizienz, Reaktionsfähigkeit und Multitasking-Fähigkeiten liefert.

Als Teil von Intels kontinuierlicher Innovation setzt die Core Ultra™-Serie einen neuen Standard für das Computing der Zukunft. Mit mehreren verfügbaren Modellen und weiteren in Aussicht, unterstreicht diese Serie Intels Engagement für die Bereitstellung modernster Lösungen für die nächste Generation intelligenter, KI-erweiterter Geräte.

Die Benchmarks unten laufen auf Intel® Core™ Ultra™ X7 358H, Intel® Core™ Ultra™ 7 258V und Intel® Core™ Ultra™ 7 155H mit FP32-, FP16- und INT8-Präzision.

Link to this sectionIntel® Core™ Ultra™ X7 358H#

Benchmarks

Integrierte Intel® Arc™ GPUIntel® Panther Lake CPUIntegrierter Intel® AI Boost NPU

Detaillierte Benchmark-Ergebnisse

Modell	Format	Präzision	Status	Größe (MB)	Metriken/mAP50-95(B)	Inferenzzeit (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	25.18
YOLO26n	OpenVINO	FP32	✅	9.6	0.4763	2.67
YOLO26n	OpenVINO	FP16	✅	5.1	0.4763	2.64
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	2.73
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	50.09
YOLO26s	OpenVINO	FP32	✅	36.7	0.5615	3.57
YOLO26s	OpenVINO	FP16	✅	18.6	0.5615	3.55
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	3.09
YOLO26m	PyTorch (CPU)	FP32	✅	42,2	0.6196	135.1
YOLO26m	OpenVINO	FP32	✅	78.3	0.6168	5.64
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	5.85
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	4.14
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	169.75
YOLO26l	OpenVINO	FP32	✅	95.3	0.6206	8.14
YOLO26l	OpenVINO	FP16	✅	48.1	0.6206	8.18
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	4.67
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	407.56
YOLO26x	OpenVINO	FP32	✅	213.2	0.6569	13.11
YOLO26x	OpenVINO	FP16	✅	107.1	0.6569	13.15
YOLO26x	OpenVINO	INT8	✅	54,8	0.6374	9.24

Link to this sectionIntel® Core™ Ultra™ 7 258V#

Benchmarks

Integrierte Intel® Arc™ GPUIntel® Lunar Lake CPUIntegrierter Intel® AI Boost NPU

Detaillierte Benchmark-Ergebnisse

Modell	Format	Präzision	Status	Größe (MB)	Metriken/mAP50-95(B)	Inferenzzeit (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	31.43
YOLO26n	OpenVINO	FP32	✅	9.6	0.4762	3.57
YOLO26n	OpenVINO	FP16	✅	5.1	0.4762	3.53
YOLO26n	OpenVINO	INT8	✅	3.2	0.4625	3.65
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	60.4
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	5.02
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	5.01
YOLO26s	OpenVINO	INT8	✅	10.0	0.547	4.31
YOLO26m	PyTorch (CPU)	FP32	✅	42,2	0.6196	173.31
YOLO26m	OpenVINO	FP32	✅	78.3	0.6191	9.48
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	9.6
YOLO26m	OpenVINO	INT8	✅	20.5	0.5994	6.03
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6173	224.52
YOLO26l	OpenVINO	FP32	✅	95.3	0.3725	11.88
YOLO26l	OpenVINO	FP16	✅	48.1	0.6201	12.0
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	8.47
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	595.72
YOLO26x	OpenVINO	FP32	✅	213.2	0.6567	20.26
YOLO26x	OpenVINO	FP16	✅	107.1	0.6454	20.25
YOLO26x	OpenVINO	INT8	✅	54,8	0.6374	14.77

Link to this sectionIntel® Core™ Ultra™ 7 155H#

Benchmarks

Integrierte Intel® Arc™ GPUIntel® Meteor Lake CPU

Detaillierte Benchmark-Ergebnisse

Modell	Format	Präzision	Status	Größe (MB)	Metriken/mAP50-95(B)	Inferenzzeit (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	38,77
YOLO26n	OpenVINO	FP32	✅	9.6	0,4774	9.87
YOLO26n	OpenVINO	FP16	✅	5.1	0,4774	9,84
YOLO26n	OpenVINO	INT8	✅	3.2	0,4705	5.86
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	69,54
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	17,29
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	17,06
YOLO26s	OpenVINO	INT8	✅	10.0	0,5452	10,33
YOLO26m	PyTorch (CPU)	FP32	✅	42,2	0.6196	192,22
YOLO26m	OpenVINO	FP32	✅	78.3	0,6187	34,64
YOLO26m	OpenVINO	FP16	✅	39.5	0,6187	34,75
YOLO26m	OpenVINO	INT8	✅	20.5	0,6073	15,99
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	245,62
YOLO26l	OpenVINO	FP32	✅	95.3	0,6202	43.7
YOLO26l	OpenVINO	FP16	✅	48.1	0,6202	44,65
YOLO26l	OpenVINO	INT8	✅	25.2	0,6048	20,31
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	513,06
YOLO26x	OpenVINO	FP32	✅	213.2	0,6544	80,19
YOLO26x	OpenVINO	FP16	✅	107.1	0,6544	79,83
YOLO26x	OpenVINO	INT8	✅	54,8	0,6393	35,16

Link to this sectionUnsere Ergebnisse reproduzieren#

Um die Ultralytics Benchmarks oben für alle Export-Formate zu reproduzieren, führe diesen Code aus:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

Link to this sectionFazit#

Die Benchmarking-Ergebnisse demonstrieren eindeutig die Vorteile des Exports des YOLO26 Modells in das OpenVINO-Format. Über verschiedene Modelle und Hardwareplattformen hinweg übertrifft das OpenVINO-Format andere Formate konsistent in Bezug auf die Inferenzgeschwindigkeit, während es eine vergleichbare Genauigkeit beibehält.

Die Benchmarks unterstreichen die Effektivität von OpenVINO als Werkzeug für die Bereitstellung von Deep-Learning-Modellen. Durch die Konvertierung von Modellen in das OpenVINO-Format können Entwickler signifikante Leistungsverbesserungen erzielen, was die Bereitstellung dieser Modelle in realen Anwendungen erleichtert.

Für detailliertere Informationen und Anleitungen zur Verwendung von OpenVINO schaue in die offizielle OpenVINO-Dokumentation.

Link to this sectionFAQ#

Link to this sectionWie exportiere ich YOLO26 Modelle in das OpenVINO-Format?#

Der Export von YOLO26 Modellen in das OpenVINO-Format kann die CPU-Geschwindigkeit signifikant erhöhen und GPU- sowie NPU-Beschleunigungen auf Intel-Hardware ermöglichen. Zum Exportieren kannst du entweder Python oder die CLI verwenden, wie unten dargestellt:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

Weitere Informationen findest du in der Dokumentation zu Exportformaten.

Link to this sectionWas sind die Vorteile der Verwendung von OpenVINO mit YOLO26 Modellen?#

Die Verwendung des Intel OpenVINO Toolkits mit YOLO26 Modellen bietet mehrere Vorteile:

1. Leistung: Erziele bis zu 3x schnellere CPU-Inferenz und nutze Intel GPUs und NPUs zur Beschleunigung.
2. Model Optimizer: Konvertiere, optimiere und führe Modelle aus gängigen Frameworks wie PyTorch, TensorFlow und ONNX aus.
3. Benutzerfreundlichkeit: Eine große Sammlung von Tutorial-Notebooks steht zur Verfügung, um dir den Einstieg zu erleichtern, einschließlich solcher für YOLO26.
4. Heterogene Ausführung: Stelle Modelle auf verschiedener Intel-Hardware mit einer einheitlichen API bereit.

Für detaillierte Leistungsvergleiche besuche unseren Benchmark-Bereich.

Link to this sectionWie kann ich die Inferenz mit einem YOLO26 Modell ausführen, das in OpenVINO exportiert wurde?#

Nachdem du ein YOLO26n Modell in das OpenVINO-Format exportiert hast, kannst du die Inferenz mithilfe von Python oder der CLI ausführen:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

Weitere Details findest du in unserer Dokumentation zum Vorhersagemodus.

Link to this sectionWarum sollte ich mich für Ultralytics YOLO26 gegenüber anderen Modellen für den OpenVINO-Export entscheiden?#

Ultralytics YOLO26 ist für die Objekterkennung in Echtzeit mit hoher Genauigkeit und Geschwindigkeit optimiert. Insbesondere in Kombination mit OpenVINO bietet YOLO26:

• Bis zu 3x schnellere CPU-Geschwindigkeit auf Intel CPUs
• Nahtlose Bereitstellung auf Intel GPUs und NPUs
• Konsistente und vergleichbare Genauigkeit über verschiedene Exportformate hinweg

Für eine detaillierte Leistungsanalyse schaue dir unsere ausführlichen YOLO26 Benchmarks auf verschiedenen Hardwareplattformen an.

Link to this sectionKann ich YOLO26 Modelle auf verschiedenen Formaten wie PyTorch, ONNX und OpenVINO benchen?#

Ja, du kannst YOLO26 Modelle in verschiedenen Formaten benchen, einschließlich PyTorch, TorchScript, ONNX und OpenVINO. Verwende den folgenden Code-Schnipsel, um Benchmarks für deinen gewählten Datensatz auszuführen:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

Für detaillierte Benchmark-Ergebnisse schaue in unseren Benchmark-Bereich und die Dokumentation zu Exportformaten.