Apple-Core-AI-Integration#

Core AI ist Apples neues Framework, um neuronale Netze direkt auf Apple Silicon auszuführen. Es führt das Modellformat .aimodel, eine moderne Swift-Inferenz-API, Konvertierungswerkzeuge auf PyTorch-Basis, die Kompilierung vor der Ausführung, die Spezialisierung von Modellen sowie eigene Werkzeuge zum Debuggen und Profilieren ein.

Apple beschreibt Core AI als nächste Entwicklungsstufe für die Ausführung von KI direkt auf dem Gerät und als Inferenz-Framework hinter Apple Intelligence auf dem Gerät. Es wurde für aktuelle neuronale Netzwerkarchitekturen entwickelt – von kompakten Bildverarbeitungsmodellen bis hin zu großen generativen Modellen – und kann Aufgaben auf CPU, GPU und Apple Neural Engine (ANE) verteilen.

Core AI ist ein neuer Bereitstellungsweg und keine neue Bezeichnung für Core ML. Die Frameworks verwenden unterschiedliche Modellformate, Konvertierungswerkzeuge, Laufzeit-APIs und Integrationsmuster für Anwendungen.

Core AI und Core ML im Vergleich#

Core ML ist weiterhin die richtige Wahl, wenn eine Anwendung eine breite Geräteunterstützung, die Integration mit dem Vision-Framework oder Modelltypen wie Entscheidungsbäume und tabellarische Verarbeitungsketten benötigt. Apple unterstützt Core ML weiterhin und empfiehlt es Entwicklern für nicht neuronale Modelltypen.

Funktionsweise des Core-AI-Formats#

Der Core-AI-Erstellungsablauf beginnt mit einem PyTorch-Modell:

PyTorch model
    ↓ torch.export
ExportedProgram
    ↓ coreai-torch
Core AI program
    ↓ optimize and save
.aimodel
    ↓ specialize or compile ahead of time
Apple silicon executable

Apples Paket coreai-torch konvertiert ein torch.export.ExportedProgram, indem es PyTorch-ATen-Operationen in Core-AI-Operationen überführt. Nicht unterstützte Operationen lassen sich mit einer benutzerdefinierten Absenkung oder einem benutzerdefinierten Metal-Kernel implementieren.

Das resultierende .aimodel ist ein nicht spezialisiertes Modell-Asset. Wenn eine Anwendung das Modell vorbereitet, spezialisiert Core AI es für das Zielgerät. Anwendungen können dies bei der ersten Verwendung erledigen lassen, die Spezialisierung früher anfordern oder ein vorab kompiliertes Modell bereitstellen, um die anfängliche Ladezeit zu verkürzen.

In Swift laden Anwendungen das Asset mit dem Core-AI-Framework, wählen eine Inferenzfunktion aus, übergeben typisierte Eingaben vom Typ NDArray und erhalten benannte Ausgaben. Das unterscheidet sich davon, ein Core-ML-Modell in eine Vision-Anfrage einzubinden. Für Core AI ist daher eine Anwendungsumgebung erforderlich, die für .aimodel-Assets ausgelegt ist.

Implementierungsdetails findest du in Apples Dokumentation zu AIModel, Modellspezialisierung und Zwischenspeicherung sowie Kompilierung vor der Ausführung.

YOLO26-Modelle nach Core AI exportieren#

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(format="coreai")  # erstellt „yolo26n.aimodel“
model.export(format="coreai", quantize=16)  # FP16 asset

# Das exportierte Modell ausführen
coreai_model = YOLO("yolo26n.aimodel")
results = coreai_model("https://ultralytics.com/images/bus.jpg")

Die vollständige Liste der Argumente findest du unter Exportmodus. Der Graph ist statisch: Er wird mit der an export übergebenen imgsz nachgebildet. Führe Vorhersagen daher mit derselben Größe aus. Die Ultralytics-Metadaten werden im eigenen metadata.json-Bereich des Assets gespeichert, sodass Klassennamen, Schrittweite und Aufgabe beim Hin- und Rückweg erhalten bleiben.

Den passenden Kopf wählen#

Mit nms=False exportiert YOLO26 seinen End-to-End-Kopf, der Erkennungen innerhalb des Graphen auswählt. Core AI verfügt über keine Top-k-Primitive, daher wird diese Auswahl in eine vollständige Sortierung umgewandelt. Dafür fällt an der Grenze der Apple-Neural-Engine-Partition ein fester Aufwand von etwa 1,7 ms an – unabhängig von max_det. Beim Export mit nms=None werden stattdessen die rohen Vorhersagen von (1, 84, 8400) ausgegeben; die Unterdrückung überlappender Erkennungen übernimmt dann der Prädiktor:

yolo export model=yolo26n.pt format=coreai nms=None quantize=16

Auf einem iPhone 17 Pro mit iOS 27.0 benötigt YOLO26n bei 640 Pixeln 3,01 ms mit dem Kopf im Graphen und 1,28 ms ohne ihn (FP16, vorab kompiliert, drei ineinander verschachtelte Blöcke mit jeweils 50 Iterationen). In beiden Fällen erfolgt die Inferenz über YOLO(...). Verwende nms=False, wenn ein einzelner Graph-Aufruf fertige Erkennungen zurückgeben muss, oder behalte den Standardwert nms=None für eine externe NMS bei.

Unter iOS 27 oder macOS 27 würde eine Anwendung das exportierte Asset anschließend über Apples Core-AI-Swift-API laden und ausführen. Exportierte Assets verwenden den Einstiegspunkt main, erwarten eine einzelne Eingabe images mit der Form [batch, 3, imgsz, imgsz] und geben output0 zurück (Modelle zur Instanzsegmentierung geben zusätzlich output1 zurück):

import CoreAI

let modelURL = Bundle.main.url(forResource: "yolo26n", withExtension: "aimodel")!
let model = try await AIModel(contentsOf: modelURL)
guard let function = try model.loadFunction(named: "main") else {
    throw AppError.missingInferenceFunction
}

let outputs = try await function.run(inputs: ["images": imageTensor])

Im Gegensatz zum aktuellen Core-ML- und Vision-Ablauf führt der Core-AI-Pfad im Ultralytics-iOS-SDK die Letterbox-Vorverarbeitung und die Erstellung von NDArray selbst durch, liest dieselben Ultralytics-Metadaten aus dem metadata.json des Assets und verwendet die Core-ML-Ausgabedecoder erneut. Das Asset wird geladen, wenn eine Anwendung einen .aimodel-Pfad oder eine .aimodel.zip-URL übergibt. Aktuelle API-Details stellt Apple in der Dokumentation zum Core-AI-Framework und funktionierende Modellbeispiele im Repository mit Core-AI-Modellen bereit.

Gemessene Leistung#

End-to-End-Inferenz für ein einzelnes Bild mit YOLO26n FP16 (quantize=16), Core-ML- und Core-AI-Exporten mit dem standardmäßigen unverarbeiteten Kopf (nms=None) auf einem Mac mini mit Apple M4 (4 CPU-Kernen mit hoher und 6 mit hoher Energieeffizienz, 10-Core-GPU, 16-Core-Neural-Engine), 16 GB Arbeitsspeicher und macOS 27.0. Verwendet wurden ultralytics 8.4.168, coremltools 9.0 für die Core-ML-Inferenz sowie coreai-torch 0.4.3 mit coreai-core 1.0.0b3 für die Core-AI-Inferenz unter Python 3.13. Jede Zelle zeigt die Gesamtzeit (Vorverarbeitung + Inferenz + Nachverarbeitung) sowie darunter die Aufteilung nach Phasen.

• Geschwindigkeitswerte sind Latenzen bei Einzelbild-Bursts: der Mittelwert aus 15 Aufrufen von predict nach 3 Aufwärmaufrufen über bus.jpg mit der Ultralytics Python API, wobei jedes Modell und jede Recheneinheit in einem frischen Prozess ausgeführt wurde. Die Reihenfolge von CPU und Beschleuniger wechselte zwischen den Aufgaben innerhalb eines sequenziellen Durchlaufs. Core ML-Zeilen werden mit coremltools.ComputeUnit.CPU_ONLY oder CPU_AND_NE geladen; Core AI-Zeilen werden mit SpecializationOptions.cpu_only() oder SpecializationOptions.from_preferred_compute_unit_kind(ComputeUnitKind.neural_engine()) spezialisiert, wobei jedes Framework die endgültige Zuweisung der Operationen steuert.
• Detect, Segmentierung, Klassifizierung, Pose und OBB lieferten auf jeder Recheneinheit in beiden Formaten dieselben Vorhersagen. Das semantische FP16-Modell von Core ML läuft auf diesem Mac mit bevorzugter Neural Engine langsamer als ausschließlich auf der CPU, und die semantische Nachverarbeitung von Core AI benötigt 6.4 bis 7.4 ms gegenüber 0.4 ms bei Core ML.
• Vergleiche die Ergebnisse auf dem iPhone 17 Pro direkt auf dem Gerät in der CoreML-Integration.

Vorteile von Core AI#

Core AI bietet mehrere vielversprechende Vorteile für künftige Bereitstellungen von Ultralytics:

• Moderner PyTorch-Exportpfad: Die Konvertierung beginnt bei torch.export und bewahrt einen ausdrucksstärkeren PyTorch-Graphen als der Tracing-Workflow, den viele vorhandene Exportprogramme verwenden.
• Fein abgestimmte Laufzeitsteuerung: Anwendungen können Spezialisierung, Caches für kompilierte Modelle, Inferenzfunktionen, Speicher und die Zuweisung von Rechenressourcen verwalten.
• Erweiterte Modellunterstützung: Zustandsbehaftete Ausführung, dynamische Formen, mehrere Funktionen in einem Artefakt und benutzerdefinierte Metal-Kernels sind für moderne Computer-Vision- und generative Architekturen ausgelegt.
• Dedizierte Entwicklerwerkzeuge: Mit dem Core AI Debugger lassen sich Graphen und Tensorwerte untersuchen und bis zum ursprünglichen Python-Code zurückverfolgen. Xcode und Instruments ermöglichen die Laufzeitprofilierung.
• Möglichkeiten für Zero-Copy: Core AI bietet Steuerungsmöglichkeiten für Speicher und Puffer, die Kopiervorgänge zwischen Kamera-, Grafik- und Inferenz-Workloads verringern sollen.
• Optimierung für Apple-Chips: Durch die Gerätespezialisierung kann Apple ein Modell für die CPU, GPU und Neural Engine optimieren, die auf dem jeweiligen Gerät verfügbar sind.
• Flexible Komprimierung: Apples Core AI Optimization-Tools unterstützen Quantisierung, Palettierung und Pruning, einschließlich Gewichtsformaten mit niedriger Bitbreite.

Diese Funktionen könnten besonders für künftige YOLO-Modelle mit dynamischer Ausführung, größeren multimodalen Komponenten oder benutzerdefinierten Operationen nützlich sein, die sich nicht ohne Weiteres auf vorhandene Core ML-Operationen abbilden lassen.

Aktuelle Nachteile und Einschränkungen#

Core AI ist derzeit kein Ersatz für den produktiven Core ML-Pfad:

• Neuere Betriebssysteme erforderlich: Das öffentliche Framework zielt auf die Generation iOS 27 und macOS 27 ab, während Core ML eine deutlich größere installierte Basis unterstützt.
• Beta-Software: Apples Core AI-Framework und Teile der Python-Werkzeugkette sind noch vorläufig und können sich vor den stabilen Veröffentlichungen ändern.
• Engere Exportumgebung: coreai-torch erfordert derzeit Python 3.11 bis 3.14 sowie aktuelle PyTorch-Versionen. Das ist ein deutlich engerer Bereich als die von Ultralytics unterstützten Python- und PyTorch-Versionen.
• Eingeschränkte Exportplattformen: coreai-core veröffentlicht nur die Wheels macosx_26_0_arm64 und manylinux_2_34_x86_64. Für format=coreai ist daher ein Mac mit Apple-Chip und macOS 26 oder neuer erforderlich oder x86_64 Linux mit glibc 2.34 oder neuer (zum Beispiel Ubuntu 22.04+). Für die Ausführung von .aimodel ist weiterhin Apple-Hardware erforderlich.
• In den Ultralytics SDKs optional, nicht standardmäßig: Auf einem iPhone 17 Pro erreicht Core AI laut Gerätevergleich bei der gesamten Pipeline nicht mehr als Core ML, wobei semantische Inferenz, Tiefeninferenz und Inferenz ausschließlich auf der CPU langsamer sind und FP16-Modelle etwa doppelt so groß zum Herunterladen sind. Deshalb behalten das iOS SDK und das Flutter-Plugin Core ML als Standard bei.
• Für die SDKs den unverarbeiteten Head verwenden: Mit nms=False dauert YOLO26n mit Core AI etwa doppelt so lange wie mit Core ML (3.06 gegenüber 1.53 ms in einem Vergleichsdurchlauf), und das Pose-Modell mit durchgängiger FP16-Verarbeitung liefert bei der standardmäßigen Zuweisung von Core AI unter iOS 27.0 keine Erkennungen (apple/coreai-torch#115). Der unverarbeitete Head (nms=None, Standard) vermeidet beides, und die SDKs führen NMS in Swift aus. Siehe Head auswählen.
• Keine Laufzeit für den iOS Simulator: Das iOS Simulator SDK enthält Core AI nicht.
• Anpassungen an der Anwendung erforderlich: Ein .aimodel kann nicht anstelle eines .mlpackage verwendet werden. Das Laden des Modells, die Vorverarbeitung, Inferenzaufrufe, die Verarbeitung von Metadaten und das Dekodieren der Ausgaben erfordern eine Core AI-Implementierung außerhalb der Ultralytics SDKs, die eine solche Implementierung bereitstellen.
• Begrenzte Erfahrungswerte aus der Produktion: Leistung, Energieverbrauch, Spezialisierungszeit beim ersten Start, Genauigkeit und Komprimierung müssen für die unterstützten YOLO-Aufgaben und Gerätekombinationen validiert werden.
• Keine NMS-Pipeline: Core ML kann für ältere YOLO-Erkennungsmodelle eine NMS-Stufe einbinden. Core AI exportiert standardmäßig unverarbeitete One-to-many-Vorhersagen. Verwende nms=False für den NMS-freien Head von YOLO26. Eingebettetes NMS (nms=True) und dynamic=True werden nicht unterstützt. Für coreai-torch gibt es keine Absenkung für torchvision::nms, daher wird NMS auf dem Host ausgeführt.
• Feste Eingabegröße: Der exportierte Graph wird für eine einzige imgsz verfolgt und hat keine dynamischen Formen. Führe Vorhersagen daher mit der Größe aus, für die er exportiert wurde.
• FP16-Modelle können beim Laden abbrechen: Einige FP16-Modelle vom Typ .aimodel können ihr Programm für die Apple Neural Engine nicht laden, woraufhin MPSGraph eine fehlgeschlagene Assertion auslöst und der Prozess beendet wird, statt auf eine andere Recheneinheit auszuweichen. Dies geschieht innerhalb der Laufzeit von Apple, bevor Ultralytics-Code ausgeführt wird. Dasselbe Modell lässt sich mit einer Spezialisierung ausführen, die nur die CPU verwendet. Weiche auf FP32 aus, falls dies bei einem Modell auftritt. Die auf einem iPhone 17 Pro geprüften FP16-SDK-Modelle (alle Nano-Modelle, Detect in jeder Größe sowie das jeweils größte Modell jeder Aufgabe) ließen sich ohne Abbruch laden.

Welches Apple-Format solltest du verwenden?#

Verwende Core ML heute, wenn du Folgendes benötigst:

• Bereitstellung auf aktuellen und älteren Apple-Betriebssystemen
• Den Standardpfad des Ultralytics iOS- oder Flutter-SDKs
• Bildverarbeitung mit dem Vision-Framework
• Erprobte YOLO-Bereitstellung mit FP16 und INT8
• Eingebettetes NMS für kompatible ältere Erkennungsmodelle

Teste Core AI, wenn du iOS 27 oder macOS 27 voraussetzen kannst und Folgendes benötigst:

• Die neueste Apple-Laufzeit für neuronale Netze direkt auf dem Gerät
• Explizite Verwaltung von Spezialisierungen und Caches
• Erweiterte dynamische oder zustandsbehaftete Modellausführung
• Benutzerdefinierte Core AI-Operationen oder Metal-Kernels
• Detaillierte Fehlersuche in Core AI-Graphen und Laufzeitprofilierung

Core ML und Core AI werden voraussichtlich parallel bestehen, während Anwendungen umgestellt werden. Die Unterstützung von Core AI macht Core ML nicht sofort überflüssig, da sich die Zielbetriebssysteme und Anwendungsschnittstellen unterscheiden.

Ultralytics-Roadmap#

Das dedizierte Exportziel coreai ist implementiert: Export und numerische Validierung decken die unterstützten YOLO26-Aufgabenmodelle ab und werden in der Ultralytics CI unter macOS 26 kontinuierlich ausgeführt. Die FP16-Latenz wird auf dem Gerät gemessen. Die noch ausstehenden Punkte auf dem Weg zur Funktionsgleichheit mit dem Core ML-Pfad:

1. Schließen der Lücke bei der Latenz des Heads von Anfang bis Ende auf der Apple Neural Engine (apple/coreai-torch#66) und Behebung der Probleme mit der Korrektheit auf der Neural Engine (apple/coreai-torch#115, #116).
2. INT8- und palettierte Core AI-Modelle; die SDK-Modelle verwenden FP16 und sind etwa doppelt so groß zum Herunterladen wie die INT8-Core ML-Modelle.
3. Stabile Veröffentlichungen des Apple-Frameworks und der Konvertierungswerkzeuge (die Generation iOS 27 und macOS 27 befindet sich derzeit in der Beta-Phase).
4. Benchmarks für Speicher, Energieverbrauch und Spezialisierung auf den unterstützten Geräten.

Das Ultralytics iOS SDK und das Flutter-Plugin laden Core AI ab iOS 27 optional. Core ML bleibt die Standardeinstellung und das empfohlene Ziel für die Unterstützung von iOS-Versionen vor iOS 27. Verfolge die Ultralytics-Roadmap und die Versionshinweise, um über die übrigen Punkte auf dem Laufenden zu bleiben.

Weitere Ressourcen#

• Überblick zu Apple Core AI
• Dokumentation zum Core AI-Framework
• Core AI PyTorch-Erweiterungen
• Core AI Optimization
• Repository für Apple Core AI-Modelle
• Ultralytics Core ML-Integration

Häufig gestellte Fragen#