Apple Core AI Integration#

Core AI ist Apples neues Framework zum Ausführen neuronaler Netze direkt auf Apple Silicon. Es führt das Modellformat .aimodel, eine moderne Swift-Inferenz-API, PyTorch-basierte Konvertierungstools, Ahead-of-Time-Kompilierung, Modellspezialisierung sowie dedizierte Debugging- und Profiling-Tools ein.

Apple beschreibt Core AI als die nächste Stufe der On-Device-KI-Ausführung und als das Inferenz-Framework hinter der geräteinternen Apple Intelligence. Es ist für aktuelle neuronale Netzwerkarchitekturen konzipiert, von kompakten Vision-Modellen bis hin zu großen generativen Modellen, und kann die Arbeitslast auf CPU, GPU und die Apple Neural Engine (ANE) verteilen.

Core AI ist ein neuer Bereitstellungsweg und kein neuer Name für Core ML. Die Frameworks verwenden unterschiedliche Modellformate, Konvertierungstools, Laufzeit-APIs und Muster für die Anwendungsintegration.

Core AI und Core ML im Vergleich#

Core ML bleibt die richtige Wahl, wenn eine Anwendung eine breite Geräteabdeckung, eine Integration in das Vision-Framework oder Modelltypen wie Entscheidungsbäume und tabellarische Pipelines benötigt. Apple unterstützt Core ML weiterhin und verweist Entwickler mit nicht-neuronalen Modelltypen darauf.

Wie das Core AI-Format funktioniert#

Der Core AI-Autoren-Workflow beginnt mit einem PyTorch-Modell:

PyTorch model
    ↓ torch.export
ExportedProgram
    ↓ coreai-torch
Core AI program
    ↓ optimize and save
.aimodel
    ↓ specialize or compile ahead of time
Apple silicon executable

Apples Paket coreai-torch konvertiert ein torch.export.ExportedProgram, indem PyTorch-ATen-Operationen in Core AI-Operationen herabgestuft werden. Nicht unterstützte Operationen können mit einem benutzerdefinierten Lowering oder einem benutzerdefinierten Metal-Kernel implementiert werden.

Das resultierende .aimodel ist ein unspezialisiertes Modell-Asset. Wenn eine Anwendung das Modell vorbereitet, spezialisiert Core AI es für das Zielgerät. Anwendungen können dies bei der ersten Verwendung geschehen lassen, die Spezialisierung früher anfordern oder ein Ahead-of-Time-kompiliertes Modell ausliefern, um die anfängliche Ladezeit zu verkürzen.

In Swift laden Anwendungen das Asset mit dem Core AI-Framework, wählen eine Inferenzfunktion aus, stellen typisierte NDArray-Eingaben bereit und erhalten benannte Ausgaben. Dies unterscheidet sich vom Einbinden eines Core ML-Modells in eine Vision-Anfrage, sodass die Einführung von Core AI eine Anwendungs-Runtime erfordert, die für .aimodel-Assets entwickelt wurde.

Implementierungsdetails findest du in Apples Dokumentation zu AIModel, Modellspezialisierung und Caching sowie Ahead-of-Time-Kompilierung.

Zukünftige Nutzung von Ultralytics#

Nachdem die geplante Integration ausgeliefert wurde, wird voraussichtlich die Python API ein YOLO26-Modell mit einem dedizierten Formatwert nach .aimodel exportieren:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(format="coreai")  # Planned: creates yolo26n.aimodel

Der entsprechende geplante CLI-Befehl lautet:

yolo export model=yolo26n.pt format=coreai # Planned: not yet available

Die finalen Argumente, unterstützten YOLO-Tasks, Präzisionsoptionen und das Verhalten bei dynamischen Formen werden in der Export-Modus-Dokumentation beschrieben, nachdem der Exporter implementiert und validiert wurde.

Unter iOS 27 oder macOS 27 würde eine Anwendung das exportierte Asset dann über Apples Core AI Swift API laden und ausführen. Die unten genannten Funktions- und Tensor-Namen sind illustrativ; der unterstützte Ultralytics-Ausgabevertrag wird zusammen mit dem Exporter veröffentlicht:

import CoreAI

let modelURL = Bundle.main.url(forResource: "yolo26n", withExtension: "aimodel")!
let model = try await AIModel(contentsOf: modelURL)
guard let function = try model.loadFunction(named: "main") else {
    throw AppError.missingInferenceFunction
}

let outputs = try await function.run(inputs: ["image": imageTensor])

Im Gegensatz zum aktuellen Core ML- und Vision-Workflow muss der zukünftige Core AI-Pfad die Bildvorverarbeitung, den Aufbau von NDArray, Modellmetadaten und die Ausgabedecodierung im Ultralytics iOS SDK definieren. Apple stellt aktuelle API-Details in der Dokumentation zum Core AI-Framework und funktionierende Modellbeispiele im Core AI-Modell-Repository bereit.

Vorteile von Core AI#

Core AI bietet mehrere vielversprechende Vorteile für die zukünftige Bereitstellung durch Ultralytics:

• Moderner PyTorch-Exportpfad: Die Konvertierung beginnt bei torch.export, wodurch ein ausdrucksstärkerer PyTorch-Graphen beibehalten wird als beim von vielen bestehenden Exportern verwendeten Tracing-Workflow.
• Feingranulare Laufzeitsteuerung: Anwendungen können Spezialisierung, Caches kompilierter Modelle, Inferenzfunktionen, Speicher und Rechenplatzierung verwalten.
• Fortgeschrittene Modellunterstützung: Zustandsbehaftete Ausführung, dynamische Formen, mehrere Funktionen in einem Artefakt und benutzerdefinierte Metal-Kernels sind für moderne Vision- und generative Architekturen konzipiert.
• Dedizierte Entwicklertools: Der Core AI Debugger kann Graphen und Tensorwerte untersuchen und sie bis zum ursprünglichen Python-Code zurückverfolgen. Xcode und Instruments bieten Laufzeit-Profiling.
• Zero-Copy-Möglichkeiten: Core AI bietet Speicher- und Puffersteuerungen, die darauf abzielen, Kopien zwischen Kamera-, Grafik- und Inferenz-Workloads zu reduzieren.
• Apple-Silicon-Optimierung: Durch die Gerätespezialisierung kann Apple ein Modell für die auf dem jeweiligen Gerät verfügbare CPU, GPU und Neural Engine optimieren.
• Flexible Komprimierung: Apples Core AI Optimization-Tools unterstützen Quantisierung, Palettierung und Pruning, einschließlich niedrigbitiger Gewichtsformate.

Diese Fähigkeiten könnten besonders nützlich für zukünftige YOLO-Modelle mit dynamischer Ausführung, größeren multimodalen Komponenten oder benutzerdefinierten Operationen sein, die sich nicht sauber auf bestehende Core ML-Operationen abbilden lassen.

Aktuelle Nachteile und Einschränkungen#

Core AI ist derzeit kein Ersatz für den produktiven Core ML-Pfad:

• Neue Betriebssysteme erforderlich: Das öffentliche Framework zielt auf die Generation iOS 27 und macOS 27 ab, während Core ML eine weitaus größere installierte Basis unterstützt.
• Beta-Software: Apples Core AI-Framework und Teile seiner Python-Toolchain sind noch vorläufig und könnten sich vor ihren stabilen Veröffentlichungen ändern.
• Engeres Exportumgebung: coreai-torch erfordert derzeit Python 3.11 oder neuer und aktuelle PyTorch-Versionen, was viel enger gefasst ist als der von Ultralytics unterstützte Python- und PyTorch-Bereich.
• Kein aktueller Ultralytics-Befehl: yolo export format=coreai ist nicht implementiert, getestet oder durch die Kompatibilitätsgarantien von Ultralytics abgedeckt.
• Noch keine Ultralytics-Anwendungs-Runtime: Die offizielle YOLO iOS-App und das Flutter-Plugin laden Core ML-Artefakte derzeit über MLModel und Vision.
• Anwendungsmigration erforderlich: Ein .aimodel kann nicht durch ein .mlpackage ersetzt werden; das Laden von Modellen, die Vorverarbeitung, Inferenzaufrufe, die Metadatenverwaltung und die Ausgabedecodierung erfordern eine Core AI-Implementierung.
• Begrenzte Produktionsnachweise: Leistung, Stromverbrauch, Spezialisierungszeit beim ersten Ausführen, Genauigkeit und Komprimierung müssen über die unterstützte YOLO-Task- und Gerätematrix hinweg validiert werden.
• Keine etablierte Legacy-NMS-Pipeline: Core ML kann eine NMS-Stufe für ältere YOLO-Erkennungsmodelle verpacken. Die erste Core AI-Integration wird sich voraussichtlich auf NMS-freie YOLO26-Modelle konzentrieren.

Welches Apple-Format solltest du verwenden?#

Verwende Core ML heute, wenn du Folgendes benötigst:

• Einen unterstützten Ultralytics-Exportbefehl
• Bereitstellung über aktuelle und ältere Apple-Betriebssysteme hinweg
• Integration mit dem Ultralytics iOS- oder Flutter-SDK
• Bildverarbeitung über das Vision-Framework
• Getestete FP16- und INT8-YOLO-Bereitstellung
• Eingebettetes NMS für kompatible Legacy-Erkennungsmodelle

Evaluiere Core AI in der Zukunft, wenn du iOS 27 oder macOS 27 voraussetzen kannst und Folgendes benötigst:

• Die neueste Apple On-Device-Laufzeit für neuronale Netze
• Explizite Spezialisierungs- und Cache-Verwaltung
• Fortgeschrittene dynamische oder zustandsbehaftete Modellausführung
• Benutzerdefinierte Core AI-Operationen oder Metal-Kernels
• Detailliertes Core AI-Graph-Debugging und Laufzeit-Profiling

Es wird erwartet, dass Core ML und Core AI während der Umstellung von Anwendungen koexistieren. Die Unterstützung von Core AI macht Core ML nicht unmittelbar überflüssig, da sich ihre Bereitstellungsziele und Anwendungsverträge unterscheiden.

Ultralytics-Roadmap#

Ultralytics evaluiert ein dediziertes coreai-Exportziel. Folge der verlinkten Roadmap und den Release-Hinweisen für Pläne und Verfügbarkeit; Core ML bleibt das unterstützte Apple-Deployment-Ziel.

Bevor Core AI ein unterstütztes Exportformat werden kann, benötigt die Integration:

1. Export und numerische Validierung über Erkennung, Instanzsegmentierung, semantische Segmentierung, Klassifizierung, Pose und orientierte Bounding Boxes hinweg.
2. FP16- und quantisierte Genauigkeitstests gegenüber PyTorch- und Core ML-Baselines.
3. Benchmarks für geräteinterne Latenz, Speicher, Stromverbrauch und Spezialisierung.
4. Core AI-Modellladen und Vorverarbeitung im Ultralytics iOS SDK.
5. Flutter-Integration und eine Kompatibilitätsstrategie für Geräte unter iOS 27.
6. Stabile Releases der Apple-Frameworks und Konvertierungstools.

Folge der Ultralytics-Roadmap und den Release-Hinweisen für die Verfügbarkeit. Bis zur Bereitstellung der Unterstützung sind Befehle oder Patches von Drittanbietern, die .aimodel-Dateien erzeugen, experimentell und liegen außerhalb der unterstützten Ultralytics-Exportmatrix.

Zusätzliche Ressourcen#

• Apple Core AI-Übersicht
• Dokumentation zum Core AI-Framework
• Core AI PyTorch-Erweiterungen
• Core AI-Optimierung
• Apple Core AI-Modell-Repository
• Ultralytics Core ML-Integration

FAQ#