Link to this sectionApple Core AI Integration#

Core AI ist Apples neues Framework für die direkte Ausführung neuronaler Netze auf Apple Silicon. Es führt das .aimodel-Modellformat, eine moderne Swift-Inferenz-API, auf PyTorch basierende Konvertierungstools, Ahead-of-Time-Kompilierung, Modellspezialisierung sowie dedizierte Debugging- und Profiling-Tools ein.

Apple beschreibt Core AI als die nächste Stufe der On-Device-KI-Ausführung und als das Inferenz-Framework hinter der geräteinternen Apple Intelligence. Es ist für aktuelle neuronale Netzwerkarchitekturen konzipiert, von kompakten Vision-Modellen bis hin zu großen generativen Modellen, und kann die Arbeitslast auf CPU, GPU und die Apple Neural Engine (ANE) verteilen.

Core AI ist ein neuer Bereitstellungsweg und kein neuer Name für Core ML. Die Frameworks verwenden unterschiedliche Modellformate, Konvertierungstools, Laufzeit-APIs und Muster für die Anwendungsintegration.

Link to this sectionCore AI und Core ML im Vergleich#

Core ML bleibt die richtige Wahl, wenn eine Anwendung eine breite Geräteabdeckung, eine Integration in das Vision-Framework oder Modelltypen wie Entscheidungsbäume und tabellarische Pipelines benötigt. Apple unterstützt Core ML weiterhin und verweist Entwickler mit nicht-neuronalen Modelltypen darauf.

Link to this sectionWie das Core AI-Format funktioniert#

Der Core AI-Autoren-Workflow beginnt mit einem PyTorch-Modell:

PyTorch model
    ↓ torch.export
ExportedProgram
    ↓ coreai-torch
Core AI program
    ↓ optimize and save
.aimodel
    ↓ specialize or compile ahead of time
Apple silicon executable

Apples coreai-torch-Paket konvertiert ein torch.export.ExportedProgram, indem es PyTorch ATen-Operationen in Core AI-Operationen überführt. Nicht unterstützte Operationen können mit einem benutzerdefinierten Lowering oder einem benutzerdefinierten Metal-Kernel implementiert werden.

Das resultierende .aimodel ist ein unspezialisiertes Modell-Asset. Wenn eine Anwendung das Modell vorbereitet, spezialisiert Core AI es für das Zielgerät. Anwendungen können dies bei der ersten Verwendung geschehen lassen, die Spezialisierung früher anfordern oder ein im Voraus kompiliertes Modell mitliefern, um die anfängliche Ladezeit zu verkürzen.

In Swift laden Anwendungen das Asset mit dem Core AI-Framework, wählen eine Inferenzfunktion aus, stellen typisierte NDArray-Eingaben bereit und erhalten benannte Ausgaben. Dies unterscheidet sich vom Umschließen eines Core ML-Modells in eine Vision-Anfrage, daher erfordert die Verwendung von Core AI eine für .aimodel-Assets entworfene Anwendungslaufzeit.

Einzelheiten zur Implementierung findest du in der Apple-Dokumentation für AIModel, Modellspezialisierung und Caching sowie Ahead-of-Time-Kompilierung.

Link to this sectionZukünftige Nutzung von Ultralytics#

Nach Veröffentlichung der geplanten Integration wird erwartet, dass die Python API ein YOLO26-Modell mit einem dedizierten Formatwert nach .aimodel exportiert:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(format="coreai")  # Planned: creates yolo26n.aimodel

Der entsprechende geplante CLI-Befehl lautet:

yolo export model=yolo26n.pt format=coreai # Planned: not yet available

Die abschließenden Argumente, unterstützten YOLO-Tasks, Präzisionsoptionen und das Verhalten bei dynamischen Formen werden im Export-Modus dokumentiert, sobald der Exporter implementiert und validiert ist.

Unter iOS 27 oder macOS 27 würde eine Anwendung das exportierte Asset dann über Apples Core AI Swift API laden und ausführen. Die unten genannten Funktions- und Tensor-Namen sind illustrativ; der unterstützte Ultralytics-Ausgabevertrag wird zusammen mit dem Exporter veröffentlicht:

import CoreAI

let modelURL = Bundle.main.url(forResource: "yolo26n", withExtension: "aimodel")!
let model = try await AIModel(contentsOf: modelURL)
guard let function = try model.loadFunction(named: "main") else {
    throw AppError.missingInferenceFunction
}

let outputs = try await function.run(inputs: ["image": imageTensor])

Im Gegensatz zum aktuellen Core ML- und Vision-Workflow wird der zukünftige Core AI-Pfad erfordern, die Bildvorverarbeitung, NDArray-Konstruktion, Modellmetadaten und Ausgabedekodierung im Ultralytics iOS SDK zu definieren. Apple stellt aktuelle API-Details in der Core AI-Framework-Dokumentation sowie funktionierende Modellbeispiele im Core AI-Modell-Repository bereit.

Link to this sectionVorteile von Core AI#

Core AI bietet mehrere vielversprechende Vorteile für die zukünftige Bereitstellung durch Ultralytics:

• Moderner PyTorch-Exportpfad: Die Konvertierung beginnt bei torch.export und bewahrt einen ausdrucksstärkeren PyTorch-Graphen als der Tracing-Workflow, den viele existierende Exporter verwenden.
• Feingranulare Laufzeitsteuerung: Anwendungen können Spezialisierung, Caches kompilierter Modelle, Inferenzfunktionen, Speicher und Rechenplatzierung verwalten.
• Fortgeschrittene Modellunterstützung: Zustandsbehaftete Ausführung, dynamische Formen, mehrere Funktionen in einem Artefakt und benutzerdefinierte Metal-Kernels sind für moderne Vision- und generative Architekturen konzipiert.
• Dedizierte Entwicklertools: Der Core AI Debugger kann Graphen und Tensorwerte untersuchen und sie bis zum ursprünglichen Python-Code zurückverfolgen. Xcode und Instruments bieten Laufzeit-Profiling.
• Zero-Copy-Möglichkeiten: Core AI bietet Speicher- und Puffersteuerungen, die darauf abzielen, Kopien zwischen Kamera-, Grafik- und Inferenz-Workloads zu reduzieren.
• Apple-Silicon-Optimierung: Durch die Gerätespezialisierung kann Apple ein Modell für die auf dem jeweiligen Gerät verfügbare CPU, GPU und Neural Engine optimieren.
• Flexible Komprimierung: Apples Core AI Optimization-Tools unterstützen Quantisierung, Palettierung und Pruning, einschließlich niedrigbitiger Gewichtsformate.

Diese Fähigkeiten könnten besonders nützlich für zukünftige YOLO-Modelle mit dynamischer Ausführung, größeren multimodalen Komponenten oder benutzerdefinierten Operationen sein, die sich nicht sauber auf bestehende Core ML-Operationen abbilden lassen.

Link to this sectionAktuelle Nachteile und Einschränkungen#

Core AI ist derzeit kein Ersatz für den produktiven Core ML-Pfad:

• Neue Betriebssysteme erforderlich: Das öffentliche Framework zielt auf die Generation iOS 27 und macOS 27 ab, während Core ML eine weitaus größere installierte Basis unterstützt.
• Beta-Software: Apples Core AI-Framework und Teile seiner Python-Toolchain sind noch vorläufig und könnten sich vor ihren stabilen Veröffentlichungen ändern.
• Engere Exportumgebung: coreai-torch erfordert derzeit Python 3.11 oder neuer sowie aktuelle PyTorch-Versionen, was deutlich enger ist als der von Ultralytics unterstützte Python- und PyTorch-Bereich.
• Kein aktueller Ultralytics-Befehl: yolo export format=coreai ist nicht implementiert, getestet oder durch die Kompatibilitätsgarantien von Ultralytics abgedeckt.
• Noch keine Ultralytics-Anwendungslaufzeit: Die offizielle YOLO iOS App und das Flutter-Plugin laden Core ML-Artefakte derzeit über MLModel und Vision.
• Anwendungsmigration erforderlich: Ein .aimodel kann nicht durch ein .mlpackage ersetzt werden; das Laden von Modellen, Vorverarbeitung, Inferenzaufrufe, Metadatenverarbeitung und Ausgabedekodierung erfordern eine Core AI-Implementierung.
• Begrenzte Produktionsnachweise: Leistung, Stromverbrauch, Spezialisierungszeit beim ersten Ausführen, Genauigkeit und Komprimierung müssen über die unterstützte YOLO-Task- und Gerätematrix hinweg validiert werden.
• Keine etablierte Legacy-NMS-Pipeline: Core ML kann eine NMS-Stufe für ältere YOLO-Erkennungsmodelle verpacken. Die erste Core AI-Integration wird sich voraussichtlich auf NMS-freie YOLO26-Modelle konzentrieren.

Link to this sectionWelches Apple-Format solltest du verwenden?#

Verwende Core ML heute, wenn du Folgendes benötigst:

• Einen unterstützten Ultralytics-Exportbefehl
• Bereitstellung über aktuelle und ältere Apple-Betriebssysteme hinweg
• Integration mit dem Ultralytics iOS- oder Flutter-SDK
• Bildverarbeitung über das Vision-Framework
• Getestete FP16- und INT8-YOLO-Bereitstellung
• Eingebettetes NMS für kompatible Legacy-Erkennungsmodelle

Evaluiere Core AI in der Zukunft, wenn du iOS 27 oder macOS 27 voraussetzen kannst und Folgendes benötigst:

• Die neueste Apple On-Device-Laufzeit für neuronale Netze
• Explizite Spezialisierungs- und Cache-Verwaltung
• Fortgeschrittene dynamische oder zustandsbehaftete Modellausführung
• Benutzerdefinierte Core AI-Operationen oder Metal-Kernels
• Detailliertes Core AI-Graph-Debugging und Laufzeit-Profiling

Es wird erwartet, dass Core ML und Core AI während der Umstellung von Anwendungen koexistieren. Die Unterstützung von Core AI macht Core ML nicht unmittelbar überflüssig, da sich ihre Bereitstellungsziele und Anwendungsverträge unterscheiden.

Link to this sectionUltralytics-Roadmap#

Ultralytics plant, im 4. Quartal 2026 ein dediziertes coreai-Exportziel zu evaluieren, nachdem iOS 27 und macOS 27 allgemein verfügbar sind. Die anfängliche Arbeit wird sich voraussichtlich auf NMS-freie YOLO26-Modelle und das .aimodel-Format konzentrieren, während Core ML für etablierte Apple-Bereitstellungsziele beibehalten wird.

Bevor Core AI ein unterstütztes Exportformat werden kann, benötigt die Integration:

1. Export und numerische Validierung über Erkennung, Instanzsegmentierung, semantische Segmentierung, Klassifizierung, Pose und orientierte Bounding Boxes hinweg.
2. FP16- und quantisierte Genauigkeitstests gegenüber PyTorch- und Core ML-Baselines.
3. Benchmarks für geräteinterne Latenz, Speicher, Stromverbrauch und Spezialisierung.
4. Core AI-Modellladen und Vorverarbeitung im Ultralytics iOS SDK.
5. Flutter-Integration und eine Kompatibilitätsstrategie für Geräte unter iOS 27.
6. Stabile Releases der Apple-Frameworks und Konvertierungstools.

Folge der Ultralytics-Roadmap und den Release-Notes für die Verfügbarkeit. Bis zur Bereitstellung der Unterstützung sind Befehle oder Patches von Drittanbietern, die .aimodel-Dateien erzeugen, experimentell und außerhalb der unterstützten Ultralytics-Exportmatrix.

Link to this sectionZusätzliche Ressourcen#

• Apple Core AI Übersicht
• Core AI Framework Dokumentation
• Core AI PyTorch Extensions
• Core AI Optimierung
• Apple Core AI Modell-Repository
• Ultralytics Core ML Integration

Link to this sectionFAQ#

Link to this sectionKann Ultralytics YOLO Modelle heute schon in .aimodel exportieren?#

Nein. Ultralytics unterstützt derzeit Apples Core ML .mlpackage Format via model.export(format="coreml"). Ein natives Core AI Export-Ziel ist geplant, ist jedoch noch kein Bestandteil des unterstützten Exporters.

Link to this sectionErsetzt Core AI Core ML?#

Nicht unmittelbar. Core AI ist Apples neuerer Weg für moderne neuronale Netze, während Core ML weiterhin unterstützt wird und eine breitere Unterstützung für Betriebssysteme, Vision-Integration sowie Unterstützung für nicht-neuronale Modelle bietet.

Link to this sectionKann ich eine .mlpackage Datei in .aimodel umbenennen?#

Nein. Sie enthalten unterschiedliche Modellrepräsentationen und werden von unterschiedlichen Frameworks geladen. Die Konvertierung muss vom Quellmodell aus durch die entsprechende Apple Toolchain erfolgen.

Link to this sectionWird die Ultralytics Core AI Integration format=coreml ersetzen?#

Die anfängliche Integration ist so ausgelegt, dass sie neben Core ML koexistiert. Jede zukünftige Entscheidung über einen Ersatz hängt von der Betriebssystem-Akzeptanz, stabilen Tooling, der Performance sowie der nachgelagerten iOS und Flutter Unterstützung ab.