Link to this sectionИнтеграция с Apple Core AI#

Core AI — это новая инфраструктура Apple для запуска нейронных сетей непосредственно на Apple silicon. Она представляет формат моделей .aimodel, современный API для логического вывода на Swift, инструменты преобразования на базе PyTorch, предварительную компиляцию, специализацию моделей, а также специализированные инструменты отладки и профилирования.

Apple описывает Core AI как следующий этап эволюции выполнения ИИ на устройстве и инфраструктуру логического вывода для Apple Intelligence, работающего локально. Она разработана для современных архитектур нейронных сетей — от компактных моделей машинного зрения до больших генеративных моделей — и может распределять нагрузку между CPU, GPU и Apple Neural Engine (ANE).

Core AI — это новый путь развертывания, а не просто новое название для Core ML. Эти инфраструктуры используют разные форматы моделей, инструменты преобразования, API среды выполнения и шаблоны интеграции с приложениями.

Link to this sectionСравнение Core AI и Core ML#

Core ML остается подходящим выбором, когда приложению необходим широкий охват устройств, интеграция с Vision или типы моделей, такие как деревья решений и табличные конвейеры. Apple продолжает поддерживать Core ML и направляет к нему разработчиков, использующих не нейронные типы моделей.

Link to this sectionКак работает формат Core AI#

Рабочий процесс создания в Core AI начинается с модели PyTorch:

PyTorch model
    ↓ torch.export
ExportedProgram
    ↓ coreai-torch
Core AI program
    ↓ optimize and save
.aimodel
    ↓ specialize or compile ahead of time
Apple silicon executable

Пакет Apple coreai-torch преобразует torch.export.ExportedProgram, понижая операции PyTorch ATen до операций Core AI. Неподдерживаемые операции могут быть реализованы с помощью пользовательской реализации или ядра Metal.

Полученный файл .aimodel является неспециализированным активом модели. Когда приложение подготавливает модель, Core AI специализирует её для целевого устройства. Приложения могут позволить этому произойти при первом запуске, запросить специализацию раньше или поставлять заранее скомпилированную модель для сокращения начального времени загрузки.

В Swift приложения загружают актив с помощью инфраструктуры Core AI, выбирают функцию логического вывода, предоставляют типизированные входные данные NDArray и получают именованные выходные данные. Это отличается от обертки модели Core ML в запрос Vision, поэтому переход на Core AI требует среды выполнения приложения, разработанной для активов .aimodel.

Детали реализации см. в документации Apple по AIModel, специализации и кэшированию моделей, а также предварительной компиляции.

Link to this sectionБудущее использование в Ultralytics#

После выпуска запланированной интеграции ожидается, что Python API будет экспортировать модель YOLO26 в формат .aimodel с соответствующим значением формата:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(format="coreai")  # Planned: creates yolo26n.aimodel

Эквивалентная запланированная команда CLI выглядит так:

yolo export model=yolo26n.pt format=coreai # Planned: not yet available

Финальные аргументы, поддерживаемые задачи YOLO, параметры точности и поведение при динамической форме будут описаны в режиме Export после реализации и проверки экспортера.

В iOS 27 или macOS 27 приложение сможет загружать и запускать экспортированный актив через API Swift Core AI от Apple. Имена функций и тензоров ниже приведены для иллюстрации; поддерживаемый контракт вывода Ultralytics будет опубликован вместе с экспортером:

import CoreAI

let modelURL = Bundle.main.url(forResource: "yolo26n", withExtension: "aimodel")!
let model = try await AIModel(contentsOf: modelURL)
guard let function = try model.loadFunction(named: "main") else {
    throw AppError.missingInferenceFunction
}

let outputs = try await function.run(inputs: ["image": imageTensor])

В отличие от текущего рабочего процесса Core ML и Vision, будущий путь Core AI потребует определения предварительной обработки изображений, создания NDArray, метаданных модели и декодирования вывода в iOS SDK Ultralytics. Apple предоставляет текущие детали API в документации инфраструктуры Core AI, а рабочие примеры моделей — в репозитории моделей Core AI.

Link to this sectionПреимущества Core AI#

Core AI предлагает несколько многообещающих преимуществ для будущего развертывания Ultralytics:

• Современный путь экспорта PyTorch: Преобразование начинается с torch.export, сохраняя более выразительный граф PyTorch, чем процесс трассировки, используемый многими существующими экспортерами.
• Тонкий контроль среды выполнения: Приложения могут управлять специализацией, кэшами скомпилированных моделей, функциями логического вывода, памятью и размещением вычислений.
• Расширенная поддержка моделей: Stateful-выполнение, динамические формы, несколько функций в одном артефакте и пользовательские ядра Metal разработаны для современных архитектур машинного зрения и генеративных моделей.
• Специализированные инструменты разработчика: Отладчик Core AI может проверять графы и значения тензоров, а также отслеживать их до исходного кода Python. Xcode и Instruments обеспечивают профилирование среды выполнения.
• Возможности Zero-copy: Core AI предоставляет элементы управления хранилищем и буфером, предназначенные для уменьшения копирования между камерой, графикой и рабочими нагрузками логического вывода.
• Оптимизация под Apple silicon: Специализация устройства позволяет Apple оптимизировать модель для CPU, GPU и Neural Engine, доступных на конкретном устройстве.
• Гибкое сжатие: Инструменты оптимизации Apple Core AI поддерживают квантование, палетизацию и прунинг, включая форматы весов с низкой разрядностью.

Эти возможности могут быть особенно полезны для будущих моделей YOLO с динамическим выполнением, более крупными мультимодальными компонентами или пользовательскими операциями, которые нечетко отображаются на существующие операции Core ML.

Link to this sectionТекущие недостатки и ограничения#

Core AI в настоящее время не является заменой промышленному пути Core ML:

• Требуются новые операционные системы: Публичная инфраструктура нацелена на поколение iOS 27 и macOS 27, в то время как Core ML поддерживает гораздо большую установленную базу.
• Бета-версия ПО: Инфраструктура Core AI от Apple и части её цепочки инструментов Python все еще являются предварительными и могут измениться до выпуска стабильных версий.
• Более узкая среда экспорта: coreai-torch в настоящее время требует Python 3.11 или новее и последние версии PyTorch, что гораздо уже, чем диапазон Python и PyTorch, поддерживаемый Ultralytics.
• Отсутствие текущей команды Ultralytics: yolo export format=coreai не реализована, не протестирована и не покрывается гарантиями совместимости Ultralytics.
• Пока нет среды выполнения приложения Ultralytics: Официальное приложение YOLO для iOS и плагин Flutter в настоящее время загружают артефакты Core ML через MLModel и Vision.
• Требуется миграция приложения: .aimodel нельзя заменить на .mlpackage; загрузка модели, предварительная обработка, вызовы логического вывода, обработка метаданных и декодирование вывода требуют реализации Core AI.
• Ограниченные данные промышленного использования: Производительность, энергопотребление, время специализации при первом запуске, точность и сжатие требуют проверки по матрице поддерживаемых задач YOLO и устройств.
• Отсутствие устоявшегося устаревшего конвейера NMS: Core ML может упаковывать этап NMS для старых моделей детекции YOLO. Ожидается, что первая интеграция Core AI будет сосредоточена на моделях YOLO26 без NMS.

Link to this sectionКакой формат Apple следует использовать?#

Используй Core ML сегодня, если тебе нужно:

• Поддерживаемая команда экспорта Ultralytics
• Развертывание на текущих и старых операционных системах Apple
• Интеграция с iOS или Flutter SDK от Ultralytics
• Обработка изображений инфраструктурой Vision
• Протестированное развертывание YOLO в FP16 и INT8
• Встроенный NMS для совместимых устаревших моделей детекции

Рассматривай Core AI в будущем, если можешь ограничиться iOS 27 или macOS 27 и тебе нужно:

• Новейшая инфраструктура нейронных сетей Apple для устройств
• Явное управление специализацией и кэшем
• Расширенное динамическое или stateful-выполнение моделей
• Пользовательские операции Core AI или ядра Metal
• Детальная отладка графов Core AI и профилирование среды выполнения

Ожидается, что Core ML и Core AI будут сосуществовать во время перехода приложений. Поддержка Core AI не означает немедленного отказа от Core ML, так как их цели развертывания и контракты приложений различаются.

Link to this sectionДорожная карта Ultralytics#

Ultralytics планирует оценить выделенный целевой объект экспорта coreai в 4-м квартале 2026 года, после того как iOS 27 и macOS 27 станут общедоступными. Первоначальная работа, как ожидается, будет сосредоточена на моделях YOLO26 без NMS и формате .aimodel, сохраняя при этом Core ML для устоявшихся целей развертывания Apple.

Прежде чем Core AI сможет стать поддерживаемым форматом экспорта, интеграции требуется:

1. Экспорт и численная проверка для задач детекции, сегментации экземпляров, семантической сегментации, классификации, определения поз и ориентированных ограничивающих рамок.
2. Тестирование точности FP16 и квантованных моделей относительно базовых показателей PyTorch и Core ML.
3. Бенчмарки задержки, памяти, энергопотребления и специализации на устройстве.
4. Загрузка моделей Core AI и предварительная обработка в iOS SDK Ultralytics.
5. Интеграция с Flutter и стратегия совместимости для устройств ниже iOS 27.
6. Выпуски стабильных инфраструктур Apple и инструментов преобразования.

Следи за дорожной картой Ultralytics и примечаниями к выпускам для получения информации о доступности. До появления официальной поддержки любые команды или сторонние патчи, создающие файлы .aimodel, являются экспериментальными и не входят в поддерживаемую матрицу экспорта Ultralytics.

Link to this sectionДополнительные ресурсы#

• Обзор Apple Core AI
• Документация по фреймворку Core AI
• Расширения Core AI PyTorch
• Оптимизация Core AI
• Репозиторий моделей Apple Core AI
• Интеграция Ultralytics с Core ML

Link to this sectionFAQ#

Link to this sectionМожет ли Ultralytics экспортировать модели YOLO в формат .aimodel прямо сейчас?#

Нет. В настоящее время Ultralytics поддерживает формат Apple Core ML .mlpackage через model.export(format="coreml"). Нативная поддержка экспорта в Core AI планируется, но пока не входит в список поддерживаемых экспортеров.

Link to this sectionЗаменит ли Core AI фреймворк Core ML?#

Не сразу. Core AI — это более современный путь Apple для нейронных сетей, в то время как Core ML по-прежнему поддерживается и обеспечивает более широкий охват операционных систем, интеграцию с Vision и поддержку не нейросетевых моделей.

Link to this sectionМогу ли я просто переименовать .mlpackage в .aimodel?#

Нет. Они содержат разные представления моделей и загружаются разными фреймворками. Конвертация должна начинаться с исходной модели через соответствующий набор инструментов Apple.

Link to this sectionЗаменит ли интеграция Ultralytics с Core AI формат format=coreml?#

Ожидается, что первоначальная интеграция будет сосуществовать с Core ML. Любое решение о будущей замене будет зависеть от внедрения в операционные системы, стабильности инструментов, производительности, а также поддержки в iOS и Flutter.