Link to this sectionTích hợp Apple Core AI#

Core AI là framework mới của Apple để chạy các mạng thần kinh trực tiếp trên Apple silicon. Nó giới thiệu định dạng mô hình .aimodel, API suy luận Swift hiện đại, các công cụ chuyển đổi dựa trên PyTorch, biên dịch ahead-of-time, chuyên biệt hóa mô hình, cùng các công cụ gỡ lỗi và lập hồ sơ chuyên dụng.

Apple mô tả Core AI là bước tiến tiếp theo của quá trình thực thi AI trên thiết bị và là framework suy luận đằng sau Apple Intelligence trên thiết bị. Nó được thiết kế cho các kiến trúc mạng thần kinh hiện tại, từ các mô hình thị giác nhỏ gọn đến các mô hình tạo sinh lớn, và có thể lập lịch tác vụ trên CPU, GPU, và Apple Neural Engine (ANE).

Core AI là một lộ trình triển khai mới thay vì là tên gọi mới cho Core ML. Các framework này sử dụng các định dạng mô hình, công cụ chuyển đổi, API runtime và các mô hình tích hợp ứng dụng khác nhau.

Link to this sectionSo sánh Core AI và Core ML#

Core ML vẫn là lựa chọn phù hợp khi ứng dụng cần độ phủ thiết bị rộng, tích hợp Vision framework hoặc các loại mô hình như cây quyết định và đường ống dạng bảng. Apple tiếp tục hỗ trợ Core ML và hướng các nhà phát triển sử dụng nó cho các loại mô hình phi thần kinh.

Link to this sectionĐịnh dạng Core AI hoạt động như thế nào#

Quy trình tạo lập Core AI bắt đầu từ một mô hình PyTorch:

PyTorch model
    ↓ torch.export
ExportedProgram
    ↓ coreai-torch
Core AI program
    ↓ optimize and save
.aimodel
    ↓ specialize or compile ahead of time
Apple silicon executable

Gói coreai-torch của Apple chuyển đổi torch.export.ExportedProgram bằng cách hạ cấp các phép toán PyTorch ATen thành các phép toán Core AI. Các phép toán không được hỗ trợ có thể được triển khai bằng hạ tầng tùy chỉnh hoặc Metal kernel tùy chỉnh.

Kết quả .aimodel là một tài nguyên mô hình chưa chuyên biệt. Khi một ứng dụng chuẩn bị mô hình, Core AI sẽ chuyên biệt hóa nó cho thiết bị đích. Các ứng dụng có thể cho phép quá trình này diễn ra trong lần sử dụng đầu tiên, yêu cầu chuyên biệt hóa sớm hơn hoặc vận chuyển mô hình đã biên dịch ahead-of-time để giảm thời gian tải ban đầu.

Trong Swift, các ứng dụng tải tài nguyên bằng framework Core AI, chọn một hàm suy luận, cung cấp các đầu vào NDArray có kiểu dữ liệu, và nhận các đầu ra được đặt tên. Điều này khác với việc bọc một mô hình Core ML trong một yêu cầu Vision, vì vậy việc áp dụng Core AI yêu cầu một runtime ứng dụng được thiết kế cho các tài nguyên .aimodel.

Để biết chi tiết triển khai, xem tài liệu của Apple về AIModel, chuyên biệt hóa và bộ nhớ đệm mô hình, và biên dịch Core AI ahead-of-time.

Link to this sectionCách sử dụng trong tương lai của Ultralytics#

Sau khi quá trình tích hợp được lên kế hoạch hoàn tất, Python API dự kiến sẽ xuất một mô hình YOLO26 sang .aimodel với giá trị định dạng chuyên dụng:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(format="coreai")  # Planned: creates yolo26n.aimodel

Lệnh CLI dự kiến tương đương là:

yolo export model=yolo26n.pt format=coreai # Planned: not yet available

Các đối số cuối cùng, các tác vụ YOLO được hỗ trợ, các tùy chọn độ chính xác và hành vi dynamic-shape sẽ được ghi lại trong chế độ Export sau khi bộ xuất được triển khai và xác thực.

Trên iOS 27 hoặc macOS 27, một ứng dụng sau đó sẽ tải và chạy tài nguyên đã xuất thông qua API Core AI Swift của Apple. Tên hàm và tensor dưới đây chỉ mang tính minh họa; hợp đồng đầu ra của Ultralytics được hỗ trợ sẽ được công bố cùng với bộ xuất:

import CoreAI

let modelURL = Bundle.main.url(forResource: "yolo26n", withExtension: "aimodel")!
let model = try await AIModel(contentsOf: modelURL)
guard let function = try model.loadFunction(named: "main") else {
    throw AppError.missingInferenceFunction
}

let outputs = try await function.run(inputs: ["image": imageTensor])

Không giống như quy trình Core ML và Vision hiện tại, lộ trình Core AI trong tương lai sẽ cần xác định việc tiền xử lý hình ảnh, xây dựng NDArray, metadata mô hình và giải mã đầu ra trong Ultralytics iOS SDK. Apple cung cấp chi tiết API hiện tại trong tài liệu framework Core AI và các ví dụ mô hình hoạt động trong kho lưu trữ các mô hình Core AI.

Link to this sectionƯu điểm của Core AI#

Core AI mang lại một số ưu điểm hứa hẹn cho việc triển khai Ultralytics trong tương lai:

• Lộ trình xuất PyTorch hiện đại: Việc chuyển đổi bắt đầu từ torch.export, bảo toàn một biểu đồ PyTorch biểu cảm hơn so với quy trình tracing được sử dụng bởi nhiều bộ xuất hiện có.
• Kiểm soát runtime chi tiết: Các ứng dụng có thể quản lý chuyên biệt hóa, bộ nhớ đệm mô hình đã biên dịch, các hàm suy luận, bộ nhớ và vị trí tính toán.
• Hỗ trợ mô hình nâng cao: Thực thi trạng thái, dynamic shapes, nhiều hàm trong một artifact và các Metal kernel tùy chỉnh được thiết kế cho các kiến trúc thị giác và tạo sinh hiện đại.
• Công cụ nhà phát triển chuyên dụng: Core AI Debugger có thể kiểm tra các biểu đồ và giá trị tensor và truy vết chúng trở lại mã nguồn Python gốc. Xcode và Instruments cung cấp khả năng lập hồ sơ runtime.
• Cơ hội zero-copy: Core AI phơi bày các điều khiển lưu trữ và bộ đệm nhằm giảm việc sao chép giữa các tác vụ camera, đồ họa và suy luận.
• Tối ưu hóa cho Apple-silicon: Chuyên biệt hóa thiết bị cho phép Apple tối ưu hóa một mô hình cho CPU, GPU và Neural Engine có sẵn trên thiết bị cụ thể đó.
• Nén linh hoạt: Các công cụ tối ưu hóa Core AI của Apple hỗ trợ lượng tử hóa, palettization và cắt tỉa (pruning), bao gồm cả các định dạng trọng số bit thấp.

Những khả năng này có thể đặc biệt hữu ích cho các mô hình YOLO trong tương lai với khả năng thực thi động, các thành phần đa phương thức lớn hơn hoặc các phép toán tùy chỉnh không khớp hoàn toàn với các phép toán Core ML hiện có.

Link to this sectionNhược điểm và hạn chế hiện tại#

Core AI hiện chưa phải là sự thay thế cho lộ trình sản xuất Core ML:

• Yêu cầu hệ điều hành mới: Framework công khai nhắm vào thế hệ iOS 27 và macOS 27, trong khi Core ML hỗ trợ cơ sở thiết bị được cài đặt lớn hơn nhiều.
• Phần mềm beta: Framework Core AI của Apple và các phần trong chuỗi công cụ Python của nó vẫn đang trong giai đoạn sơ bộ và có thể thay đổi trước khi có bản phát hành ổn định.
• Môi trường xuất hẹp hơn: coreai-torch hiện yêu cầu Python 3.11 hoặc mới hơn và các phiên bản PyTorch gần đây, phạm vi này hẹp hơn nhiều so với phạm vi Python và PyTorch mà Ultralytics hỗ trợ.
• Không có lệnh Ultralytics hiện tại: yolo export format=coreai chưa được triển khai, thử nghiệm hoặc được bao gồm trong các đảm bảo tương thích của Ultralytics.
• Chưa có runtime ứng dụng Ultralytics: Ứng dụng YOLO iOS và plugin Flutter chính thức hiện đang tải các artifact Core ML thông qua MLModel và Vision.
• Yêu cầu chuyển đổi ứng dụng: Một .aimodel không thể thay thế cho một .mlpackage; việc tải mô hình, tiền xử lý, các lệnh gọi suy luận, xử lý metadata và giải mã đầu ra cần một triển khai Core AI.
• Bằng chứng sản xuất hạn chế: Hiệu suất, mức sử dụng năng lượng, thời gian chuyên biệt hóa lần đầu, độ chính xác và khả năng nén cần được xác thực trên các tác vụ YOLO và ma trận thiết bị được hỗ trợ.
• Không có đường ống NMS kế thừa được thiết lập: Core ML có thể đóng gói một giai đoạn NMS cho các mô hình phát hiện YOLO cũ hơn. Việc tích hợp Core AI đầu tiên dự kiến sẽ tập trung vào các mô hình YOLO26 không cần NMS.

Link to this sectionBạn nên sử dụng định dạng Apple nào?#

Sử dụng Core ML ngày nay khi bạn cần:

• Một lệnh xuất Ultralytics được hỗ trợ
• Triển khai trên các hệ điều hành Apple hiện tại và cũ hơn
• Tích hợp với SDK iOS hoặc Flutter của Ultralytics
• Xử lý hình ảnh Vision framework
• Triển khai YOLO FP16 và INT8 đã được thử nghiệm
• NMS nhúng cho các mô hình phát hiện kế thừa tương thích

Đánh giá Core AI trong tương lai khi bạn có thể yêu cầu iOS 27 hoặc macOS 27 và cần:

• Runtime mạng thần kinh trên thiết bị mới nhất của Apple
• Quản lý chuyên biệt hóa và bộ nhớ đệm rõ ràng
• Thực thi mô hình động hoặc trạng thái nâng cao
• Các phép toán Core AI hoặc Metal kernel tùy chỉnh
• Gỡ lỗi biểu đồ Core AI chi tiết và lập hồ sơ runtime

Core ML và Core AI dự kiến sẽ cùng tồn tại trong khi các ứng dụng chuyển đổi. Việc hỗ trợ Core AI không ngay lập tức loại bỏ nhu cầu đối với Core ML vì các mục tiêu triển khai và hợp đồng ứng dụng của chúng khác nhau.

Link to this sectionLộ trình Ultralytics#

Ultralytics có kế hoạch đánh giá mục tiêu xuất coreai chuyên dụng vào quý 4 năm 2026, sau khi iOS 27 và macOS 27 được phát hành rộng rãi. Công việc ban đầu dự kiến tập trung vào các mô hình YOLO26 không cần NMS và định dạng .aimodel trong khi vẫn giữ lại Core ML cho các mục tiêu triển khai Apple đã thiết lập.

Trước khi Core AI có thể trở thành một định dạng xuất được hỗ trợ, quá trình tích hợp cần:

1. Xuất và xác thực số học trên các tác vụ phát hiện, phân đoạn thực thể, phân đoạn ngữ nghĩa, phân loại, pose và các khung bao định hướng.
2. Kiểm tra độ chính xác FP16 và đã lượng tử hóa so với các đường cơ sở PyTorch và Core ML.
3. Các chuẩn đo lường về độ trễ, bộ nhớ, năng lượng và chuyên biệt hóa trên thiết bị.
4. Tải mô hình và tiền xử lý Core AI trong SDK iOS của Ultralytics.
5. Tích hợp Flutter và chiến lược tương thích cho các thiết bị dưới iOS 27.
6. Các bản phát hành framework và công cụ chuyển đổi ổn định từ Apple.

Theo dõi lộ trình Ultralytics và các ghi chú phát hành để biết thông tin về khả năng sẵn có. Cho đến khi hỗ trợ được phát hành, các lệnh hoặc bản vá của bên thứ ba tạo ra các tệp .aimodel đều là thử nghiệm và nằm ngoài ma trận xuất được Ultralytics hỗ trợ.

Link to this sectionTài nguyên bổ sung#

• Tổng quan về Apple Core AI
• Tài liệu về framework Core AI
• Core AI PyTorch Extensions
• Tối ưu hóa Core AI
• Kho lưu trữ model Apple Core AI
• Tích hợp Ultralytics Core ML

Link to this sectionCâu hỏi thường gặp#

Link to this sectionLiệu Ultralytics có thể xuất model YOLO sang .aimodel ngay bây giờ không?#

Không. Ultralytics hiện hỗ trợ định dạng .mlpackage của Core ML trên Apple thông qua model.export(format="coreml"). Mục tiêu xuất dữ liệu sang Core AI đang được lên kế hoạch nhưng chưa nằm trong trình xuất được hỗ trợ.

Link to this sectionCore AI có đang thay thế Core ML không?#

Không phải ngay lập tức. Core AI là hướng đi mới của Apple cho các mạng thần kinh hiện đại, trong khi Core ML vẫn được hỗ trợ và cung cấp phạm vi bao phủ hệ điều hành rộng hơn, tích hợp Vision và hỗ trợ các model phi thần kinh.

Link to this sectionTôi có thể đổi tên .mlpackage thành .aimodel không?#

Không. Chúng chứa các biểu diễn model khác nhau và được tải bởi các framework khác nhau. Việc chuyển đổi phải bắt đầu từ model nguồn thông qua bộ công cụ Apple thích hợp.

Link to this sectionLiệu tích hợp Ultralytics Core AI có thay thế format=coreml không?#

Việc tích hợp ban đầu dự kiến sẽ cùng tồn tại với Core ML. Bất kỳ quyết định thay thế nào trong tương lai đều phụ thuộc vào mức độ áp dụng của hệ điều hành, công cụ ổn định, hiệu năng cũng như khả năng hỗ trợ iOS và Flutter ở hạ nguồn.