Xuất Apple Core ML
Core ML là framework của Apple để chạy các model machine learning trên iPhone, iPad, Mac, Apple Watch, Apple TV và Apple Vision Pro. Xuất model Ultralytics YOLO26 bằng format="coreml" sẽ tạo gói model yolo26n.mlpackage mà Core ML chạy trên CPU, GPU và Apple Neural Engine, ở FP32, FP16 hoặc với trọng số 8-bit.
Apple đã giới thiệu framework Core AI mới và định dạng .aimodel cho thế hệ iOS 27 và macOS 27, và Ultralytics hỗ trợ xuất định dạng này bằng format="coreai". Core ML vẫn là định dạng mặc định của các SDK iOS và Flutter của Ultralytics; các SDK này tải Core AI dưới dạng tùy chọn trên thiết bị iOS 27, đồng thời hỗ trợ định dạng này trên các hệ điều hành Apple đời cũ hơn.
Tổng quan nhanh#
| Thuộc tính | Chi tiết |
|---|---|
Đối số format | coreml (bí danh: mlpackage, mlprogram, apple, ios). mlmodel xuất định dạng mạng neural đời cũ |
| Đầu ra | yolo26n.mlpackage, một gói model (thư mục) ở định dạng ML Program, có lưu tên lớp, tác vụ và kích thước ảnh dưới dạng metadata |
| Chạy trên | iPhone, iPad, Mac, Apple Watch, Apple TV và Apple Vision Pro, trên CPU, GPU và Apple Neural Engine |
| Runtime | Core ML, được tích hợp trong các hệ điều hành của Apple; ML Program được xuất khai báo thông số Core ML 6 (iOS 15, macOS 12), hoặc với INT8 thì khai báo thông số 7 (iOS 16, macOS 13). Trong Python, gói coremltools trên macOS |
| Precision | FP32, FP16, INT8 (trọng số 8-bit). YOLO26n có dung lượng 9.9 MB ở FP32, 5.1 MB ở FP16 và 2.7 MB ở INT8 |
| Máy export | macOS hoặc Linux x86-64, với Python 3.13 trở xuống. Không hỗ trợ Windows. Quá trình xuất không cần GPU |
Ultralytics Platform có thể xuất model đã huấn luyện sang Core ML giúp bạn, vì vậy bạn không cần môi trường xuất cục bộ.
Bắt đầu nhanh#
Cài gói Ultralytics cùng các dependency để xuất Core ML trên macOS hoặc Linux x86-64:
pip install "ultralytics[export-coreml]"Lệnh này cài coremltools, scikit-learn và phiên bản numpy tương thích với coremltools. Khi dùng pip install ultralytics thông thường, lần xuất đầu tiên sẽ cài coremltools; nếu lần xuất đó cũng phải thay thế numpy mới hơn thì sẽ thất bại; lần chạy tiếp theo sẽ thành công. Quá trình xuất yêu cầu các phiên bản sau:
| Package | Phiên bản yêu cầu |
|---|---|
| Python | 3.13 trở xuống, là phiên bản mới nhất có sẵn các gói dựng sẵn cho coremltools 9.0 |
coremltools | 9.0 trở lên |
numpy | 2.3.5 trở xuống. Quá trình xuất cài phiên bản 2.3.5 thay cho phiên bản mới hơn |
torch | 1.11 trở lên |
scikit-learn | Chỉ áp dụng cho quantize=8 và 'w8a16'. Extra export-coreml cài phiên bản 1.3.2 trở lên; quá trình xuất sẽ cài phiên bản này nếu chưa có |
Để xem các phương thức cài đặt khác, hãy tham khảo hướng dẫn cài đặt. Sau đó xuất model và tải gói đã xuất để chạy inference hoặc đánh giá độ chính xác.
from ultralytics import YOLO
# Nạp model YOLO26
model = YOLO("yolo26n.pt")
# Xuất model sang định dạng Core ML
model.export(format="coreml") # tạo 'yolo26n.mlpackage'
# Hoặc xuất ở FP16 để giảm một nửa dung lượng và chạy trên Neural Engine
model.export(format="coreml", quantize=16) # tạo 'yolo26n.mlpackage'Cả hai lần xuất đều ghi vào cùng một yolo26n.mlpackage, vì vậy lần xuất thứ hai sẽ thay thế lần đầu. Predict và Validate chỉ chạy trên macOS:
from ultralytics import YOLO
# Tải model Core ML đã xuất trên máy Mac
model = YOLO("yolo26n.mlpackage")
# Chạy suy luận
results = model("https://ultralytics.com/images/bus.jpg")from ultralytics import YOLO
# Tải model Core ML đã xuất trên máy Mac
model = YOLO("yolo26n.mlpackage")
# # Đánh giá độ chính xác trên bộ dữ liệu COCO8
metrics = model.val(data="coco8.yaml")Các tác vụ được hỗ trợ#
Quá trình xuất Core ML hỗ trợ cả bảy tác vụ Ultralytics với các model YOLOv8, YOLO11 và YOLO26: phát hiện, phân đoạn, phân đoạn ngữ nghĩa, ước lượng độ sâu, phân loại, ước lượng tư thế và OBB. Phân đoạn ngữ nghĩa và ước lượng độ sâu chỉ có trên YOLO26, dòng model duy nhất có các head này. Các model phát hiện YOLOv5u, YOLOv9, YOLOv10 và YOLO12 cũng có thể xuất, cũng như các model RT-DETR và YOLO-Worldv2. Mỗi tác vụ được kiểm thử với một checkpoint, chẳng hạn yolo11n-seg.pt, rtdetr-l.pt và yolov8s-worldv2.pt.
Các tham số xuất model#
| Đối số | Kiểu | Mặc định | Mô tả |
|---|---|---|---|
format | str | 'coreml' | Định dạng đích của model đã xuất, xác định khả năng tương thích với nhiều môi trường triển khai. |
imgsz | int hoặc tuple | 640 | Kích thước ảnh đầu vào của model, được cố định trong lần xuất mặc định: một số nguyên cho ảnh vuông hoặc một tuple (height, width). Nếu không truyền tham số này, quá trình xuất dùng kích thước mà checkpoint được huấn luyện. Các checkpoint YOLO26 chính thức dùng 640 cho model phát hiện, phân đoạn, ước lượng tư thế và model ngữ nghĩa được tiền huấn luyện trên ADE20K; dùng 1024 cho model OBB và model ngữ nghĩa được tiền huấn luyện trên Cityscapes; dùng 768 cho ước lượng độ sâu; và dùng 224 cho phân loại. |
quantize | int hoặc str | None | Độ chính xác số: 16 (FP16) hoặc 8 (trọng số 8-bit, tính toán FP16; 'w8a16' là cùng một lần xuất); 32/không đặt tham số tương ứng với FP32. Với nms=True, nếu không đặt tham số thì mặc định là FP16. Không thể xuất checkpoint được huấn luyện với quantize=8 sang Core ML; xem Giới hạn và khắc phục sự cố. Thay thế các flag half/int8 đã ngừng hỗ trợ. |
nms | bool, không bắt buộc | None | Chọn đầu ra thô (None, mặc định), NMS tích hợp (True, dành cho các model phát hiện, phân đoạn và ước lượng tư thế có dynamic=False), hoặc head không dùng NMS (False). Xem định dạng đầu ra. |
conf | float | None | Ngưỡng confidence được lưu trong lần xuất nms=True. Dùng 0.25 nếu không đặt. |
iou | float | 0.5 | Ngưỡng IoU được lưu trong lần xuất nms=True. |
agnostic_nms | bool | False | Lựa chọn không phân biệt lớp: trong lần xuất nms=True, một bbox cũng loại bỏ các bbox chồng lấn thuộc lớp khác. Tham số này cũng thay đổi cách chọn các hàng của lần xuất nms=False. |
max_det | int | 300 | Số hàng trong đầu ra của lần xuất nms=False và lần xuất phân đoạn hoặc ước lượng tư thế nms=True. Lần xuất model phát hiện nms=True không có giới hạn này. |
dynamic | bool | False | Cho phép batch size, chiều cao và chiều rộng đầu vào thay đổi linh hoạt, đồng thời chuyển đầu vào từ ảnh thành mảng. Không khả dụng cho model phân loại và RT-DETR hoặc khi dùng nms=True. Xem Triển khai. |
batch | int | 1 | Batch size lớn nhất của lần xuất dynamic=True. Lần xuất mặc định có batch size bằng 1; các giá trị khác sẽ gây lỗi. |
device | str | None | Thiết bị dùng để trace model trong quá trình chuyển đổi; mặc định là cpu. Lần xuất FP32 được trace bằng mps có cùng kích thước gói và cho đầu ra giống lần trace trên CPU. |
Để biết các đối số dùng chung cho mọi định dạng, hãy xem tài liệu chế độ Export.
Các model di động Core ML, LiteRT và QNN chính thức được xuất ở imgsz=640, còn model phân loại được xuất ở imgsz=224. Các checkpoint ngữ nghĩa Cityscapes, độ sâu và OBB mặc định được xuất ở kích thước lớn hơn; hãy truyền imgsz=640 để đồng nhất kích thước. Các model Core ML của Ultralytics iOS SDK được xuất với quantize=8 nms=False.
Precision#
quantize chọn cách lưu trọng số và độ chính xác số mà Core ML dùng khi tính toán. Không độ chính xác số nào trong ba mức cần dữ liệu hiệu chuẩn. Dung lượng dưới đây là của model phát hiện YOLO26n được xuất ở imgsz=640:
quantize | Trọng số | Tính toán | Hệ điều hành tối thiểu | Kích thước YOLO26n |
|---|---|---|---|---|
không đặt hoặc 32 | FP32 | FP32 | iOS 15, macOS 12 | 9.9 MB |
16 | FP16 | FP16 | iOS 15, macOS 12 | 5.1 MB |
8 hoặc 'w8a16' | 8-bit | FP16 | iOS 16, macOS 13 | 2.7 MB |
- FP32: mặc định khi không đặt
nms=True. Trên Apple M4, các lần xuất FP32 cho cả bảy tác vụ đều cho đầu ra giống nhau khi dùng compute unitCPU_AND_NEnhư khi dùngCPU_ONLY; các compute unit này cũng không giúp model chạy nhanh hơn. Hãy xuất ở FP16 hoặc INT8 để dùng Neural Engine. Trên iPhone 17 Pro, model phát hiện YOLO26n FP32 nhanh hơn tối đa 5% khi dùng Neural Engine, tính theo trung vị của ba lần chạy; xem Hiệu năng đo được. - FP16:
quantize=16lưu trọng số và tính toán ở độ chính xác nửa. Đầu vào ảnh và các mảng đầu ra giữ nguyên kiểu dữ liệu của lần xuất FP32 (float32, hoặcint32cho phân đoạn ngữ nghĩa), vì vậy mã inference viết cho model FP32 có thể chạy mà không cần chỉnh sửa. - INT8:
quantize=8vàquantize="w8a16"là cùng một lần xuất. Phương pháp này dùng k-means để gom trọng số của từng layer thành các nhóm 256 giá trị, rồi lưu chỉ số 8-bit cho mỗi trọng số (lượng tử hóa bảng màu); phép tính vẫn dùng FP16 như khi xuất FP16. Các tensor trọng số có 512 giá trị trở xuống không được lượng tử hóa bảng màu. Đây là nén trọng số, không phải lượng tử hóa activation đã hiệu chuẩn màquantize=8chọn cho các định dạng khác, vì vậy không cần đối sốdata. Khiscikit-learnđã được cài đặt, thời gian xuất model phát hiện YOLO26n là 18–26 giây trên Apple M4 và 23–24 giây trên máy chủ x86-64; thời gian xuất YOLO26x là 104 giây trên máy chủ đó. - Độ chính xác: xem các bảng kết quả trên Apple M4 để biết kết quả COCO ở từng mức độ chính xác số. Hãy đánh giá model đã xuất trên dữ liệu của riêng bạn trước khi triển khai.
Định dạng đầu ra#
Quá trình xuất tạo một gói duy nhất, là thư mục mà Xcode, Core ML và coremltools mở dưới dạng một model:
Tệp trong yolo26n.mlpackage/ | Nội dung |
|---|---|
Manifest.json | Danh sách tệp trong gói |
Data/com.apple.CoreML/model.mlmodel | Đồ thị mạng, mô tả đầu vào và đầu ra, cùng metadata: tên lớp, tác vụ, kích thước ảnh, batch size, stride và các đối số xuất; Ultralytics đọc những thông tin này khi tải model |
Data/com.apple.CoreML/weights/weight.bin | Trọng số |
Model nhận một đầu vào có tên image. Trong lần xuất mặc định, đây là đầu vào ảnh Core ML: ảnh RGB có kích thước imgsz của lần xuất, với giá trị pixel từ 0 đến 255. Phép chia cho 255 đã nằm trong model, vì vậy không cần tự chuẩn hóa ảnh; trong ứng dụng, framework Vision của Apple có thể thay đổi kích thước khung hình camera cho khớp đầu vào này. Lần xuất với dynamic=True thay vào đó nhận một mảng float32 có shape (batch, 3, height, width), ở định dạng RGB và được chuẩn hóa về khoảng 0–1.
Tên các mảng đầu ra do converter tạo, chẳng hạn var_1401, và thay đổi tùy model cũng như cài đặt xuất; do đó, hãy đọc tên từ mô tả model thay vì ghi cố định trong mã. Đối số nms và tác vụ quyết định các đầu ra. Các shape bên dưới áp dụng cho checkpoint YOLO26n chính thức ở kích thước xuất mặc định, với checkpoint Cityscapes yolo26n-sem.pt dùng cho phân đoạn ngữ nghĩa:
| Tác vụ | imgsz mặc định | Đầu ra với nms=None | Đầu ra với nms=False | Đầu ra với nms=True |
|---|---|---|---|---|
| Detect | 640 | (1, 84, 8400) | (1, 300, 6) | confidence (boxes, 80) và coordinates (boxes, 4) |
| Segment | 640 | (1, 116, 8400) và (1, 32, 160, 160) | (1, 300, 38) và (1, 32, 160, 160) | (1, 300, 38) và (1, 32, 160, 160) |
| Ngữ nghĩa | 1024 | (1, 1024, 1024), chỉ số lớp của từng pixel | Giống nms=None | Giống nms=None |
| Độ sâu | 768 | (1, 1, 768, 768), bản đồ độ sâu | Giống nms=None | Giống nms=None |
| Phân loại | 224 | classLabel và classLabel_probs | Giống nms=None | Giống nms=None |
| Tư thế | 640 | (1, 56, 8400) | (1, 300, 57): 6 giá trị box, sau đó là 17 keypoint x 3 | (1, 300, 57) |
| OBB | 1024 | (1, 20, 21504) | (1, 300, 7): 4 giá trị box, điểm số, lớp, góc | Giống nms=None |
- Đầu ra thô (
nms=None): shape(1, values, anchors), chứa cùng các dự đoán thô như lần xuất ONNX mặc định: với mỗi anchor, lần lượt là tâm bbox x, tâm bbox y, chiều rộng và chiều cao theo pixel đầu vào; tiếp theo là điểm số lớp, rồi các giá trị của tác vụ (32 hệ số mask, 17 x 3 giá trị keypoint hoặc góc OBB tính bằng radian). Tự áp dụng NMS. - Đầu ra không dùng NMS (
nms=False):max_det(mặc định là 300) hàngx1, y1, x2, y2, score, classtheo pixel đầu vào, không qua bước NMS. Các hàng OBB có dạngcenter x, center y, width, height, score, class, angle. Lọc các hàng theo điểm số. Khả dụng cho model có head không dùng NMS, chẳng hạn YOLO26 và YOLOv10. - NMS tích hợp cho phát hiện (
nms=True): gói này là một Core ML pipeline gồm model và bước NMS của Apple. Gói trả vềconfidence, mỗi hàng chứa điểm số lớp của một bbox được giữ lại, vàcoordinates, lần lượt là tâm bbox x, tâm bbox y, chiều rộng và chiều cao của từng bbox được giữ lại, tương đối với kích thước ảnh (0–1). Số hàng thay đổi theo từng ảnh.conf(mặc định0.25),iou(mặc định0.5) vàagnostic_nmsđược lưu trong pipeline khi xuất; các đầu vàoconfidenceThresholdvàiouThresholdcó thể bỏ qua, dùng để thay thế hai ngưỡng cho một lần dự đoán.max_detkhông có tác dụng: lần xuất vớimax_det=2vẫn trả về năm bbox cho một ảnh kiểm thử. Với model có số lớp không phải bội số của 80, quá trình xuất đệmconfidencebằng các cột bổ sung cho đến bội số 80 tiếp theo. - NMS tích hợp cho phân đoạn và ước lượng tư thế (
nms=True): NMS chạy bên trong đồ thị model; model trả vềmax_dethàngx1, y1, x2, y2, score, class, tiếp theo là các hệ số mask hoặc keypoint. Các hàng sau phát hiện cuối cùng có điểm số bằng 0, vì vậy hãy lọc hàng theo điểm số.conf,iou,agnostic_nmsvàmax_detđược cố định khi xuất; các lần xuất này luôn dùng FP16 hoặc INT8. - Phân đoạn: đầu ra 3-D chứa các dự đoán, còn đầu ra 4-D chứa các prototype mask.
- Phân đoạn ngữ nghĩa: đầu ra là chỉ số lớp của mỗi pixel dưới dạng
int32, không phải điểm số cho từng lớp. - Phân loại: gói này là một bộ phân loại Core ML, trả về
classLabellà tên lớp có thứ hạng cao nhất vàclassLabel_probslà dictionary chứa tên lớp cùng xác suất.coremltoolscũng trả về các xác suất dưới dạng mảng(1, classes).
YOLO("yolo26n.mlpackage") đọc bố cục từ metadata của model, vì vậy bạn chỉ cần biết các chi tiết này khi chạy model trong mã của riêng mình. Metadata được lưu dưới dạng chuỗi trong metadata do người dùng định nghĩa của model. Các khóa bao gồm names, task, imgsz, stride, batch, end2end, args và, với model ước lượng tư thế, kpt_shape.
Chạy bằng coremltools#
Để chạy gói này trên máy Mac bên ngoài gói Ultralytics, hãy tải gói bằng coremltools; thao tác này cũng chọn compute unit:
# Trước tiên, xuất model: yolo export model=yolo26n.pt format=coreml quantize=16 nms=False
import ast
import coremltools as ct
import numpy as np
from PIL import Image
model = ct.models.MLModel("yolo26n.mlpackage", compute_units=ct.ComputeUnit.CPU_AND_NE)
image = Image.fromarray(np.zeros((640, 640, 3), dtype=np.uint8)) # ảnh đã letterbox của bạn: RGB, 0–255
outputs = model.predict({"image": image})
detections = next(iter(outputs.values()))[0] # mảng đầu ra duy nhất, ảnh đầu tiên: shape (300, 6)
assert detections.shape == (300, 6), "export a detection model at imgsz=640 with nms=False"
detections = detections[detections[:, 4] > 0.25] # giữ các hàng vượt ngưỡng độ tin cậy
names = ast.literal_eval(model.user_defined_metadata["names"]) # {0: 'person', 1: 'bicycle', ...}Triển khai#
Trên iPhone hoặc iPad, thêm .mlpackage vào dự án Xcode hoặc dùng Ultralytics iOS SDK, SDK này tải model và giải mã đầu ra giúp bạn. Trên máy Mac, cài gói bằng pip install ultralytics rồi sao chép .mlpackage vào đó: YOLO("yolo26n.mlpackage") chạy model bằng coremltools, được Ultralytics cài đặt ở lần sử dụng đầu tiên.
- Compute unit: Ultralytics tải model bằng compute unit Core ML
CPU_AND_NE, gồm CPU và Neural Engine; riêng model RT-DETR dùngALL. Nếu model không tải được với các compute unit này, Ultralytics sẽ tải model bằngCPU_ONLY. Không có đối số để chọn compute unit khác; hãy tải gói bằngcoremltoolsnếu muốn làm vậy. Trên Apple M4 chạy macOS 27.2,ALLvàCPU_AND_GPUcũng chạy được model FP32, FP16 và INT8 của cả bảy tác vụ YOLO26n; các phiên bản macOS khác chưa được kiểm thử. device: đối sốdevicekhông chọn phần cứng Core ML. Vớidevice="mps", Ultralytics tiền xử lý và hậu xử lý trên GPU Apple, trong khi Core ML vẫn dùng cùng compute unit. Trên M4, thao tác này không giúp inference nhanh hơn: model YOLO26n FP16 mất khoảng 8 ms cho mỗi ảnh vớidevice="mps", so với khoảng 6 ms khi không dùng; vì vậy hãy đểdeviceở trạng thái chưa đặt.- Độ chính xác số và Neural Engine: trên Apple M4, giai đoạn inference của
YOLO()mất 18–20 ms cho mỗi ảnh ởpredictvới model YOLO26n FP32 (21.0 ms trong lần đánh giá COCO trên Apple M4), và khoảng 6 ms với model FP16 và INT8, trong các lần xuất mặc định (nms=None) trên một ảnh kiểm thử chạy macOS 27.2. Chỉ dùngcoremltools, cùng các model FP16 và INT8 mất khoảng 2 ms vớiCPU_AND_NE, so với 9–10 ms vớiCPU_ONLY. - Shape đầu vào cố định: lần xuất mặc định luôn chạy ở kích thước
imgszcủa lần xuất; Ultralytics đọc kích thước này từ metadata model. Tham sốimgsztruyền chopredicthoặcvalsẽ bị bỏ qua. Ultralytics gửi từng ảnh trong batch đến Core ML dưới dạng một request riêng cho một ảnh, vì vậy có thể xử lý số lượng ảnh bất kỳ;valđặtbatch=1. - Xuất động (
dynamic=True): model khai báo batch size từ 1 đếnbatchcủa lần xuất và kích thước ảnh từ 32 pixel đến gấp đôiimgszcủa lần xuất; Ultralytics truyền kích thước ảnh theo bội số của stride model. Ultralytics chia batch lớn hơn thành các nhóm có kích thướcbatchcủa lần xuất. Với head không dùng NMS, kích thước nhỏ nhất lớn hơn: 128 pixel cho model YOLO26n được xuất ởimgsz=640vớinms=False. Đã kiểm thử model phát hiện ở 320, 640 và 1280 pixel, cùng model phân đoạn ở 640 pixel.
Ultralytics iOS SDK và Flutter Plugin#
Ultralytics iOS SDK là gói Swift có thể tải các lần xuất Core ML của cả bảy tác vụ YOLO26 và trả về kết quả đã giải mã. Hãy xuất bằng các cài đặt của model ứng dụng chính thức:
# INT8 weights and the NMS-free head; use imgsz=224 for classification models
yolo export model=yolo26n.pt format=coreml quantize=8 nms=False imgsz=640Thêm https://github.com/ultralytics/yolo-ios-app.git vào ứng dụng bằng Swift Package Manager, sau đó tải gói đã xuất:
import UltralyticsYOLO
// Load your exported Core ML model, then run inference on a UIImage
let yolo = YOLO("/path/to/yolo26n.mlpackage", task: .detect) { result in
if case .success(let model) = result {
let results = model(uiImage) // boxes, labels, confidences, timing
}
}SDK chạy model Core ML thông qua VNCoreMLRequest của Vision; thành phần này thay đổi kích thước từng ảnh cho khớp đầu vào của model. Với ứng dụng camera, YOLOView của SDK chạy inference thời gian thực cùng các lớp phủ gốc; plugin Ultralytics YOLO cho Flutter chạy cùng các lần xuất Core ML trên iOS, từ codebase dùng chung với Android. Trên iOS 16 trở lên, SDK yêu cầu Core ML dùng .cpuAndNeuralEngine thay vì .all, vì trong ứng dụng camera, GPU đã bận xử lý phần xem trước và các lớp phủ.
Hướng dẫn triển khai#
- Tích hợp model Core ML vào ứng dụng: hướng dẫn của Apple về cách thêm model vào dự án Xcode và gọi model.
- Nhận diện đối tượng trong luồng video trực tiếp: ví dụ của Apple về cách chạy model phát hiện Core ML trên khung hình camera bằng Vision và
VNCoreMLRequest. - MLComputeUnits: cài đặt
computeUnitscủaMLModelConfigurationđể chọn CPU, GPU và Neural Engine. - Tối ưu hóa việc sử dụng Core ML: phiên hướng dẫn của Apple về báo cáo hiệu năng trong Xcode, cho biết compute unit và độ trễ của từng layer trên thiết bị.
- Hướng dẫn Core ML Tools: tài liệu tham khảo về chuyển đổi và tối ưu hóa gói
coremltoolsđược dùng trong quá trình xuất này. - Ultralytics Platform: mở lần xuất Core ML trong ứng dụng Ultralytics YOLO trên iPhone bằng cách quét mã QR.
- Core AI, LiteRT và Qualcomm QNN: định dạng của Apple dành cho iOS 27 và các định dạng dành cho thiết bị Android cùng NPU Snapdragon.
Giới hạn và khắc phục sự cố#
- Lần xuất đầu tiên sau khi cài đặt thông thường: khi lần xuất đầu tiên cần thay thế
numpy(các phiên bản cao hơn 2.3.5 sẽ làm hỏng quá trình chuyển đổi), Ultralytics ghi logRestart runtime or rerun command for updates to take effectvà lần xuất đó thất bại vớiTypeError: only 0-dimensional arrays can be converted to Python scalars. Chạy lại lệnh xuất trong tiến trình mới; trong notebook, điều này có nghĩa là khởi động lại kernel. Hoặc cài"ultralytics[export-coreml]"trước lần xuất đầu tiên như trong Hướng dẫn bắt đầu nhanh. - Máy chủ xuất: quá trình xuất chạy trên macOS và Linux x86-64. Không hỗ trợ Windows hoặc Linux ARM64, chẳng hạn Raspberry Pi:
coremltools9.0 chỉ phát hành gói dựng sẵn cho macOS và Linux x86-64. - Phiên bản Python:
coremltools9.0 có gói dựng sẵn cho Python 3.13 trở xuống. Trên Python 3.14,pip install "ultralytics[export-coreml]"không cài gói Core ML nào, vì vậy quá trình xuất sẽ buildcoremltoolstừ source. Lần xuất đầu tiên sau đó sẽ thất bại như khi cài đặt thông thường; lần tiếp theo sẽ chạy vớiRuntimeError: BlobWriter not loaded. Hãy tạo môi trường bằng Python 3.13 trở xuống. - Inference cần macOS: trên Linux, chạy dự đoán hoặc đánh giá bằng
YOLO("yolo26n.mlpackage")sẽ thất bại vớiModel prediction is only supported on macOS version 10.13 or later.. Hãy đánh giá checkpoint PyTorch trên Linux hoặc sao chép gói sang máy Mac. - Tắt cài đặt tự động: khi dùng
YOLO_AUTOINSTALL=false, quá trình xuất sẽ thất bại vớiNo module named 'coremltools'nếu môi trường chưa có gói này. - Checkpoint được huấn luyện bằng
quantize=8: checkpoint được tinh chỉnh bằng huấn luyện nhận biết lượng tử hóa sẽ không xuất được vớiformat='coreml' cannot export a QAT model: its Q/DQ ranges are only read by the 'onnx' and 'engine' backends. Thay vào đó, hãy xuất checkpoint ban đầu dùng để tinh chỉnh bằngquantize=8, hoặc xuất checkpoint đã tinh chỉnh sang ONNX hoặc TensorRT. quantize="w8a32": thất bại vớiquantize='w8a32' is not supported; format='coreml' supports quantize=16 (FP16), 8 (INT8), 'w8a16' (INT8 weights + INT16 activations), 32 or None (FP32).. Với Core ML,'w8a16'là lần xuất tương tự8, nhưng dùng tính toán FP16.- NMS tích hợp trên các tác vụ khác:
nms=Truehoạt động với model phát hiện, phân đoạn và ước lượng tư thế. Với model OBB và phân loại, quá trình xuất ghi logCoreML 'nms=True' is only supported for detect, segment and pose models. Forcing 'nms=None'.; với model phân đoạn ngữ nghĩa và ước lượng độ sâu, ghi log'nms=True' is not valid for semantic models. Forcing 'nms=None'.(hoặcdepth models); với model RT-DETR, ghi log'nms=True' is not available for end2end models or non-YOLO heads. Forcing 'nms=None'.. Tất cả đều tạo đầu ra như lần xuất mặc định. - Độ chính xác số của NMS tích hợp: lần xuất
nms=Truekhông cóquantizesẽ dùng FP16.quantize=32tạo pipeline FP32 cho model phát hiện; với model phân đoạn và ước lượng tư thế, quá trình xuất ghi logCoreML 'nms=True' requires FP16 for segment models. Forcing 'quantize=16'.(hoặcpose models). - NMS tích hợp và đánh giá: lần xuất
nms=Trueloại bỏ các bbox thấp hơnconftrước khivalxử lý, nên điểm số thấp hơn so với cùng model dùng NMS bên ngoài: trên COCO val2017, lần xuất YOLO26n FP16 vớinms=Trueđạt 33.8 mAPval 50-95 khi dùngconf=0.25mặc định, và đạt 39.9 khi xuất vớiconf=0.001, vẫn thấp hơn 1.0 so với mức 40.9 của lần xuất FP16 mặc định. Hãy xuất vớiconf=0.001để đánh giá model này, rồi chọn riêng ngưỡng triển khai. - Head không cần NMS trên các model khác:
nms=Falseyêu cầu model có head không cần NMS, chẳng hạn YOLO26 hoặc YOLOv10. Với các model khác, ví dụ YOLO11, quá trình xuất cảnh báoThis model has no one-to-one head; using one-to-many outputs.và tạo đầu ra thô(1, 84, 8400). - Batch size: giá trị
batchlớn hơn 1 mà không códynamic=Truesẽ thất bại vớibatch sizes > 1 are not supported without 'dynamic=True' for CoreML export. Please retry at 'dynamic=True'.. - Shape động:
dynamic=Truekhông cóbatchsẽ ghi log'dynamic=True' export requires a maximum batch size, e.g. 'batch=16'.và xuất model có batch size tối đa bằng 1. Khi dùngnms=True, quá trình xuất sẽ thất bại với'nms=True' cannot be used together with 'dynamic=True' for CoreML export. Please disable one of them.; với model phân loại và RT-DETR, quá trình xuất thất bại với'dynamic=True' is not supported for CoreML classification or RT-DETR models.. Kích thước ảnh nằm ngoài phạm vi cho phép sẽ gây lỗi khi dự đoán, chẳng hạnSize (1312) of dimension (2) is not in allowed range (32..1280). - Phân đoạn ngữ nghĩa trên Neural Engine: trên Apple M4, model YOLO26n-sem chạy lâu hơn với
CPU_AND_NEso vớiCPU_ONLY, chỉ dùngcoremltoolstrên một ảnh kiểm thử: 59–64 ms so với 22 ms cho lần xuất FP16 ởimgsz=1024, và khoảng 15 ms so với 9 ms cho lần xuất INT8 ởimgsz=640. Các model FP16 của sáu tác vụ còn lại và model INT8 ởimgsz=640(224 cho phân loại) chạy nhanh hơn vớiCPU_AND_NE; trên iPhone 17 Pro, model phân đoạn ngữ nghĩa INT8 cũng chạy nhanh hơn với Neural Engine.YOLO()luôn dùngCPU_AND_NEcho các model này, vì vậy hãy đo hiệu năng model ngữ nghĩa bằng cả hai cài đặt trong mã của riêng bạn. .cpuOnlytrên iOS 27.0.1: trên iPhone 17 Pro, inference.cpuOnlycủa model độ sâu, ước lượng tư thế và OBB YOLO26l và YOLO26x gặp sự cố bên trong các kernel CPU của Core ML (EXC_BAD_ACCESStronglibBNNS). Các model này chạy được với.cpuAndNeuralEngine, tùy chọn mà iOS SDK yêu cầu.- Tên gói: mỗi lần xuất của cùng một checkpoint đều ghi vào cùng
yolo26n.mlpackage, bất kểquantize,imgsz,nmshaydynamic; vì vậy, lần xuất sau sẽ thay thế lần trước. Đổi tên gói để giữ lại cả hai, đồng thời giữ hậu tố.mlpackage, chẳng hạnyolo26n_fp16.mlpackage, vì Ultralytics nhận diện định dạng dựa vào hậu tố này. Gói không có hậu tố sẽ thất bại vớiis not a supported model format. - Cảnh báo phiên bản PyTorch: với phiên bản PyTorch mới,
coremltoolsghi logTorch version 2.15.0 has not been tested with coremltools. You may run into unexpected errors.khi tải; với phiên bảnscikit-learnmới, chương trình ghi logscikit-learn version 1.9.1 is not supported.. Các lần xuất và kết quả trên Mac trong trang này được thực hiện bằng những phiên bản sau. - Tệp
.mlmodelcũ:format="mlmodel"xuất định dạng mạng neural Core ML đời cũ thành một tệpyolo26n.mlmodelduy nhất dành cho ứng dụng không thể tải ML Program. Trong định dạng này,quantize=8và'w8a16'áp dụng lượng tử hóa tuyến tính trọng số 8-bit. Với dự án mới, hãy dùng.mlpackagemặc định.
Đối với các lỗi khác, hãy xem hướng dẫn về các sự cố thường gặp.
Hiệu năng đo được#
Các bảng dưới đây được đo trên iPhone 17 Pro và máy Mac Apple M4. Trang model YOLO26 liệt kê độ chính xác của các checkpoint PyTorch cho từng tác vụ.
iPhone 17 Pro#
Phần cứng: iPhone 17 Pro chạy iOS 26.6. Chip A19 Pro có CPU 6 lõi (2 lõi hiệu năng và 4 lõi tiết kiệm năng lượng), GPU 6 lõi và Neural Engine 16 lõi.
Bảng đầu tiên trình bày độ trễ xử lý một ảnh của model INT8 chính thức cho từng tác vụ, sử dụng các asset v8.3.0 của SDK iOS của Ultralytics, được export bằng nms=False. Mỗi ô hiển thị tổng thời gian tính bằng mili giây, bên dưới là thời gian tiền xử lý / suy luận / hậu xử lý; đơn vị tính toán nhanh hơn được in đậm:
| Model | Tác vụ | kích thước (pixel) | CPU Core ML .cpuOnly(ms) | CPU + Neural Engine Core ML .cpuAndNeuralEngine(ms) |
|---|---|---|---|---|
| YOLO26n | Detect | 640 | 9.7 0.0 / 9.7 / 0.0 | 4.7 0.0 / 4.7 / 0.0 |
| YOLO26n-seg | Segment | 640 | 12.8 0.0 / 12.2 / 0.6 | 5.8 0.0 / 5.0 / 0.7 |
| YOLO26n-sem | Ngữ nghĩa | 640 | 9.3 0.0 / 8.9 / 0.5 | 5.3 0.0 / 4.8 / 0.5 |
| YOLO26n-depth | Độ sâu | 640 | 25.8 0.0 / 24.8 / 1.0 | 8.0 0.0 / 6.9 / 1.1 |
| YOLO26n-cls | Phân loại | 224 | 2.1 0.0 / 2.0 / 0.0 | 1.8 0.0 / 1.8 / 0.0 |
| YOLO26n-pose | Tư thế | 640 | 11.9 0.0 / 11.9 / 0.0 | 5.4 0.0 / 5.4 / 0.0 |
| YOLO26n-obb | OBB | 640 | 10.6 0.0 / 10.6 / 0.0 | 4.9 0.0 / 4.9 / 0.0 |
Phép đo tương tự cho năm model detection, kèm thời gian SDK cần để tải từng model:
| Model | CPU.cpuOnly(ms) | CPU + Neural Engine.cpuAndNeuralEngine(ms) | Thời gian tải model.cpuAndNeuralEngine(s) |
|---|---|---|---|
| YOLO26n | 9.2 | 4.5 | 0.9 |
| YOLO26s | 19.5 | 10.5 | 1.3 |
| YOLO26m | 46.7 | 11.8 | 1.8 |
| YOLO26l | 60.1 | 12.0 | 2.4 |
| YOLO26x | 125.9 | 20.5 | 3.3 |
YOLO26n detection với ba mức precision và hai cấu hình nms, được export bằng ultralytics 8.4.215 tại imgsz=640; số liệu là tổng thời gian tính bằng mili giây:
| Precision | nms=None, CPU | nms=None, CPU + Neural Engine | nms=False, CPU | nms=False, CPU + Neural Engine |
|---|---|---|---|---|
| FP32 | 15.5 | 14.7 | 14.5 | 14.4 |
| FP16 | 9.2 | 4.9 | 9.2 | 5.0 |
| INT8 | 9.2 | 4.2 | 9.1 | 5.0 |
- Phương pháp: lấy trung bình 15 lần dự đoán sau 3 lần dự đoán làm nóng trên
bus.jpg, thông qua SDK Swift 8.9.23 trong bản build release..cpuOnlyvà.cpuAndNeuralEnginelà các đơn vị tính toán Core ML mà SDK yêu cầu; Core ML quyết định layer nào chạy ở đâu. Mỗi bảng được đo trong ba lần chạy riêng biệt và hiển thị giá trị trung vị. Kết quả ba lần chạy chênh lệch không quá 15%, ngoại trừ YOLO26n với.cpuAndNeuralEngine: thời gian là 2.6 đến 4.8 ms trong bảng kích thước và 3.8 đến 4.8 ms khi export INT8nms=None. Bảng tác vụ và kích thước sử dụng assetv8.3.0chính thức, còn bảng precision sử dụng các bản export được tạo bằngultralytics8.4.215, do đó các ô YOLO26n khác nhau tối đa 0.5 ms với Neural Engine và 0.6 ms trên CPU. - Tiền xử lý: Vision điều chỉnh tỷ lệ ảnh bên trong yêu cầu suy luận, vì vậy thời gian tiền xử lý được ghi là 0 và chi phí này được tính vào thời gian suy luận.
- FP32: theo các giá trị trung vị này, bản export FP32 nhanh hơn tối đa 5% với
.cpuAndNeuralEngineso với.cpuOnly, trong khi FP16 và INT8 nhanh hơn khoảng hai lần. Hãy export ở FP16 hoặc INT8 để chạy trên Neural Engine. nms: với YOLO26n detection, head không dùng NMS (nms=False) và đầu ra thô có NMS trong SDK (nms=None) đều mất 4 đến 5 ms khi chạy trên Neural Engine ở FP16 và INT8.- Ứng dụng camera: đây là độ trễ xử lý một ảnh. Ứng dụng camera thời gian thực còn tốn thời gian chụp và hiển thị; xem ghi chú hiệu năng SDK iOS.
- So sánh kết quả CPU/GPU trên Android trong tích hợp LiteRT, kết quả MediaTek Dimensity và kết quả NPU Snapdragon trong tích hợp Qualcomm QNN.
Apple M4#
Các bảng bên dưới so sánh PyTorch với model Core ML FP32, FP16 và INT8 của mọi model YOLO26 detection trên Apple M4 (4 lõi hiệu năng và 6 lõi tiết kiệm năng lượng) chạy macOS 27.2; kết quả được xác thực bằng YOLO() trên COCO val2017. PyTorch chạy trên CPU với 8 luồng, batch=1 và rect=False, để nhận cùng đầu vào 640x640 như các model Core ML; các model Core ML chạy với đơn vị tính toán mặc định của Ultralytics.
Số mili giây trên mỗi ảnh; càng thấp càng tốt. Định dạng nhanh nhất cho mỗi model được in đậm.
| Model | imgsz | PyTorch | Core ML FP32 | Core ML FP16 | Core ML INT8 |
|---|---|---|---|---|---|
| YOLO26n | 640 | 25.6 | 21.0 | 6.0 | 6.0 |
| YOLO26s | 640 | 60.0 | 50.0 | 7.9 | 7.6 |
| YOLO26m | 640 | 137.2 | 127.6 | 14.3 | 11.3 |
| YOLO26l | 640 | 191.2 | 187.7 | 17.2 | 13.5 |
| YOLO26x | 640 | 341.1 | 334.2 | 28.6 | 24.3 |
Với head không dùng NMS (nms=False), YOLO26n đạt 40.3 mAPval 50-95 trong PyTorch và FP32, 40.2 ở FP16 và 40.1 ở INT8.
Độ trễ của YOLO26n với từng đơn vị tính toán Core ML, được đo riêng bằng coremltools dưới dạng trung vị của 20 lần dự đoán trên một ảnh, tính bằng mili giây:
| Precision | CPU_ONLY | CPU_AND_NE | ALL | CPU_AND_GPU |
|---|---|---|---|---|
| FP32 | 13.7 | 13.6 | 8.3 | 8.0 |
| FP16 | 9.6 | 1.8 | 2.0 | 7.7 |
| INT8 | 9.4 | 1.8 | 1.8 | 8.1 |
- FP16 và INT8 chạy nhanh hơn FP32 từ 3.5 đến 14 lần thông qua
YOLO(); độ chính xác của FP16 thấp hơn FP32 không quá 0.1 mAP, còn INT8 thấp hơn không quá 0.2. INT8 nhanh ngang FP16 với YOLO26n và nhanh hơn tối đa 1.3 lần với các model lớn hơn. - FP32 cho kết quả đầu ra giống nhau với
CPU_AND_NEvàCPU_ONLY. Chỉ các đơn vị tính toán GPU giúp model chạy nhanh hơn. - INT8 giúp package nhỏ hơn FP32 từ 3.7 đến 4.0 lần.
Được đo bằng ultralytics 8.4.215, coremltools 9.0 và PyTorch 2.15.0 tại batch=1 vào ngày 17 tháng 11 năm 2026. Độ trễ là thời gian của giai đoạn suy luận mà val báo cáo, không bao gồm tiền xử lý hoặc hậu xử lý. Một lần chạy thứ hai của ba trường hợp YOLO26n Core ML trong cùng ngày chênh lệch tối đa 2.3 ms: 21.0 so với 18.8 ms ở FP32.
Giới thiệu về Core ML#
Core ML được tích hợp trong iOS, iPadOS, macOS, watchOS, tvOS và visionOS. Core ML tải model ở định dạng ML Program, định dạng mà .mlpackage tạo ra khi export, rồi chạy từng layer trên CPU, GPU hoặc Apple Neural Engine, tức NPU của Apple silicon. Nhờ đó, suy luận hoạt động ngoại tuyến và dữ liệu được giữ trên thiết bị. Xem tài liệu Core ML để biết thông tin tham khảo đầy đủ.
Xem: Cách export Ultralytics YOLO26 sang CoreML với lượng tử hóa INT8 | Triển khai trên Apple | iOS/MacOS 🍎
Câu hỏi thường gặp#
Cả hai đều chạy trên Neural Engine và tính toán ở FP16, nên lựa chọn phụ thuộc vào kích thước. FP16 (
quantize=16) giảm một nửa kích thước package: YOLO26n là 5.1 MB so với 9.9 MB; INT8 (quantize=8) lưu trọng số 8-bit, YOLO26n có kích thước 2.7 MB, và đây là precision của các model trong ứng dụng Ultralytics chính thức. Trên COCO val2017, bản export YOLO26n mặc định đạt 40.9 mAPval 50-95 ở FP16 và 40.8 ở INT8 trên Apple M4; thời gian xử lý mỗi ảnh của hai bản gần như bằng nhau. Trên iPhone 17 Pro, cả hai đều mất 4 đến 5 ms cho YOLO26n khi chạy với Neural Engine, nằm trong mức dao động giữa các lần chạy. INT8 yêu cầu iOS 16 hoặc macOS 13, còn FP16 cũng chạy được trên iOS 15 và macOS 12. Cả hai đều không cần dữ liệu hiệu chuẩn. Tránh dùng bản export FP32 mặc định để triển khai: đây là bản lớn nhất và trong các thử nghiệm của chúng tôi, khi dùng đơn vị tính toán Neural Engine, bản này nhanh hơn CPU đơn thuần tối đa 5%; xem Precision. Hãy xác thực model đã export trên dữ liệu và thiết bị của riêng bạn trước khi phát hành.Điều này phụ thuộc vào thành phần giải mã đầu ra. Khi dùng SDK iOS của Ultralytics hoặc plugin Flutter, hãy export model YOLO26 với
nms=False, giống như các model chính thức: SDK sẽ đọc các detection cuối cùng của head không dùng NMS nên không cần bước NMS. Trên COCO val2017, YOLO26n INT8 đạt 40.1 mAPval 50-95 với head không dùng NMS, so với 40.8 khi dùng đầu ra mặc định và NMS bên ngoài. Trên iPhone 17 Pro, cả hai đều mất 4 đến 5 ms mỗi ảnh. Khi dùng framework Vision của Apple và code riêng,nms=Truechuyển model detection thành pipeline Core ML có bước NMS của Apple; bạn có thể thay đổi các ngưỡng cho từng lần dự đoán. Vision trả về các detection dưới dạng objectVNRecognizedObjectObservation, còn điểm số của một box làconfidencecủa observation đó. Không tải model detectionnms=Truebằng SDK: trong thử nghiệm trên iPhone 17 Pro chạy iOS 26.6, SDK 8.9.23 trả về khoảng 1.0 — độ tin cậy của nhãn có điểm cao nhất trong mỗi box — thay cho điểm số của box.nms=Nonemặc định trả về các dự đoán thô và để code của bạn xử lý NMS. Xem Định dạng đầu ra để biết đầu ra của từng cấu hình.Bạn có thể export mà không cần máy Mac: quy trình export chạy trên Linux x86-64 và Ultralytics Platform hỗ trợ export trên cloud. Để chạy model cần có phần cứng Apple, vì Core ML là một phần trong các hệ điều hành của Apple. Trên Linux và Windows, hãy xác thực checkpoint PyTorch hoặc bản export ONNX của checkpoint đó, sau đó xác thực chính model Core ML trên máy Mac, nơi
YOLO("yolo26n.mlpackage").val()có thể chạy model, hoặc trên thiết bị.
Bình luận13
Đặt câu hỏi, chia sẻ kết quả hoặc giúp đỡ người khác.
Afool4U
Hello! I have trouble when I tried to export yolo11n.pt to coreml model with tracking. for example, the exist tracking method is like this:
# use YOLO tracking results = yolo_model.track(frame, persist=True, verbose=False)And I've export pt format and reloaded the new coreml format model like this:
model.export(format='coreml', nms=True, half=False) model = ct.models.MLModel('yolo11n.mlpackage')But when I tried to make a tracking on my camera stream, it seems that object 'model' have no attribute named 'track'. So how could I use tracking by a coreml format model? It's very important to me because the coreml model works well on my macbook.
Sebastianxhj
I used the example python code you guys gave. Why does output output confidence and coordination after converting my target detection model to mlpackage format. is it normal to not return processed images? Or is there something wrong with my export process.
Glenn JocherUltralytics@taeja7 the CoreML export returns raw detection outputs (confidence, coordinates) rather than processed images by design. This is normal behavior, as post-processing like bounding box rendering is typically handled within the application layer after inference. For implementation guidance, see the CoreML deployment documentation on handling model outputs in Apple apps.
smadsenjc
I have a trained model that is doing very well in Python, but once I convert it to CoreML
.mlpackageformat and run inference in Swift, the results are garbage on the same images.If I export with
nms=True, I get multiple overlapping bounding boxes back, similar-ish to when no NMS is done. The number of clusters matches the objects I expect, and they're kind of relatively positioned correctly, although the boxes themselves are too large and clustered in the wrong location. The predicted labels are right.If I export with
nms=False, I get a different result back fromVNCoreMLRequest: a singleVNCoreMLFeatureValueObservationinstead of an array ofVNRecognizedObjectObservation.I've used both coremltools 8.0 and 8.2. If I run inference in Python using the CoreML model, it's fine (with
nms=False;Truefails).This was working back in November, but I got side-tracked with other work. I haven't touched the model.
Glenn JocherUltralytics@smadsenjc for CoreML inference discrepancies between Python and Swift, ensure you're handling NMS parameters correctly in your Swift implementation. The CoreML export with
nms=Truerequires explicit IOU and confidence threshold inputs during inference - these must match your Python training parameters. We recommend verifying your Swift preprocessing matches Ultralytics' RGB channel ordering and normalization (scale=1/255, bias=[0,0,0]). For direct assistance with Apple's Vision framework implementation, refer to Apple's CoreML integration guide linked in our documentation.
CharanPrasadK
When I am Converting the Yolo .pt model to coreml model , mlpackage is creating and when I am checking it in the xcode the class labels are missing. For the core ml models in ultralytics github page class labels are there. If its solved i can test my custom yolo models. Thank you.
Glenn JocherUltralytics(đã chỉnh sửa)@CharanPrasadK it seems the class labels are not being included in your CoreML export. Ensure that your model is correctly labeled during training and export by checking the
namesattribute in the model. If the issue persists, please verify that you're using the latestultralyticspackage. For further details, refer to the CoreML export documentation. Let us know if you need additional assistance!
ChristalZhu
Still the same problem, this is the result of running in the terminal: PyTorch: starting from '/Users/doublepeng/Desktop/best.pt' with input shape (1, 3, 640, 640) BCHW and output shape(s) ((1, 37, 8400), (1, 32, 160, 160)) (6.5 MB)
CoreML: starting export with coremltools 7.2... CoreML: WARNING ⚠️ 'nms=True' is only available for Detect models like 'yolov8n.pt'. Tuple detected at graph output. This will be flattened in the converted model. Converting PyTorch Frontend ==> MIL Ops: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 679/681 [00:00<00:00, 8273.25 ops/s] Running MIL frontend_pytorch pipeline: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:00<00:00, 157.94 passes/s] Running MIL default pipeline: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 78/78 [00:00<00:00, 82.56 passes/s] Running MIL backend_mlprogram pipeline: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 12/12 [00:00<00:00, 160.71 passes/s] CoreML: export success ✅ 7.7s, saved as '/Users/doublepeng/Desktop/best.mlpackage' (6.4 MB)
Export complete (8.1s) Results saved to /Users/doublepeng/Desktop Predict: yolo predict task=segment model=/Users/doublepeng/Desktop/best.mlpackage imgsz=640 Validate: yolo val task=segment model=/Users/doublepeng/Desktop/best.mlpackage imgsz=640 data=/home/yujialin/Documents/xiaotong/corn/data/corn.yaml Visualize: https://netron.app In the run mlpackage file, the class label is still missing in General, and there is no preview. Since I am only doing corn segmentation, if possible, can I send you my .pt file?
Glenn JocherUltralytics@ChristalZhu hello,
Thank you for providing the detailed output from your terminal. It looks like the CoreML export process completed successfully, but you're experiencing issues with missing class labels and preview in the
.mlpackagefile.To assist you better, could you please confirm the following:
- Are you using the latest versions of
torchandultralytics? If not, please upgrade and try the export process again. - Could you provide a minimum reproducible example of your code? This will help us understand the context and reproduce the issue on our end. You can refer to our minimum reproducible example guide for more details.
Regarding your
.ptfile, we cannot accept direct file submissions. However, you can share the relevant code snippets and configurations you used for training and exporting the model.Here's a quick example of how to export a YOLOv8 model to CoreML and run inference:
from ultralytics import YOLO # Load the YOLOv8 model model = YOLO("yolov8n.pt") # Export the model to CoreML format model.export(format="coreml") # creates 'yolov8n.mlpackage' # Load the exported CoreML model coreml_model = YOLO("yolov8n.mlpackage") # Run inference results = coreml_model("https://ultralytics.com/images/bus.jpg")For more detailed instructions, you can visit our CoreML integration guide.
Looking forward to your response so we can help resolve this issue.
- Are you using the latest versions of
ChristalZhu
我按照https://harshavardhanyellanki.github.io/YOLOV8_GUI/tasks/segmentation/的方法,将我自己训练的分割模型进行导出成mlpackage,但是出现了问题就是打开这个mlpackage之后,缺少class label文件和缺少了preview,请问这个有什么办法解决,如果可以的话,麻烦发送到我的email账号:wenpeng.zhu@foxmail.com万分感谢。 I followed the method at https://harshavardhanyellanki.github.io/YOLOV8_GUI/tasks/segmentation/ to export the segmentation model I trained myself into mlpackage, but the problem is that after opening this mlpackage, the class label file and the preview are missing. Is there any way to solve this problem? If possible, please send it to my email account: wenpeng.zhu@foxmail.com. Thank you very much.
Paula DerrengerUltralyticsHello @ChristalZhu,
Thank you for reaching out and providing details about the issue you're facing with exporting your YOLOv8 segmentation model to CoreML. Let's work together to resolve this.
Firstly, please ensure that you are using the latest versions of
torchandultralytics. You can update them using the following commands:pip install --upgrade torch ultralyticsIf the issue persists, could you please provide a minimum reproducible code example? This will help us better understand the problem and investigate a solution. You can refer to our guide on creating a minimum reproducible example here: Minimum Reproducible Example.
Regarding the missing class label file and preview in the
.mlpackage, this can sometimes occur if the export process does not include all necessary metadata. Here is a Python example to ensure the export includes all required components:from ultralytics import YOLO # Load your trained YOLOv8 model model = YOLO("path/to/your/custom_model.pt") # Export the model to CoreML format model.export(format="coreml", nms=True) # Ensure NMS is included for proper detectionAfter exporting, you can manually check the
.mlpackageto ensure it contains the necessary class labels and preview files. If they are still missing, please let us know, and we can further investigate.For more detailed instructions on exporting to CoreML, you can visit our documentation here: CoreML Export Guide.
Feel free to share any additional details or errors you encounter. We're here to help!
ChristalZhu
Still the same problem, this is the result of running in the terminal: PyTorch: starting from '/Users/doublepeng/Desktop/best.pt' with input shape (1, 3, 640, 640) BCHW and output shape(s) ((1, 37, 8400), (1, 32, 160, 160)) (6.5 MB)
CoreML: starting export with coremltools 7.2... CoreML: WARNING ⚠️ 'nms=True' is only available for Detect models like 'yolov8n.pt'. Tuple detected at graph output. This will be flattened in the converted model. Converting PyTorch Frontend ==> MIL Ops: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 679/681 [00:00<00:00, 8273.25 ops/s] Running MIL frontend_pytorch pipeline: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:00<00:00, 157.94 passes/s] Running MIL default pipeline: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 78/78 [00:00<00:00, 82.56 passes/s] Running MIL backend_mlprogram pipeline: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 12/12 [00:00<00:00, 160.71 passes/s] CoreML: export success ✅ 7.7s, saved as '/Users/doublepeng/Desktop/best.mlpackage' (6.4 MB)
Export complete (8.1s) Results saved to /Users/doublepeng/Desktop Predict: yolo predict task=segment model=/Users/doublepeng/Desktop/best.mlpackage imgsz=640
Validate: yolo val task=segment model=/Users/doublepeng/Desktop/best.mlpackage imgsz=640 data=/home/yujialin/Documents/xiaotong/corn/data/corn.yaml
Visualize: https://netron.app In the run mlpackage file, the class label is still missing in General, and there is no preview. Since I am only doing corn segmentation, if possible, can I send you my .pt file?
Paula DerrengerUltralyticsHello @ChristalZhu,
Thank you for providing the detailed output from your terminal. It looks like the CoreML export process completed successfully, but you're encountering issues with missing class labels and preview in the
.mlpackage.To address this, please ensure you are using the latest versions of
torchandultralytics. You can update them using the following commands:pip install --upgrade torch ultralyticsIf the issue persists, could you please provide a minimum reproducible code example? This will help us better understand the problem and investigate a solution. You can refer to our guide on creating a minimum reproducible example here: Minimum Reproducible Example.
Regarding the missing class label file and preview in the
.mlpackage, this can sometimes occur if the export process does not include all necessary metadata. Here is a Python example to ensure the export includes all required components:from ultralytics import YOLO # Load your trained YOLOv8 model model = YOLO("path/to/your/custom_model.pt") # Export the model to CoreML format model.export(format="coreml", nms=True) # Ensure NMS is included for proper detectionAfter exporting, you can manually check the
.mlpackageto ensure it contains the necessary class labels and preview files. If they are still missing, please let us know, and we can further investigate.For more detailed instructions on exporting to CoreML, you can visit our documentation here: CoreML Export Guide.
Feel free to share any additional details or errors you encounter. We're here to help! 😊
