iOS-приложение Ultralytics: обнаружение объектов в реальном времени с помощью моделей YOLO
Приложение Ultralytics iOS — это мощный инструмент, который позволяет запускать модели YOLO непосредственно на вашем iPhone или iPad для обнаружения объектов в реальном времени. Это приложение использует Apple Neural Engine и Core ML для оптимизации и ускорения моделей, обеспечивая быстрое и эффективное обнаружение объектов.
Смотреть: Начало работы с приложением Ultralytics HUB (IOS и Android)
Квантование и ускорение
Для достижения производительности в реальном времени на вашем устройстве iOS, модели YOLO квантуются до FP16 или INT8 точности. Квантование - это процесс, который уменьшает числовую точность весов и смещений модели, тем самым уменьшая размер модели и объем необходимых вычислений. Это приводит к более быстрому времени логического вывода без существенного влияния на точность модели.
Квантование FP16
Квантование FP16 (или половинной точности) преобразует 32-битные числа с плавающей запятой модели в 16-битные числа с плавающей запятой. Это уменьшает размер модели вдвое и ускоряет процесс вывода, сохраняя при этом хороший баланс между точностью и производительностью.
Квантование INT8
Квантование INT8 (или 8-битное целое число) дополнительно уменьшает размер модели и вычислительные требования, преобразуя ее 32-битные числа с плавающей запятой в 8-битные целые числа. Этот метод квантования может привести к значительному ускорению, но может привести к незначительному снижению точности.
Apple Neural Engine
Apple Neural Engine (ANE) – это специализированный аппаратный компонент, интегрированный в чипы Apple серий A и M. Он предназначен для ускорения задач machine learning, особенно для нейронных сетей, что позволяет быстрее и эффективнее выполнять ваши YOLO модели.
Благодаря объединению квантованных моделей YOLO с Apple Neural Engine, приложение Ultralytics iOS обеспечивает обнаружение объектов в реальном времени на вашем iOS-устройстве без ущерба для точности или производительности.
| Год выпуска | Название iPhone | Название чипсета | Размер узла | ANE TOPs |
|---|---|---|---|---|
| 2017 | iPhone X | A11 Bionic | 10 нм | 0.6 |
| 2018 | iPhone XS | A12 Bionic | 7 нм | 5 |
| 2019 | iPhone 11 | A13 Bionic | 7 нм | 6 |
| 2020 | iPhone 12 | A14 Bionic | 5 нм | 11 |
| 2021 | iPhone 13 | A15 Bionic | 5 нм | 15.8 |
| 2022 | iPhone 14 | A16 Bionic | 4 нм | 17.0 |
| 2023 | iPhone 15 | A17 Pro | 3 нм | 35.0 |
Обратите внимание, что этот список включает модели iPhone, начиная с 2017 года, и значения ANE TOPs являются приблизительными.
Интеграция CoreML
Приложение Ultralytics iOS использует CoreML, базовый фреймворк машинного обучения Apple, для оптимизации моделей YOLO для устройств iOS. CoreML предоставляет несколько преимуществ:
- Обработка на устройстве: Весь инференс происходит локально на вашем устройстве, обеспечивая конфиденциальность данных и устраняя необходимость подключения к интернету.
- Аппаратное ускорение: Автоматически использует Apple Neural Engine, CPU и GPU для оптимальной производительности.
- Простая интеграция: Работает нативно с камерой iOS и системными фреймворками
CoreML преобразует модели YOLO в формат, оптимизированный для устройств Apple, обеспечивая эффективное выполнение при сохранении точности обнаружения.
Начало работы с приложением Ultralytics iOS
Чтобы начать работу с приложением Ultralytics iOS, выполните следующие действия:
Загрузите приложение Ultralytics из App Store.
Запустите приложение на вашем iOS-устройстве и войдите в систему, используя вашу учетную запись Ultralytics. Если у вас еще нет учетной записи, создайте ее на Ultralytics HUB.
После входа в систему вы увидите список ваших обученных моделей YOLO. Выберите модель для использования в задачах обнаружения объектов.
Предоставьте приложению разрешение на доступ к камере вашего устройства.
Направьте камеру вашего устройства на объекты, которые вы хотите обнаружить. Приложение будет отображать ограничивающие рамки и метки классов в режиме реального времени по мере обнаружения объектов.
Изучите настройки приложения, чтобы настроить порог обнаружения, включить или отключить определенные классы объектов и многое другое.
С помощью приложения Ultralytics iOS вы теперь можете использовать возможности моделей YOLO для обнаружения объектов в реальном времени на вашем iPhone или iPad, на базе Apple Neural Engine и оптимизированных с помощью квантования FP16 или INT8.
