Экспорт для Sony IMX500 в Ultralytics YOLO11#

В этом руководстве описаны экспорт и развёртывание моделей Ultralytics YOLO11 на камерах Raspberry Pi AI Camera с датчиком Sony IMX500.

Развёртывание моделей компьютерного зрения на устройствах с ограниченными вычислительными ресурсами, таких как Raspberry Pi AI Camera, может быть непростой задачей. Использование формата модели, оптимизированного для более высокой производительности, значительно упрощает её решение.

Формат модели IMX500 разработан для нейронных сетей: он обеспечивает высокую производительность при минимальном энергопотреблении. Он позволяет оптимизировать модели Ultralytics YOLO11 для быстрого инференса с низким энергопотреблением. В этом руководстве мы расскажем, как экспортировать и развёртывать модели в формате IMX500, чтобы они эффективно работали на Raspberry Pi AI Camera.

Зачем экспортировать модель в IMX500?#

Интеллектуальный датчик изображения IMX500 от Sony — прорывное устройство для обработки данных с помощью периферийного ИИ. Это первый в мире интеллектуальный датчик изображения со встроенными возможностями ИИ. Этот датчик помогает справиться со многими проблемами периферийного ИИ, включая узкие места при обработке данных, вопросы конфиденциальности и ограничения производительности. В отличие от других датчиков, которые лишь передают изображения и кадры, IMX500 обеспечивает полноценную обработку данных. Он обрабатывает данные непосредственно на датчике, позволяя устройствам получать полезные результаты в режиме реального времени.

Экспорт Sony IMX500 для моделей YOLO11#

IMX500 позволяет устройствам обрабатывать данные непосредственно на датчике, не отправляя их в облако.

IMX500 работает с квантованными моделями. Квантование уменьшает размер моделей и ускоряет их работу с незначительной потерей точности. Это идеальное решение для периферийных устройств с ограниченными ресурсами: оно снижает задержку и позволяет быстро обрабатывать данные локально, не завися от облака. Локальная обработка также сохраняет конфиденциальность и безопасность пользовательских данных, поскольку они не отправляются на удалённый сервер.

Основные возможности IMX500:

• Вывод метаданных: вместо передачи только изображений IMX500 может выводить как изображения, так и метаданные (результаты инференса), а также только метаданные, чтобы уменьшить объём данных, снизить нагрузку на пропускную способность и сократить расходы.
• Решение проблем конфиденциальности: обрабатывая данные на устройстве, IMX500 помогает защитить конфиденциальность, что особенно важно для приложений, ориентированных на людей, например для подсчёта людей и отслеживания заполняемости помещений.
• Обработка в реальном времени: быстрая обработка непосредственно на датчике позволяет принимать решения в реальном времени, что идеально подходит для приложений периферийного ИИ, например автономных систем.

Перед началом работы: для достижения наилучших результатов подготовь модель YOLO11 к экспорту, следуя нашим руководствам: Обучение моделей, Подготовка данных и Настройка гиперпараметров.

Поддерживаемые задачи#

Экспорт IMX500 поддерживает четыре из семи задач Ultralytics и только модели YOLOv8n и YOLO11n: другие семейства моделей, размеры и архитектуры не поддерживаются. При экспорте модели семантической сегментации, OBB или оценки глубины возникает ошибка.

Примеры использования#

Экспортируй модель Ultralytics YOLO11 в формат IMX500 и выполни инференс с помощью экспортированной модели.

Формат IMX500 поддерживает режимы Экспорт, Предсказание и Валидация. Инференс и валидация выполняются на Raspberry Pi AI Camera (IMX500).

from ultralytics import YOLO

# Загрузить модель YOLO11n PyTorch
model = YOLO("yolo11n.pt")

# Экспортировать модель
model.export(format="imx", data="coco8.yaml")  # по умолчанию выполняется экспорт с квантованием PTQ

# Загрузить экспортированную модель
imx_model = YOLO("yolo11n_imx_model")

# Выполнить инференс
results = imx_model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Загрузить модель YOLO11n-pose PyTorch
model = YOLO("yolo11n-pose.pt")

# Экспортировать модель
model.export(format="imx", data="coco8-pose.yaml")  # по умолчанию выполняется экспорт с квантованием PTQ

# Загрузить экспортированную модель
imx_model = YOLO("yolo11n-pose_imx_model")

# Выполнить инференс
results = imx_model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Загрузить модель YOLO11n-cls PyTorch
model = YOLO("yolo11n-cls.pt")

# Экспортировать модель
model.export(format="imx", data="imagenet10")  # по умолчанию выполняется экспорт с квантованием PTQ

# Загрузить экспортированную модель
imx_model = YOLO("yolo11n-cls_imx_model")

# Выполнить инференс
results = imx_model("https://ultralytics.com/images/bus.jpg", imgsz=224)

from ultralytics import YOLO

# Загрузить модель YOLO11n-seg PyTorch
model = YOLO("yolo11n-seg.pt")

# Экспортировать модель
model.export(format="imx", data="coco8-seg.yaml")  # по умолчанию выполняется экспорт с квантованием PTQ

# Загрузить экспортированную модель
imx_model = YOLO("yolo11n-seg_imx_model")

# Выполнить инференс
results = imx_model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Загрузить экспортированную модель IMX500
model = YOLO("yolo11n_imx_model")

# Проверить точность на наборе данных COCO8
metrics = model.val(data="coco8.yaml")

Аргументы экспорта#

Подробнее о процессе экспорта смотри на странице документации Ultralytics об экспорте.

В результате экспорта будет создана модель ONNX для проверки квантования, а также каталог <model-name>_imx_model. В этом каталоге будет файл packerOut.zip, необходимый для подготовки модели к развёртыванию на оборудовании IMX500. Кроме того, папка <model-name>_imx_model будет содержать текстовый файл (labels.txt) со списком всех меток, связанных с моделью.

yolo11n_imx_model
├── dnnParams.xml
├── labels.txt
├── packerOut.zip
├── model_imx.onnx
├── model_imx_MemoryReport.json
└── model_imx.pbtxt

Использование экспорта IMX500 при развёртывании#

После экспорта модели Ultralytics YOLO11n в формат IMX500 её можно развернуть на Raspberry Pi AI Camera для выполнения инференса.

Требования к оборудованию#

Убедись, что у тебя есть следующее оборудование:

1. Raspberry Pi 5 или Raspberry Pi 4 Model B
2. Камера Raspberry Pi AI

Подключи камеру Raspberry Pi AI Camera к 15-контактному разъёму MIPI CSI на Raspberry Pi и включи Raspberry Pi

Требования к программному обеспечению#

Шаг 1. Открой окно терминала и выполни следующие команды, чтобы обновить программное обеспечение Raspberry Pi до последней версии.

sudo apt update && sudo apt full-upgrade

Шаг 2. Установи прошивку IMX500, необходимую для работы датчика IMX500.

sudo apt install imx500-all

Шаг 3. Перезагрузи Raspberry Pi, чтобы изменения вступили в силу

sudo reboot

Шаг 4. Установи библиотеку модуля приложения Aitrios для Raspberry Pi

pip install git+https://github.com/SonySemiconductorSolutions/aitrios-rpi-application-module-library.git

Шаг 5. Запусти обнаружение объектов, оценку позы, классификацию и сегментацию YOLO11 с помощью приведённых ниже скриптов из примеров библиотеки модуля приложения aitrios-rpi.

import numpy as np
from modlib.apps import Annotator
from modlib.devices import AiCamera
from modlib.models import COLOR_FORMAT, MODEL_TYPE, Model
from modlib.models.post_processors import pp_od_yolo_ultralytics

class YOLO(Model):
    """YOLO model for IMX500 deployment."""

    def __init__(self):
        """Initialize the YOLO model for IMX500 deployment."""
        super().__init__(
            model_file="yolo11n_imx_model/packerOut.zip",  # replace with proper directory
            model_type=MODEL_TYPE.CONVERTED,
            color_format=COLOR_FORMAT.RGB,
            preserve_aspect_ratio=False,
        )

        self.labels = np.genfromtxt(
            "yolo11n_imx_model/labels.txt",  # replace with proper directory
            dtype=str,
            delimiter="\n",
        )

    def post_process(self, output_tensors):
        """Post-process the output tensors for object detection."""
        return pp_od_yolo_ultralytics(output_tensors)

device = AiCamera(frame_rate=16)  # Optimal frame rate for maximum FPS of the YOLO model running on the AI Camera
model = YOLO()
device.deploy(model)

annotator = Annotator()

with device as stream:
    for frame in stream:
        detections = frame.detections[frame.detections.confidence > 0.55]
        labels = [f"{model.labels[class_id]}: {score:0.2f}" for _, score, class_id, _ in detections]

        annotator.annotate_boxes(frame, detections, labels=labels, alpha=0.3, corner_radius=10)
        frame.display()

Бенчмарки#

Приведённые ниже тесты YOLOv8n, YOLO11n, YOLOv8n-pose, YOLO11n-pose, YOLOv8n-cls и YOLO11n-cls команда Ultralytics провела на Raspberry Pi AI Camera, измеряя скорость и точность в формате модели imx.

Что происходит внутри?#

Инструментарий сжатия моделей Sony (MCT)#

Инструментарий Sony для сжатия моделей (MCT) — мощное средство оптимизации моделей глубокого обучения с помощью квантования и прореживания. Он поддерживает различные методы квантования и предоставляет продвинутые алгоритмы для уменьшения размера модели и вычислительной сложности без существенного снижения точности. MCT особенно полезен для развертывания моделей на устройствах с ограниченными ресурсами, обеспечивая эффективный вывод и низкую задержку.

Поддерживаемые функции MCT#

MCT от Sony предлагает набор функций для оптимизации моделей нейронных сетей:

1. Оптимизация графа: преобразует модели в более эффективные версии, например объединяя слои пакетной нормализации с предшествующими слоями.
2. Поиск параметров квантования: минимизирует шум квантования с помощью таких метрик, как среднеквадратичная ошибка, отсутствие отсечения и средняя абсолютная ошибка.
3. Продвинутые алгоритмы квантования:
   • Коррекция отрицательных сдвигов: устраняет проблемы производительности, возникающие при симметричном квантовании активаций.
   • Фильтрация выбросов: использует z-оценку для обнаружения и удаления выбросов.
   • Кластеризация: использует неравномерные сетки квантования для более точного соответствия распределению.
   • Поиск смешанной точности: назначает каждому слою разную разрядность квантования с учетом его чувствительности.
4. Визуализация: используй TensorBoard, чтобы изучать показатели производительности модели, этапы квантования и конфигурации разрядности.

Квантование#

MCT поддерживает несколько методов квантования для уменьшения размера модели и ускорения вывода:

1. Квантование после обучения (PTQ):
   • Доступно через API Keras и PyTorch.
   • Сложность: низкая
   • Вычислительные затраты: низкие (минуты на CPU)
2. Квантование после обучения на основе градиентов (GPTQ):
   • Доступно через API Keras и PyTorch.
   • Сложность: средняя
   • Вычислительные затраты: умеренные (2–3 часа на GPU)
3. Обучение с учетом квантования (QAT):
   • Сложность: высокая
   • Вычислительные затраты: высокие (12–36 часов на GPU)

MCT также поддерживает различные схемы квантования весов и активаций:

1. Степени двойки (удобно для аппаратной реализации)
2. Симметричное
3. Равномерное

Структурированное прореживание#

MCT реализует структурированное прореживание моделей с учетом аппаратных особенностей, предназначенное для конкретных архитектур. Этот метод использует возможности целевой платформы по выполнению одной инструкции над множеством данных (SIMD), прореживая группы SIMD. Это уменьшает размер и сложность модели и оптимизирует использование каналов в соответствии с архитектурой SIMD, обеспечивая целевое использование ресурсов памяти для весов. Доступно через API Keras и PyTorch.

Инструмент преобразования IMX500 (компилятор)#

Инструмент преобразования IMX500 — важная часть набора средств IMX500, позволяющая компилировать модели для развертывания на сенсоре Sony IMX500 (например, в камерах Raspberry Pi AI Camera). Этот инструмент упрощает переход моделей Ultralytics YOLO11, обработанных с помощью ПО Ultralytics, и обеспечивает их совместимость и эффективную работу на указанном оборудовании. При экспорте после квантования модели создаются двоичные файлы с необходимыми данными и конфигурациями для конкретного устройства, что упрощает развертывание на Raspberry Pi AI Camera.

Примеры применения в реальных условиях#

Экспорт в формат IMX500 применим во многих отраслях. Вот несколько примеров:

• Периферийный ИИ и IoT: включи обнаружение объектов на дронах или камерах видеонаблюдения, где важна обработка в реальном времени на устройствах с низким энергопотреблением.
• Носимые устройства: развертывай модели, оптимизированные для компактных систем обработки ИИ, на носимых устройствах для мониторинга здоровья.
• Умные города: используй модели YOLO11, экспортированные в формате IMX500, для мониторинга дорожного движения и анализа безопасности с более быстрой обработкой и минимальной задержкой.
• Аналитика розничной торговли: улучшай мониторинг в магазинах, развертывая оптимизированные модели в POS-системах или на умных полках.

Заключение#

Экспорт моделей Ultralytics YOLO11 в формат Sony IMX500 позволяет развертывать их на камерах с IMX500 и выполнять вывод эффективно. Благодаря передовым методам квантования можно уменьшить размер модели и ускорить вывод без существенного снижения точности.

Дополнительную информацию и подробные инструкции см. на сайте IMX500 Sony.

Часто задаваемые вопросы#