Начать

Экспорт MNN для моделей YOLO26 и их развёртывание

MNN#

MNN mobile neural network inference framework

MNN — облегчённый фреймворк глубокого обучения от Alibaba, поддерживающий инференс и обучение моделей глубокого обучения непосредственно на устройстве. MNN интегрирован более чем в 30 приложений Alibaba, таких как Taobao, Tmall, Youku, DingTalk и Xianyu, и охватывает более 70 сценариев использования, включая прямые трансляции, съёмку коротких видео, поисковые рекомендации, поиск товаров по изображению, интерактивный маркетинг, распределение долей и контроль рисков безопасности. MNN также работает на встроенных устройствах и устройствах IoT.



Смотри: Как экспортировать Ultralytics YOLO в формат MNN | Ускорение инференса на мобильных устройствах📱

Поддерживаемые задачи#

Экспорт MNN поддерживает все семь задач Ultralytics. Семантическая сегментация и оценка глубины доступны только в YOLO26 — единственном семействе моделей с такими головами.

Экспорт в MNN: преобразование модели YOLO26#

Ты можешь расширить совместимость моделей и гибкость их развёртывания, преобразовав модели Ultralytics YOLO в формат MNN. Такое преобразование оптимизирует модели для мобильных и встраиваемых сред и обеспечивает эффективную работу на устройствах с ограниченными ресурсами.

Установка#

Чтобы установить необходимые пакеты, выполни команду:

Установка
# Install the required package for YOLO26 and MNN
pip install ultralytics
pip install MNN

Использование#

Все модели Ultralytics YOLO26 поддерживают экспорт сразу после установки, поэтому ты можешь интегрировать их в предпочитаемый процесс развертывания. Чтобы выбрать оптимальную конфигурацию для своего приложения, посмотри полный список поддерживаемых форматов экспорта и параметров настройки.

Формат MNN поддерживает режимы экспорта, предсказания и валидации. Экспортируй модель, а затем загрузи её, чтобы выполнить инференс или проверить точность.

Экспорт
from ultralytics import YOLO

# Загрузи модель YOLO26
model = YOLO("yolo26n.pt")

# Экспорт модели в формат MNN
model.export(format="mnn")  # создаёт файл 'yolo26n.mnn'
Предсказание
from ultralytics import YOLO

# Загрузка экспортированной модели MNN
model = YOLO("yolo26n.mnn")

# Выполнить инференс
results = model("https://ultralytics.com/images/bus.jpg")
Проверка
from ultralytics import YOLO

# Загрузка экспортированной модели MNN
model = YOLO("yolo26n.mnn")

# Проверить точность на наборе данных COCO8
metrics = model.val(data="coco8.yaml")

Аргументы экспорта#

АргументТипПо умолчаниюОписание
formatstr'mnn'Целевой формат экспортируемой модели, определяющий совместимость с различными средами развертывания.
imgszint или tuple640Заданный размер изображения на входе модели. Можно указать целое число для квадратных изображений или кортеж (height, width) для конкретных размеров.
quantizeint или strNoneТочность квантования: 16 (FP16) или 8 (INT8) уменьшают размер экспортированных весов; при значении 32 или без заданного значения экспортируются веса FP32, но MNNBackend от Ultralytics всё равно выполняет инференс с точностью low, а не FP32. Заменяет устаревшие флаги half/int8.
simplifyboolTrueУпрощает промежуточный граф ONNX с помощью onnxslim.
opsetintNoneЗадаёт версию ONNX opset для промежуточного графа ONNX. Если параметр не задан, используется opset 18 (более низкий для PyTorch < 2.4), но не выше установленной версии onnx.
batchint1Задаёт размер пакета изображений для инференса экспортированной модели или максимальное количество изображений, которые экспортированная модель будет обрабатывать одновременно в режиме predict.
dynamicboolFalseВключает динамические размеры входных изображений. Нельзя использовать вместе с nms=True.
nmsbool, необязательноNoneВыбери исходный выход (None, по умолчанию), встроенный NMS (True) или голову без NMS (False). Встроенный NMS поддерживает задачи детекции и оценки позы с dynamic=False.
devicestrNoneЗадает устройство для экспорта: GPU (device=0), CPU (device=cpu), MPS для Apple silicon (device=mps).

Подробнее о процессе экспорта смотри на странице документации Ultralytics об экспорте.

Инференс только с помощью MNN#

В следующих примерах предварительная обработка, инференс и постобработка YOLO26 выполняются только средствами MNN на Python и C++, поэтому ты можешь развертывать модели без PyTorch и пакета Ultralytics.

MNN
import argparse

import MNN
import MNN.cv as cv2
import MNN.numpy as np

def inference(model, img, precision, backend, thread):
    config = {}
    config["precision"] = precision
    config["backend"] = backend
    config["numThread"] = thread
    rt = MNN.nn.create_runtime_manager((config,))
    # net = MNN.nn.load_module_from_file(model, ['images'], ['output0'], runtime_manager=rt)
    net = MNN.nn.load_module_from_file(model, [], [], runtime_manager=rt)
    original_image = cv2.imread(img)
    ih, iw, _ = original_image.shape
    length = max((ih, iw))
    scale = length / 640
    image = np.pad(original_image, [[0, length - ih], [0, length - iw], [0, 0]], "constant")
    image = cv2.resize(
        image, (640, 640), 0.0, 0.0, cv2.INTER_LINEAR, -1, [0.0, 0.0, 0.0], [1.0 / 255.0, 1.0 / 255.0, 1.0 / 255.0]
    )
    image = image[..., ::-1]  # Преобразование BGR в RGB
    input_var = image[None]
    input_var = MNN.expr.convert(input_var, MNN.expr.NC4HW4)
    output_var = net.forward(input_var)
    output_var = MNN.expr.convert(output_var, MNN.expr.NCHW)
    output_var = output_var.squeeze()
    # форма output_var: [84, 8400]; 84 означает: [cx, cy, w, h, prob * 80]
    cx = output_var[0]
    cy = output_var[1]
    w = output_var[2]
    h = output_var[3]
    probs = output_var[4:]
    # [cx, cy, w, h] -> [x0, y0, x1, y1]
    x0 = cx - w * 0.5
    y0 = cy - h * 0.5
    x1 = cx + w * 0.5
    y1 = cy + h * 0.5
    boxes = np.stack([x0, y0, x1, y1], axis=1)
    # получение максимальной вероятности и индекса
    scores = np.max(probs, 0)
    class_ids = np.argmax(probs, 0)
    result_ids = MNN.expr.nms(boxes, scores, 100, 0.5, 0.25)
    print(result_ids.shape)
    # результат nms: рамка, оценка, идентификаторы
    result_boxes = boxes[result_ids]
    result_scores = scores[result_ids]
    result_class_ids = class_ids[result_ids]
    for i in range(len(result_boxes)):
        x0, y0, x1, y1 = result_boxes[i].read_as_tuple()
        y0 = int(y0 * scale)
        y1 = int(y1 * scale)
        x0 = int(x0 * scale)
        x1 = int(x1 * scale)
        # ограничение размеров исходного изображения для обработки случаев с добавлением отступов
        x1 = min(iw, x1)
        y1 = min(ih, y1)
        print(result_class_ids[i])
        cv2.rectangle(original_image, (x0, y0), (x1, y1), (0, 0, 255), 2)
    cv2.imwrite("res.jpg", original_image)

if __name__ == "__main__":
    parser = argparse.ArgumentParser()
    parser.add_argument("--model", type=str, required=True, help="the yolo26 model path")
    parser.add_argument("--img", type=str, required=True, help="the input image path")
    parser.add_argument("--precision", type=str, default="normal", help="inference precision: normal, low, high, lowBF")
    parser.add_argument(
        "--backend",
        type=str,
        default="CPU",
        help="inference backend: CPU, OPENCL, OPENGL, NN, VULKAN, METAL, TRT, CUDA, HIAI",
    )
    parser.add_argument("--thread", type=int, default=4, help="inference using thread: int")
    args = parser.parse_args()
    inference(args.model, args.img, args.precision, args.backend, args.thread)

Итоги#

В этом руководстве показано, как экспортировать модели Ultralytics YOLO26 в MNN и запускать инференс с помощью MNN. Формат MNN хорошо подходит для приложений периферийного ИИ, в которых модели компьютерного зрения развёртываются на устройствах с ограниченными ресурсами.

Часто задаваемые вопросы#

  • Чтобы экспортировать модель Ultralytics YOLO26 в формат MNN, выполни следующие действия:

    Экспорт
    from ultralytics import YOLO
    
    # Загрузи модель YOLO26
    model = YOLO("yolo26n.pt")
    
    # Экспорт в формат MNN
    model.export(format="mnn")  # создаёт 'yolo26n.mnn' с весами fp32
    model.export(format="mnn", quantize=16)  # создаёт 'yolo26n.mnn' с весами fp16
    model.export(format="mnn", quantize=8)  # создаёт 'yolo26n.mnn' с весами int8

    Подробные параметры экспорта смотри на странице «Экспорт» в документации.

  • Чтобы выполнять предсказания с экспортированной моделью YOLO26 MNN, используй функцию predict класса YOLO.

    Предсказание
    from ultralytics import YOLO
    
    # Загрузка модели YOLO26 MNN
    model = YOLO("yolo26n.mnn")
    
    # Выполнить инференс
    results = model("https://ultralytics.com/images/bus.jpg")
    
    for result in results:
        result.show()  # отобразить на экране
        result.save(filename="result.jpg")  # сохранить на диск
  • MNN поддерживает различные платформы:

    • Мобильные устройства: Android, iOS, Harmony.
    • Встроенные системы и устройства IoT: такие устройства, как Raspberry Pi и NVIDIA Jetson.
    • Настольные компьютеры и серверы: Linux, Windows и macOS.
  • Чтобы развернуть модели YOLO26 на мобильных устройствах:

    1. Сборка для Android: следуй руководству MNN для Android.
    2. Сборка для iOS: следуй руководству MNN для iOS.
    3. Сборка для Harmony: следуй руководству MNN для Harmony.

Комментарии2

Задай вопрос, поделись результатами или помоги кому-нибудь.

    1. Glenn JocherUltralytics

      It seems like there's a minor typo in your code. Ensure you are using model instead of mnn_model when calling the inference function. Here's a quick fix:

      from ultralytics import YOLO
      
      # Load the YOLO11 MNN model
      model = YOLO("yolo11n.mnn")
      
      # Run inference
      results = model("https://ultralytics.com/images/bus.jpg")

      This should resolve the NameError. If you need more help, please check the MNN documentation.