Экспорт модели с Ultralytics YOLO#

Экспортировать модель YOLO26 в формат ONNX с помощью Ultralytics просто. Для экспорта моделей доступны методы Python и CLI.

from ultralytics import YOLO

# Загрузить модель
model = YOLO("yolo26n.pt")  # загрузить официальную модель
model = YOLO("path/to/best.pt")  # загрузить модель, обученную на собственных данных

# Экспортировать модель
model.export(format="onnx")

Подробнее о процессе, включая расширенные параметры, например настройку разных размеров входных данных, см. в руководстве по интеграции ONNX.

Использование TensorRT для экспорта модели значительно повышает производительность. Модели YOLO26, экспортированные в TensorRT, могут работать на GPU до 5 раз быстрее, что делает этот формат отличным выбором для приложений инференса в реальном времени.

• Универсальность: оптимизируй модели для конкретной аппаратной конфигурации.
• Скорость: ускорь инференс с помощью передовых методов оптимизации.
• Совместимость: легко интегрируй модели с оборудованием NVIDIA.

Подробнее об интеграции TensorRT см. в руководстве по интеграции TensorRT.

Квантование INT8 отлично подходит для сжатия модели и ускорения инференса, особенно на периферийных устройствах. Вот как включить квантование INT8:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")  # Загрузить модель
model.export(format="onnx", quantize=8, data="coco8.yaml")

Квантование INT8 можно применять к таким форматам, как ONNX, TensorRT, OpenVINO, CoreML, Rockchip RKNN и AMD Xilinx. Для оптимальных результатов квантования укажи репрезентативный набор данных с помощью параметра data. Допустимые значения quantize и поддерживаемые форматы смотри в разделе Параметры квантования.

Динамический размер входных данных позволяет экспортированной модели работать с изображениями разных размеров, обеспечивая гибкость и эффективную обработку в разных сценариях использования. При экспорте в такие форматы, как ONNX или TensorRT, включение динамического размера входных данных позволяет модели без проблем адаптироваться к различным формам входных данных.

Чтобы включить эту функцию, при экспорте используй флаг dynamic=True:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(format="onnx", dynamic=True)

Динамический размер входных данных особенно полезен в приложениях, где размеры входных данных могут меняться, например при обработке видео или изображений из разных источников.

Модели PyTorch и динамические экспорты по умолчанию используют дополнение до минимального прямоугольника, тогда как статические экспорты дополняют изображения до полного imgsz, поэтому детекции рядом с порогом уверенности могут отличаться. Чтобы результаты нативного инференса совпадали со статическим экспортом, используй rect=False или экспортируй модель с dynamic=True, если этот параметр поддерживается.

Чтобы оптимизировать производительность модели, важно понимать аргументы экспорта и правильно их настраивать:

• format: Целевой формат экспортируемой модели (например, onnx, torchscript, saved_model).
• imgsz: Требуемый размер изображения на входе модели (например, 640 или (height, width)).
• quantize: Точность квантования, например 8/"int8", 16/"fp16", 32/"fp32" или смешанные схемы квантования весов/активаций "w8a16" и "w8a32" (динамический INT8 в LiteRT) в поддерживаемых форматах. См. раздел «Параметры квантования».
• dynamic: Принимает входные данные разных размеров в форматах, поддерживающих динамические формы, например ONNX, OpenVINO и TensorRT.
• nms: Выбирает необработанные выходные данные для внешнего NMS (None), встроенный NMS (True) или голову без NMS (False).
• device: Устройство, используемое для трассировки модели при экспорте, например cpu или 0 для первого GPU CUDA; для экспорта TorchScript в FP16 требуется GPU.

Для развёртывания на конкретных аппаратных платформах используй специализированные форматы экспорта: TensorRT для GPU NVIDIA, CoreML для устройств Apple или Edge TPU для устройств Google Coral.

При экспорте модели YOLO в такие форматы, как ONNX или TensorRT, структура выходного тензора зависит от задачи модели. Понимание этих выходных данных важно для реализации собственного инференса.

Для моделей детекции YOLO26 (например, yolo26n.pt), экспортированных с помощью nms=False, поддерживаемые форматы выдают результат без NMS формы (batch_size, max_detections, 6) со значениями [x1, y1, x2, y2, confidence, class_id]. При стандартном max_det=300 это обычно (batch_size, 300, 6). В некоторых форматах с ограничениями автоматически используется традиционная структура выходных данных, если операторы сквозной обработки не поддерживаются.

По умолчанию (nms=None) модели детекции, включая YOLO26, экспортируют исходные предсказания one-to-many: обычно результат представляет собой один тензор формы (batch_size, 4 + num_classes, num_predictions), в котором каналы содержат координаты рамок и оценки для каждого класса, а num_predictions зависит от разрешения входных данных при экспорте (и может быть динамическим). В руководстве Сквозная детекция описано, в каких форматах сохраняется сквозной выход.

Для моделей сегментации (например, yolo26n-seg.pt) обычно получаются два результата: первый тензор формы (batch_size, 4 + num_classes + mask_dim, num_predictions) (рамки, оценки классов и коэффициенты масок), а второй тензор формы (batch_size, mask_dim, proto_h, proto_w) содержит прототипы масок, которые используются вместе с коэффициентами для создания масок экземпляров. Размеры зависят от разрешения входных данных при экспорте (и могут быть динамическими).

Для моделей оценки позы (например, yolo26n-pose.pt) выходной тензор обычно имеет форму (batch_size, 4 + num_classes + keypoint_dims, num_predictions), где keypoint_dims зависит от спецификации позы (например, от количества ключевых точек и наличия оценки уверенности), а num_predictions зависит от разрешения входных данных при экспорте (и может быть динамическим).

В примерах из раздела Примеры инференса ONNX показано, как обрабатывать выходные данные для каждого типа модели.

В настоящее время Ultralytics не предоставляет отдельный API инференса на C++ для моделей YOLO. Для развертывания на C++ экспортируй модель в формат для среды выполнения, например ONNX, TensorRT, TorchScript или MNN, а затем загрузи экспортированный артефакт с помощью нативного API этой среды выполнения для C++.

Например, экспортируй модель детекции с помощью yolo export model=yolo26n.pt format=onnx и запусти файл .onnx с ONNX Runtime C++ либо выполни экспорт с помощью format=engine и запусти движок TensorRT из приложения на C++. При использовании собственной постобработки на C++ учитывай структуру выходного тензора для выбранной задачи и параметров экспорта; при экспорте моделей детекции YOLO26 по умолчанию возвращаются исходные тензоры предсказаний, для которых требуется внешняя NMS. Выполни экспорт с помощью nms=False, чтобы получить детекции без NMS формы (batch, max_det, 6), или используй nms=True, чтобы встроить NMS в поддерживаемых форматах.

При экспорте с помощью quantize=16 (FP16) или quantize=8 (INT8) большинство тензоров преобразуется в формат с меньшей точностью, чтобы уменьшить размер модели и повысить производительность. Однако, если включён nms=False, постобработка (включая индексы классов) встраивается непосредственно в экспортированный граф.

Тензор output0 содержит индексы классов, которые внутри представлены числами с плавающей точкой. Из-за ограниченной точности мантиссы FP16 не может надёжно представлять целые числа больше 2048. Чтобы избежать потенциальной потери точности или некорректных ID классов, output0 намеренно сохраняется в формате FP32.

Если нужны выходные данные целиком в FP16, выполни экспорт с помощью nms=None на GPU и выполняй постобработку отдельно. При экспорте ONNX в FP16 на CPU входные и выходные данные в любом случае остаются в FP32, а преобразуется только внутренний граф.