Экспорт моделей с Ultralytics YOLO#

Экспорт модели YOLO26 в формат ONNX с помощью Ultralytics выполняется очень просто. Инструмент предоставляет как Python-методы, так и команды CLI для экспорта моделей.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom-trained model

# Export the model
model.export(format="onnx")

Более подробную информацию о процессе, включая расширенные опции вроде работы с различными размерами входных данных, см. в руководстве по интеграции ONNX.

Использование TensorRT для экспорта моделей обеспечивает значительное повышение производительности. Модели YOLO26, экспортированные в TensorRT, могут достигать до 5 раз более высокого ускорения на GPU, что делает их идеальными для приложений инференса в реальном времени.

• Универсальность: Оптимизируй модели под конкретную аппаратную конфигурацию.
• Скорость: Добивайся более быстрого инференса с помощью расширенных оптимизаций.
• Совместимость: Легко интегрируй решение с аппаратным обеспечением NVIDIA.

Чтобы узнать больше об интеграции TensorRT, см. руководство по интеграции TensorRT.

Квантование INT8 — это отличный способ сжать модель и ускорить инференс, особенно на периферийных устройствах. Вот как ты можешь включить квантование INT8:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")  # Load a model
model.export(format="onnx", quantize=8, data="coco8.yaml")

Квантование INT8 может применяться к таким форматам, как ONNX, TensorRT, OpenVINO, CoreML и Rockchip RKNN. Для достижения оптимальных результатов квантования предоставь репрезентативный датасет с помощью параметра data. Допустимые значения quantize и поддерживаемые форматы см. в разделе Параметры квантования.

Динамический размер входных данных позволяет экспортированной модели работать с изменяющимися размерами изображений, обеспечивая гибкость и оптимизируя эффективность обработки для различных сценариев использования. При экспорте в такие форматы, как ONNX или TensorRT, включение динамического размера входных данных гарантирует, что модель сможет плавно адаптироваться под различные формы входных данных.

Чтобы включить эту функцию, используй флаг dynamic=True во время экспорта:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(format="onnx", dynamic=True)

Динамический размер входных данных особенно полезен для приложений, где размеры изображений на входе могут варьироваться, например при обработке видео или работе с изображениями из разных источников.

Понимание и настройка аргументов экспорта имеют решающее значение для оптимизации производительности модели:

• format: Целевой формат для экспортированной модели (например, onnx, torchscript, saved_model).
• imgsz: Желаемый размер изображения на входе модели (например, 640 или (height, width)).
• quantize: Точность квантования, такая как 8/"int8", 16/"fp16", 32/"fp32" или схемы со смешанными весами/активациями "w8a16" и "w8a32" (динамический INT8 LiteRT) на поддерживаемых форматах. См. Параметры квантования.
• optimize: Включает более высокую степень оптимизации компилятора для экспорта DEEPX.

Для развертывания на определенных аппаратных платформах рассмотри возможность использования специализированных форматов экспорта, таких как TensorRT для графических процессоров NVIDIA, CoreML для устройств Apple или Edge TPU для устройств Google Coral.

Когда ты экспортируешь модель YOLO в такие форматы, как ONNX или TensorRT, структура выходных тензоров зависит от задачи модели. Понимание этих выходных данных важно для реализации пользовательского инференса.

Для моделей детектирования YOLO26 (например, yolo26n.pt), экспортированных с помощью nms=False, поддерживаемые форматы выдают вывод без NMS в виде (batch_size, max_detections, 6) со значениями [x1, y1, x2, y2, confidence, class_id]. При использовании параметра по умолчанию max_det=300 это обычно имеет вид (batch_size, 300, 6). Некоторые ограниченные форматы автоматически возвращаются к традиционной структуре вывода, если сквозные операторы не поддерживаются.

По умолчанию (nms=None) модели детектирования, включая YOLO26, экспортируют сырые предсказания «один к многим»: вывод обычно представляет собой один тензор размером (batch_size, 4 + num_classes, num_predictions), где каналы представляют координаты ограничивающих прямоугольников и оценки для каждого класса, а num_predictions зависит от входного разрешения экспорта (и может быть динамическим). В руководстве по сквозному детектированию описано, какие форматы сохраняют сквозной вывод.

Для моделей сегментации (например, yolo26n-seg.pt) ты обычно получаешь два выхода: первый тензор формы (batch_size, 4 + num_classes + mask_dim, num_predictions) (боксы, оценки классов и коэффициенты масок) и второй тензор формы (batch_size, mask_dim, proto_h, proto_w), содержащий прототипы масок, используемые вместе с коэффициентами для генерации масок экземпляров. Размеры зависят от разрешения входных данных при экспорте (и могут быть динамическими).

Для моделей позы (например, yolo26n-pose.pt) выходной тензор обычно имеет форму (batch_size, 4 + num_classes + keypoint_dims, num_predictions), где keypoint_dims зависит от спецификации позы (например, количества ключевых точек и наличия доверительной вероятности), а num_predictions зависит от разрешения входных данных при экспорте (и может быть динамическим).

Примеры в разделе Примеры инференса ONNX демонстрируют, как обрабатывать эти выходные данные для каждого типа модели.

Ultralytics в настоящее время не предоставляет выделенный C++ API инференса для моделей YOLO. Для развертывания на C++ экспортируй модель в формат среды выполнения, такой как ONNX, TensorRT, TorchScript или MNN, а затем загрузи экспортированный артефакт с помощью нативного C++ API этой среды выполнения.

Например, экспортируй модель детектирования с помощью yolo export model=yolo26n.pt format=onnx и запусти файл .onnx с помощью ONNX Runtime C++, либо выполни экспорт с помощью format=engine и запусти движок TensorRT из приложения на TensorRT C++. Когда ты используешь пользовательскую постобработку на C++, сопоставь структуру выходного тензора со своей задачей и настройками экспорта; экспорт детектирования YOLO26 по умолчанию возвращает сырые тензоры предсказаний, требующие внешней NMS. Экспортируй с помощью nms=False для получения детекций без NMS в виде (batch, max_det, 6) или nms=True для внедрения NMS в поддерживаемых форматах.

При экспорте с использованием quantize=16 (FP16) или quantize=8 (INT8) большинство тензоров преобразуются в более низкую точность для уменьшения размера модели и повышения производительности. Однако, когда включен параметр nms=False, постобработка (включая индексы классов) встраивается непосредственно в экспортированный граф.

Тензор output0 содержит индексы классов, которые внутренне представлены в виде чисел с плавающей запятой. FP16 не может надежно представлять целочисленные значения выше 2048 из-за ограниченной точности мантиссы. Чтобы избежать потенциальной потери точности или неверных идентификаторов классов, output0 намеренно сохраняется в формате FP32.

Такое поведение является ожидаемым и также применимо к экспорту с более низкой точностью или к квантованным экспортам, где необходимо сохранять точность индексов классов.

Если требуются полные выходы FP16, экспортируй с помощью nms=None и выполняй постобработку внешним образом.