Экспорт моделей с Ultralytics YOLO#

Введение#

Конечная цель обучения модели — это ее развертывание для решения реальных задач. Режим экспорта в Ultralytics YOLO26 предлагает широкий выбор опций для сохранения обученной модели в различных форматах, что позволяет развертывать ее на разнообразных платформах и устройствах. Это подробное руководство поможет тебе разобраться в тонкостях экспорта моделей и покажет, как достичь максимальной совместимости и производительности.

Почему стоит выбрать режим экспорта YOLO26?#

• Универсальность: Экспорт в различные форматы, включая ONNX, TensorRT, CoreML и другие.
• Производительность: Получи до 5x ускорения на GPU с TensorRT и до 3x ускорения на CPU с ONNX или OpenVINO.
• Совместимость: Сделай свою модель универсально пригодной для развертывания в самых разных аппаратных и программных средах.
• Простота использования: Удобные CLI и Python API для быстрого и понятного экспорта моделей.

Ключевые функции режима экспорта#

Вот некоторые из наиболее значимых функциональных возможностей:

• Экспорт в один клик: Простые команды для экспорта в различные форматы.
• Пакетный экспорт: Экспорт моделей, поддерживающих пакетный вывод (batch inference).
• Оптимизированный вывод: Экспортированные модели оптимизированы для более быстрого выполнения инференса.
• Обучающие видео: Подробные руководства и уроки для максимально комфортного процесса экспорта.

Примеры использования#

Экспортируй модель YOLO26n в другой формат, например, ONNX или TensorRT. Ознакомься с разделом «Аргументы» ниже для получения полного списка параметров экспорта.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom-trained model

# Export the model
model.export(format="onnx")

Аргументы#

В этой таблице подробно описаны конфигурации и параметры, доступные для экспорта моделей YOLO в различные форматы. Эти настройки имеют решающее значение для оптимизации производительности, размера и совместимости экспортированной модели с различными платформами и средами. Правильная настройка гарантирует, что модель будет готова к развертыванию в целевом приложении с оптимальной эффективностью.

Настройка этих параметров позволяет адаптировать процесс экспорта под конкретные требования, такие как среда развертывания, аппаратные ограничения и целевые показатели производительности. Выбор подходящего формата и настроек важен для достижения наилучшего баланса между размером модели, скоростью и точностью.

Форматы экспорта#

Доступные форматы экспорта YOLO26 приведены в таблице ниже. Ты можешь экспортировать в любой формат, используя аргумент format, т.е. format='onnx' или format='engine'. Ты можешь выполнять предсказания или валидацию непосредственно на экспортированных моделях, т.е. yolo predict model=yolo26n.onnx. Примеры использования отображаются для твоей модели после завершения экспорта. Модели также можно экспортировать прямо из браузера на Ultralytics Platform без какой-либо локальной настройки.

Опции квантования#

Используй аргумент quantize для запроса точности экспорта. Значения строк не зависят от регистра, и Ultralytics приводит принятые псевдонимы к каноническому виду перед экспортом:

Устаревшие флаги half=True и int8=True по-прежнему принимаются с предупреждениями об устаревании и перенаправляются на quantize=16 и quantize=8.

Не каждый формат экспорта поддерживает любую точность. Явные запросы quantize либо обеспечивают эту точность, либо завершаются ошибкой до начала экспорта:

Для экспорта в INT8 и W8A16 предоставь репрезентативные калибровочные данные с помощью data, например data="coco8.yaml", если в документации целевой интеграции не указано поведение по умолчанию или автоактивация. Схеме LiteRT "w8a32" (динамический INT8) калибровочные данные не требуются.

Что дальше#

Найди руководство по интеграции для твоего целевого устройства — ONNX, TensorRT, CoreML и другие доступны в полном списке интеграций — чтобы узнать, как запустить экспортированную модель.

FAQ#

Как экспортировать модель YOLO26 в формат ONNX?#

Экспорт модели YOLO26 в формат ONNX очень прост с Ultralytics. Платформа предоставляет как Python, так и CLI методы для экспорта моделей.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom-trained model

# Export the model
model.export(format="onnx")

Дополнительные сведения о процессе, включая расширенные опции вроде обработки различных размеров входа, см. в руководстве по интеграции ONNX.

Каковы преимущества использования TensorRT для экспорта моделей?#

Использование TensorRT для экспорта моделей обеспечивает значительное улучшение производительности. Модели YOLO26, экспортированные в TensorRT, могут достичь ускорения на GPU до 5 раз, что делает их идеальными для приложений реального времени.

• Универсальность: Оптимизация моделей под конкретную аппаратную конфигурацию.
• Скорость: Достижение более быстрого инференса за счет продвинутых оптимизаций.
• Совместимость: Плавная интеграция с оборудованием NVIDIA.

Чтобы узнать больше об интеграции TensorRT, см. руководство по интеграции TensorRT.

Как включить квантование INT8 при экспорте модели YOLO26?#

Квантование INT8 — это отличный способ сжать модель и ускорить инференс, особенно на периферийных устройствах. Вот как ты можешь включить квантование INT8:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")  # Load a model
model.export(format="onnx", quantize=8, data="coco8.yaml")

Квантование INT8 может применяться к таким форматам, как ONNX, TensorRT, OpenVINO, CoreML и Rockchip RKNN. Для достижения оптимальных результатов квантования предоставь репрезентативный датасет, используя параметр data. Дополнительные сведения о принимаемых значениях quantize и поддерживаемых форматах см. в разделе Параметры квантования.

Почему динамический размер входных данных важен при экспорте моделей?#

Динамический размер входа позволяет экспортированной модели работать с переменными размерами изображений, обеспечивая гибкость и оптимизируя эффективность обработки для различных сценариев использования. При экспорте в такие форматы, как ONNX или TensorRT, включение динамического размера входа гарантирует, что модель сможет беспрепятственно адаптироваться под разные входные формы.

Чтобы включить эту функцию, используй флаг dynamic=True во время экспорта:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(format="onnx", dynamic=True)

Динамическое изменение размеров входных данных особенно полезно для приложений, где размеры могут варьироваться, например, при обработке видео или при работе с изображениями из разных источников.

Какие ключевые аргументы экспорта следует учитывать для оптимизации производительности модели?#

Понимание и настройка аргументов экспорта имеют решающее значение для оптимизации производительности модели:

• format: Целевой формат для экспортированной модели (например, onnx, torchscript, tensorflow).
• imgsz: Желаемый размер изображения для входа модели (например, 640 или (height, width)).
• quantize: Точность квантования, например 8/"int8", 16/"fp16", 32/"fp32" или смешанные схемы весов/активаций "w8a16" и "w8a32" (LiteRT динамический INT8) в поддерживаемых форматах. См. Параметры квантования.
• optimize: Включает более высокую оптимизацию компилятора для экспорта DEEPX.

Для развертывания на определенных аппаратных платформах рассмотри использование специализированных форматов экспорта, таких как TensorRT для GPU NVIDIA, CoreML для устройств Apple или Edge TPU для устройств Google Coral.

Что представляют собой выходные тензоры в экспортированных моделях YOLO?#

Когда ты экспортируешь модель YOLO в такие форматы, как ONNX или TensorRT, структура выходного тензора зависит от задачи модели. Понимание этих выходных данных важно для реализации собственного инференса.

Для моделей детекции YOLO26 (например, yolo26n.pt) сквозной (end-to-end) экспорт включен по умолчанию в форматах, которые его поддерживают, поэтому выходные данные имеют форму (batch_size, max_detections, 6) со значениями [x1, y1, x2, y2, confidence, class_id]. При использовании значения по умолчанию max_det=300 это обычно выглядит как (batch_size, 300, 6). Некоторые ограниченные форматы автоматически возвращаются к традиционной структуре выводов, если сквозные операторы не поддерживаются.

Для моделей детекции без сквозного экспорта или моделей YOLO26, экспортированных с end2end=False, выходом обычно является один тензор формы (batch_size, 4 + num_classes, num_predictions), где каналы представляют координаты рамок плюс оценки по классам, а num_predictions зависит от входного разрешения экспорта (и может быть динамическим).

Для моделей сегментации (например, yolo26n-seg.pt) ты обычно получаешь два выхода: первый тензор формы (batch_size, 4 + num_classes + mask_dim, num_predictions) (рамки, оценки классов и коэффициенты масок) и второй тензор формы (batch_size, mask_dim, proto_h, proto_w), содержащий прототипы масок, которые используются с коэффициентами для генерации масок экземпляров. Размеры зависят от входного разрешения экспорта (и могут быть динамическими).

Для моделей позы (например, yolo26n-pose.pt) выходной тензор обычно имеет форму (batch_size, 4 + num_classes + keypoint_dims, num_predictions), где keypoint_dims зависит от спецификации позы (например, количества ключевых точек и того, включена ли уверенность), а num_predictions зависит от входного разрешения экспорта (и может быть динамическим).

Примеры в разделе Примеры инференса ONNX показывают, как обрабатывать эти выходы для каждого типа модели.

Есть ли официальный C++ API для инференса Ultralytics?#

В настоящее время Ultralytics не предоставляет отдельный API инференса на C++ для моделей YOLO. Для развертывания на C++ экспортируй модель в формат рантайма, такой как ONNX, TensorRT, TorchScript или MNN, а затем загрузи экспортированный артефакт с помощью нативного C++ API этого рантайма.

Например, экспортируй модель детекции с yolo export model=yolo26n.pt format=onnx и запусти файл .onnx с помощью ONNX Runtime C++, или экспортируй с format=engine и запусти движок TensorRT из C++ приложения TensorRT. Когда ты используешь пользовательскую постобработку на C++, сопоставь структуру выходного тензора для своей задачи и настроек экспорта; сквозные экспорты детекции YOLO26 обычно возвращают (batch, max_det, 6), в то время как несквозные экспорты возвращают «сырые» тензоры предсказаний, требующие внешней постобработки.

Почему output0 имеет формат FP32 при экспорте квантованных моделей с end2end=True?#

При экспорте с quantize=16 (FP16) или quantize=8 (INT8) большинство тензоров преобразуются в более низкую точность для уменьшения размера модели и повышения производительности. Однако при включении end2end=True постобработка (включая индексы классов) внедряется непосредственно в экспортированный граф.

Тензор output0 содержит индексы классов, которые внутри представляются в виде чисел с плавающей запятой. FP16 не может надежно представлять целочисленные значения выше 2048 из-за ограниченной точности мантиссы. Чтобы избежать потенциальной потери точности или неверных ID классов, output0 намеренно сохраняется в формате FP32.

Это ожидаемое поведение, которое также применяется к экспортам с пониженной точностью или квантованным экспортам, где необходимо сохранить точность индексов классов.

Если требуются полноценные выходы FP16, выполни экспорт с end2end=False и выполняй постобработку во внешнем коде.