Экспорт модели YOLO26 в TorchScript для быстрого развертывания
PyTorch объявил TorchScript устаревшим и постепенно удаляет его функции. Для новых мобильных и периферийных развертываний используй поддерживаемую интеграцию ExecuTorch. Ultralytics сохраняет обычный экспорт TorchScript для совместимости с устаревшими приложениями на C++.
Для развертывания моделей компьютерного зрения в средах C++ без Python требуется переносимое сериализованное представление. TorchScript обеспечивает такую совместимость для устаревших приложений LibTorch.
Экспортируй модели Ultralytics YOLO26 в TorchScript, чтобы сериализовать их для совместимости между платформами и упростить развертывание. В этом руководстве показано, как экспортировать модели YOLO26 в формат TorchScript и использовать их в более широком спектре приложений.
Зачем экспортировать модель в TorchScript?#

TorchScript, разработанный создателями PyTorch, — это инструмент для оптимизации и развертывания моделей PyTorch на различных платформах. Экспорт моделей YOLO26 в TorchScript помогает перенести их из исследований в реальные приложения. TorchScript, входящий в состав PyTorch, упрощает этот переход, позволяя использовать модели PyTorch в средах без поддержки Python.
Процесс включает два метода: трассировку и создание скрипта. Трассировка записывает операции во время выполнения модели, а создание скрипта позволяет определять модели с помощью подмножества Python. Эти методы позволяют запускать модели вроде YOLO26 вне привычной среды Python.

Модели TorchScript также можно оптимизировать с помощью таких методов, как слияние операторов и усовершенствование использования памяти, чтобы обеспечить эффективное выполнение. Еще одно преимущество экспорта в TorchScript — возможность ускорить выполнение модели на различных аппаратных платформах. В результате создается автономное представление модели PyTorch, готовое к использованию в production и интеграции в среды C++.
Ключевые особенности моделей TorchScript#
TorchScript, важная часть экосистемы PyTorch, предоставляет функции для оптимизации и развертывания моделей глубокого обучения.

Вот ключевые особенности, благодаря которым TorchScript полезен разработчикам:
-
Выполнение статического графа: TorchScript использует статическое представление вычислений модели, которое отличается от динамического графа PyTorch. При выполнении статического графа вычислительный граф определяется и компилируется один раз до фактического выполнения, что повышает производительность инференса.
-
Сериализация модели: TorchScript позволяет сериализовать модели PyTorch в формат, не зависящий от платформы. Сериализованные модели можно загружать без исходного кода Python, что позволяет развертывать их в разных средах выполнения.
-
JIT-компиляция: TorchScript использует компиляцию «точно в срок» (JIT), чтобы преобразовывать модели PyTorch в оптимизированное промежуточное представление. JIT компилирует вычислительный граф модели, обеспечивая эффективное выполнение на целевых устройствах.
-
Постепенное преобразование: TorchScript позволяет постепенно преобразовывать отдельные части модели PyTorch в TorchScript. Такая гибкость особенно полезна при работе со сложными моделями или при оптимизации отдельных частей кода.
Варианты развертывания в TorchScript#
Прежде чем перейти к коду экспорта моделей YOLO26 в формат TorchScript, рассмотрим, где обычно используют модели TorchScript.
TorchScript предлагает различные варианты развертывания моделей машинного обучения, например:
-
C++ API: наиболее распространенный сценарий использования TorchScript — это C++ API LibTorch, позволяющий загружать и выполнять оптимизированные модели TorchScript непосредственно в приложениях C++. Это идеальный вариант для production-сред, где Python может быть неподходящим или недоступным. C++ API обеспечивает низкие накладные расходы и эффективное выполнение моделей TorchScript, позволяя максимально использовать их потенциал производительности.
-
Развертывание на мобильных устройствах: для инференса с низкой задержкой без подключения к сети и обеспечения конфиденциальности данных на мобильных устройствах используй ExecuTorch — замену TorchScript Mobile от PyTorch.
-
Развертывание в облаке: модели TorchScript можно развертывать на облачных серверах с помощью таких решений, как NVIDIA Triton Inference Server. Он предоставляет такие возможности, как управление версиями моделей, пакетная обработка и мониторинг метрик, для масштабируемого развертывания в производственной среде. Развертывание TorchScript в облаке может сделать модели доступными через API или другие веб-сервисы.
Поддерживаемые задачи#
Экспорт TorchScript поддерживает все семь задач Ultralytics. Семантическая сегментация и оценка глубины доступны только в YOLO26 — единственном семействе, в котором есть соответствующие головы.
| Задача | YOLOv8 | YOLO11 | YOLO26 |
|---|---|---|---|
| Обнаружение | ✅ | ✅ | ✅ |
| Сегментация | ✅ | ✅ | ✅ |
| Семантическая сегментация | ❌ | ❌ | ✅ |
| Глубина | ❌ | ❌ | ✅ |
| Классификация | ✅ | ✅ | ✅ |
| Оценка позы | ✅ | ✅ | ✅ |
| OBB | ✅ | ✅ | ✅ |
Экспорт в TorchScript: преобразование модели YOLO26#
Экспорт моделей YOLO26 в TorchScript упрощает их запуск вне Python, например в приложениях C++, созданных на основе LibTorch.
Установка#
Чтобы установить необходимый пакет, выполни команду:
# Install the required package for YOLO26
pip install ultralyticsПодробные инструкции и рекомендации по установке смотри в руководстве по установке Ultralytics. Если при установке пакетов, необходимых для YOLO26, возникнут сложности, решения и советы найдешь в руководстве по распространенным проблемам.
Использование#
Все модели Ultralytics YOLO26 изначально поддерживают экспорт, поэтому их легко интегрировать в предпочтительный процесс развёртывания. Чтобы выбрать оптимальную конфигурацию для своего приложения, посмотри полный список поддерживаемых форматов экспорта и параметров конфигурации.
Формат TorchScript поддерживает режимы экспорта, предсказания и валидации. Экспортируй модель, а затем загрузи экспортированную модель, чтобы запустить инференс или проверить точность.
from ultralytics import YOLO
# Загрузи модель YOLO26
model = YOLO("yolo26n.pt")
# Экспорт модели в формат TorchScript
model.export(format="torchscript") # создает 'yolo26n.torchscript'from ultralytics import YOLO
# Загрузка экспортированной модели TorchScript
model = YOLO("yolo26n.torchscript")
# Выполнить инференс
results = model("https://ultralytics.com/images/bus.jpg")from ultralytics import YOLO
# Загрузка экспортированной модели TorchScript
model = YOLO("yolo26n.torchscript")
# Проверить точность на наборе данных COCO8
metrics = model.val(data="coco8.yaml")Аргументы экспорта#
| Аргумент | Тип | По умолчанию | Описание |
|---|---|---|---|
format | str | 'torchscript' | Целевой формат экспортируемой модели, определяющий совместимость с различными средами развертывания. |
imgsz | int или tuple | 640 | Заданный размер изображения на входе модели. Можно указать целое число для квадратных изображений или кортеж (height, width) для конкретных размеров. |
dynamic | bool | False | Позволяет использовать динамические размеры входных данных, повышая гибкость при обработке изображений разных размеров. |
quantize | int или str | None | Точность квантования: для 16 (FP16) требуется экспорт на GPU с device=0; 32/не задано означает FP32. Заменяет устаревший флаг half. |
nms | bool, необязательно | None | Выбери необработанный выход (None, по умолчанию), встроенный NMS (True) или голову без NMS (False). |
batch | int | 1 | Задаёт размер пакета изображений для инференса экспортированной модели или максимальное количество изображений, которые экспортированная модель будет обрабатывать одновременно в режиме predict. |
device | str | None | Задает устройство для экспорта: GPU (device=0), CPU (device=cpu), MPS для Apple silicon (device=mps). |
Подробнее о процессе экспорта смотри на странице документации Ultralytics об экспорте.
Развертывание экспортированных моделей YOLO26 TorchScript#
После успешного экспорта моделей Ultralytics YOLO26 в формат TorchScript их можно развертывать. Основной и рекомендуемый первый шаг для запуска модели TorchScript — использовать метод YOLO("model.torchscript"), как показано в предыдущем примере кода. Подробные инструкции по развертыванию моделей TorchScript в других средах смотри в следующих материалах:
-
Изучи развертывание на мобильных устройствах: используй отдельный конвейер
torch.export()→.pteв ExecuTorch для актуального развертывания PyTorch на мобильных устройствах. -
Освой развертывание на сервере: узнай, как обслуживать модели TorchScript с помощью бэкенда PyTorch для NVIDIA Triton Inference Server, обеспечивая масштабируемое и эффективное обслуживание моделей.
-
Настрой развертывание на C++: изучи руководство по загрузке модели TorchScript в C++, чтобы интегрировать модели TorchScript в приложения C++ и повысить производительность и гибкость.
Итоги#
В этом руководстве мы рассмотрели экспорт моделей Ultralytics YOLO26 в формат TorchScript. Следуя приведенным инструкциям, ты сможешь оптимизировать модели YOLO26 для повышения производительности и гибко развертывать их на различных платформах и в разных средах.
Дополнительную информацию об использовании смотри в официальной документации TorchScript.
Часто задаваемые вопросы#
Экспорт модели Ultralytics YOLO26 в TorchScript обеспечивает гибкое кроссплатформенное развертывание. TorchScript, часть экосистемы PyTorch, позволяет сериализовать модели, которые затем можно выполнять в средах без поддержки Python. Это делает TorchScript полезным для развертывания моделей в средах C++.
Чтобы экспортировать модель YOLO26 в TorchScript, используй следующий пример кода:
Использованиеfrom ultralytics import YOLO # Загрузи модель YOLO26 model = YOLO("yolo26n.pt") # Экспорт модели в формат TorchScript model.export(format="torchscript") # создает 'yolo26n.torchscript' # Загрузка экспортированной модели TorchScript torchscript_model = YOLO("yolo26n.torchscript") # Выполнить инференс results = torchscript_model("https://ultralytics.com/images/bus.jpg")Дополнительную информацию о процессе экспорта смотри в документации Ultralytics по экспорту.
Использование TorchScript для развертывания моделей YOLO26 дает несколько преимуществ:
- Переносимость: экспортированные модели могут выполняться в приложениях C++ без Python.
- Оптимизация: TorchScript поддерживает выполнение статического графа и компиляцию «точно в срок» (JIT), что позволяет оптимизировать производительность модели.
- Интеграция между языками: модели TorchScript можно интегрировать с другими языками программирования, расширяя гибкость и возможности.
- Сериализация: модели можно сериализовать, чтобы загружать их и выполнять инференс независимо от платформы.
Подробнее о развертывании читай в руководстве по развертыванию на C++. Для развертывания на мобильных устройствах PyTorch теперь рекомендует ExecuTorch, который использует собственный отдельный конвейер
torch.export()→.pteвместо TorchScript.Чтобы установить необходимый пакет для экспорта моделей YOLO26, выполни следующую команду:
Установка# Install the required package for YOLO26 pip install ultralyticsПодробные инструкции смотри в руководстве по установке Ultralytics. Если при установке возникнут проблемы, обратись к руководству по распространенным проблемам.
После экспорта моделей YOLO26 в формат TorchScript ты можешь развернуть их на самых разных платформах:
- API C++: используй LibTorch для производственных сред с низкими накладными расходами и высокой эффективностью.
- Развертывание на мобильных устройствах: используй ExecuTorch — поддерживаемую PyTorch замену с отдельным конвейером экспорта
.pte. - Развертывание в облаке: используй такие сервисы, как NVIDIA Triton Inference Server, для масштабируемого развертывания на сервере.
Комментарии9
Задай вопрос, поделись результатами или помоги кому-нибудь.
amarnathreddy0201
Load the YOLOv8 model
model = YOLO("yolov8n.pt")
Export the model to TorchScript format
model.export(format="torchscript") # creates 'yolov8n.torchscript'
Load the exported TorchScript model
torchscript_model = YOLO("yolov8n.torchscript")
For loading "yolov8n.torchscript" here yolo is used. is it possible to load the model using pytorch and prediction/Segmentation.
Paula DerrengerUltralytics@amarnathreddy0201 yes, you can load and use the exported TorchScript model directly with PyTorch. After exporting your YOLOv8 model to TorchScript format, you can load it using
torch.jit.load('yolov8n.torchscript')and then perform inference as usual with PyTorch. For detailed instructions, you can refer to the TorchScript documentation.amarnathreddy0201
Model = torch.jit.load('yolov8n.torchscript') results = Model(image)
It will predict the boxes, classes
amarnathreddy0201(изменено)
@pderrenger I written small application for person detection but it's not detecting properly nd bounding boxes is some where else.
import torch import cv2 import numpy as np
classes = [ "person", "bicycle", "car", "motorcycle", "airplane", "bus", "train", "truck", "boat", "traffic light", "fire hydrant", "stop sign", "parking meter", "bench", "bird", "cat", "dog", "horse", "sheep", "cow", "elephant", "bear", "zebra", "giraffe", "backpack", "umbrella", "handbag", "tie", "suitcase", "frisbee", "skis", "snowboard", "sports ball", "kite", "baseball bat", "baseball glove", "skateboard", "surfboard", "tennis racket", "bottle", "wine glass", "cup", "fork", "knife", "spoon", "bowl", "banana", "apple", "sandwich", "orange", "broccoli", "carrot", "hot dog", "pizza", "donut", "cake", "chair", "couch", "potted plant", "bed", "dining table", "toilet", "tv", "laptop", "mouse", "remote", "keyboard", "cell phone", "microwave", "oven", "toaster", "sink", "refrigerator", "book", "clock", "vase", "scissors", "teddy bear", "hair drier", "toothbrush" ]
model = torch.jit.load("yolov8n.torchscript") image_ori = cv2.imread(r"C:\Users\amarn\OneDrive\Pictures\father mother.jpg") image = cv2.resize(image_ori, (640, 640)) image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) image_tensor = torch.from_numpy(image).float() image_tensor = image_tensor.permute(2, 0, 1) # Change from HWC to CHW format image_tensor = image_tensor / 255.0 # Normalize to [0, 1] image_tensor = image_tensor.unsqueeze(0)
with torch.no_grad(): results = model(image_tensor)
results = results[0] # Remove the batch dimension if there's only one image
boxes = results[:, :4]
print(len(boxes)) object_confidences = results[:, 4] # Objectness score class_confidences = results[:, 5:] # Class scoresconf_threshold = 0.5 # Example threshold; adjust as necessary predictions = [] for i in range(len(object_confidences)): if object_confidences[i] > conf_threshold: class_id = torch.argmax(class_confidences[i]).item() class_conf = class_confidences[i][class_id].item()
if class_conf > conf_threshold: box_np = boxes[i].cpu().numpy() if boxes[i].is_cuda else boxes[i].numpy() x, y, w, h = box_np x1 = int((x - w / 2) ) y1 = int((y - h / 2) ) x2 = int((x + w / 2) ) y2 = int((y + h / 2)) cv2.rectangle(image_ori, (int(x1),int( y1)), (int(x1+ w), int(y1 + h)), (0, 255, 0), 2)cv2.imshow('image', image_ori) cv2.waitKey(0)
classes is from yolo only
1
Paula DerrengerUltralyticsIt looks like there might be an issue with the bounding box coordinates. Ensure that the coordinates are correctly transformed from the model's output format to the image's coordinate system. Also, verify that the model is correctly loaded and that the input image is preprocessed as expected. If the issue persists, please try updating to the latest version of the Ultralytics package and check if the problem is reproducible. For more details on exporting and using TorchScript models, you can refer to the Ultralytics documentation.
clausMeko(изменено)
@amarnathreddy0201 I could make the boxes work for my One-Item only use case. I guess the tensor structure was not really clear to you as it seemed to me you have profound knowledge. ty for heavy lifting :partying_face:
@glenn-jocher and @pderrenger if you care what use case I had and could not simply
from ultralytics import YOLO: I chain YOLO with other models and have conflicts with imports, especially numpy v1 vs v2. So i figured export all as torchscript and chain them.import torch import cv2 # Knwoledge: https://github.com/ultralytics/ultralytics/issues/5863 # Knwoledge: https://github.com/orgs/ultralytics/discussions/9002 def preprocess_image(image_ori) -> torch.Tensor: image = cv2.resize(image_ori, (640, 640)) image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) image_tensor = torch.from_numpy(image).float() image_tensor = image_tensor.permute(2, 0, 1) # Change from HWC to CHW format image_tensor = image_tensor / 255.0 # Normalize to [0, 1] image_tensor = image_tensor.unsqueeze(0) return image_tensor def main(): # Load the TorchScript model map_location = torch.device('cuda') if torch.cuda.is_available() else torch.device('cpu') model = torch.jit.load('./best.torchscript', map_location=map_location) cv2_img = cv2.imread("../obj-det/datasets/test/images/00018_png.rf.d602082fdf686063a7d430aba6dfedde.jpg") image = preprocess_image(cv2_img) with torch.no_grad(): results: torch.Tensor = model(image.to(map_location)) results = results[0] # Remove the batch dimension if there's only one image boxes = results[:4, :] object_confidences = results[4, :] conf_threshold = 0.5 # Example threshold; adjust as necessary dominant_item = torch.argmax(object_confidences) if object_confidences[dominant_item] < conf_threshold: cv2.imshow('nothing found', cv2_img) cv2.waitKey(0) return box_np = boxes[:,dominant_item].cpu().numpy() if boxes[:,dominant_item].is_cuda else boxes[:,dominant_item].numpy() x, y, w, h = box_np x1 = int((x - w / 2)) y1 = int((y - h / 2)) x2 = int(x1 + w) y2 = int(y1 + h) cv2.rectangle(cv2_img, (x1, y1), (x2, y2), (0, 255, 0), 2) cv2.imshow('image', cv2_img) cv2.waitKey(0) if __name__ == '__main__': main()1
Glenn JocherUltralyticsThank you for sharing your use case and detailed implementation! Exporting models as TorchScript for chaining is indeed a smart approach, especially when managing dependency conflicts. If adjustments are needed for bounding boxes or results, ensure the coordinate transformations align with the input image dimensions. For additional guidance on TorchScript usage, feel free to reference Ultralytics TorchScript Docs. Let us know if you encounter further issues!
tryprncp
hi, I'm implementing yolov8 model in android gallery's search mechanism. the purpose of yolov8 model is to scan media files and return images that has a bounding box label that matches the search query. i can make it work with yolov5s.torchscript.ptl using org.pytorch:pytorch_android_lite:1.10.0 and org.pytorch:pytorch_android_torchvision_lite:1.10.0 but it wont work with yolov8s.torchscript. i really need help with this.
Glenn JocherUltralyticsHey there! 😊 It sounds like you've made great progress integrating YOLOv8 into your Android app's search mechanism! If you've successfully used YOLOv5 models but are facing issues with YOLOv8's TorchScript model, let's try to sort this out.
First, ensure you've exported the YOLOv8 model to TorchScript correctly using the latest YOLOv8 and PyTorch versions. Here's a quick snippet for exporting:
from ultralytics import YOLO # Load YOLOv8 model model = YOLO('yolov8s.pt') # Use the appropriate YOLOv8 variant # Export to TorchScript model.export(format='torchscript')This creates a file named
yolov8s.torchscript. Ensure that this file is what you're trying to load in your Android app.If you're still having trouble after confirming the export process, consider checking the PyTorch Android version compatibility. YOLOv8 may require a newer version of PyTorch Android than YOLOv5, so updating
org.pytorch:pytorch_android_liteandorg.pytorch:pytorch_android_torchvision_liteto the latest versions might help.Lastly, since YOLOv8 is more recent, make sure you're using the latest release of the Ultralytics YOLO library for any compatibility fixes or improvements.
If these steps don't resolve the issue, feel free to share any error messages or more specifics about the problem you're encountering. I'm here to help!