Предсказание моделей с помощью Ultralytics YOLO#

Введение#

В мире machine learning и computer vision процесс осмысления визуальных данных часто называют инференсом или предсказанием. Ultralytics YOLO26 предлагает мощную функцию, известную как predict mode, которая создана для высокопроизводительного инференса в реальном времени на самых разных источниках данных.

Применение в реальных условиях#

Производство	Спорт	Безопасность
Детекция запасных частей автомобиля	Детекция футболистов	Детекция падения людей

Почему стоит использовать Ultralytics YOLO для инференса?#

Вот почему тебе стоит рассмотреть режим предсказания YOLO26 для твоих задач инференса:

• Универсальность: возможность запуска инференса на изображениях, видео и даже прямых трансляциях.
• Производительность: Разработано для высокоскоростной обработки в реальном времени без ущерба для accuracy.
• Простота использования: интуитивно понятные интерфейсы Python и CLI для быстрого развертывания и тестирования.
• Высокая настраиваемость: различные настройки и параметры позволяют адаптировать поведение инференса модели под твои конкретные требования.
• Готовность к продакшену: Развертывай модели в качестве Ultralytics Platform inference endpoints с автоматическим масштабированием и мониторингом либо выполняй инференс локально.

Основные особенности режима предсказания#

Режим предсказания YOLO26 спроектирован надежным и универсальным, обладающим следующими функциями:

• Совместимость с несколькими источниками данных: будь то отдельные изображения, коллекции изображений, видеофайлы или потоковое видео в реальном времени — режим предсказания справится со всем.
• Режим потоковой передачи: Используй функцию потоковой передачи, чтобы создать эффективный с точки зрения памяти генератор объектов Results. Включи его, установив stream=True в методе вызова предиктора. В отличие от поведения по умолчанию (stream=False), которое возвращает список, содержащий все результаты, stream=True выдает результаты по одному за раз, что особенно полезно для длинных видео и прямых трансляций.
• Пакетная обработка: обрабатывай несколько изображений или кадров видео за один пакет (batch), что дополнительно сокращает общее время инференса.
• Дружелюбность к интеграции: легкая интеграция с существующими конвейерами данных и другими программными компонентами благодаря гибкому API.

Модели Ultralytics YOLO возвращают либо список Python объектов Results, либо эффективный с точки зрения памяти генератор объектов Results, когда при инференсе модели передается stream=True:

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n.pt")  # pretrained YOLO26n model

# Run batched inference on a list of images
results = model(["image1.jpg", "image2.jpg"])  # return a list of Results objects

# Process results list
for result in results:
    boxes = result.boxes  # Boxes object for bounding box outputs
    masks = result.masks  # Masks object for segmentation masks outputs
    keypoints = result.keypoints  # Keypoints object for pose outputs
    probs = result.probs  # Probs object for classification outputs
    obb = result.obb  # Oriented boxes object for OBB outputs
    result.show()  # display to screen
    result.save(filename="result.jpg")  # save to disk

Источники инференса#

YOLO26 может обрабатывать различные типы входных источников для инференса, как показано в таблице ниже. Источники включают статические изображения, видеопотоки и различные форматы данных. В таблице также указано, можно ли использовать каждый источник в режиме потоковой передачи с аргументом stream=True ✅. Режим потоковой передачи полезен для обработки видео или прямых трансляций, так как он создает генератор результатов вместо загрузки всех кадров в память.

Ниже приведены примеры кода для использования каждого типа источника:

from ultralytics import YOLO

# Load a pretrained YOLO26n model
model = YOLO("yolo26n.pt")

# Define path to the image file
source = "path/to/image.jpg"

# Run inference on the source
results = model(source)  # list of Results objects

Аргументы вывода (Inference Arguments)#

model.predict() принимает несколько аргументов, которые можно передать во время инференса для переопределения значений по умолчанию:

Фиксированная форма против минимального прямоугольника (rect)#

По умолчанию predict использует rect=True, что включает заполнение до минимального прямоугольника (minimum-rectangle padding), когда это возможно. Изображение масштабируется так, чтобы поместиться в imgsz, и дополняется только до ближайшего кратного шага (stride multiple), поэтому итоговый тензор может быть меньше, чем imgsz. Заполнение до минимального прямоугольника используется только тогда, когда все изображения в батче имеют одинаковую форму и бэкенд поддерживает это (PyTorch .pt или динамический ONNX / Triton). В противном случае изображения дополняются до полной цели imgsz.

Используй rect=False, чтобы всегда дополнять изображение до полной цели imgsz. Это рекомендуется, когда тебе нужен фиксированный размер входа для соответствия экспортированным моделям (ONNX, TensorRT и т. д.).

Целое число против кортежа imgsz

• Целое число imgsz=640 становится квадратной целью (640, 640) после округления по шагу.
• Кортеж imgsz=(384, 672) задает прямоугольную цель. С rect=True и auto=True фактический тензор может быть меньше этой цели.

Обучение против предсказания/экспорта

Обучение принимает только одно целое число imgsz (список [h, w] приводится к наибольшему значению). Predict и export принимают либо целое число, либо кортеж (height, width).

from ultralytics import YOLO

# Load a pretrained YOLO26n model
model = YOLO("yolo26n.pt")

# Run inference on 'bus.jpg' with arguments
model.predict("https://ultralytics.com/images/bus.jpg", save=True, imgsz=320, conf=0.25)

Аргументы инференса:

Аргументы визуализации:

Форматы изображений и видео#

YOLO26 поддерживает различные форматы изображений и видео, как указано в ultralytics/data/utils.py. См. таблицы ниже для ознакомления с допустимыми суффиксами и примерами команд прогнозирования.

Изображения#

В таблице ниже приведены допустимые форматы изображений Ultralytics.

Видео#

В таблице ниже приведены допустимые форматы видео Ultralytics.

Работа с результатами#

Все вызовы Ultralytics predict() возвращают список объектов Results:

from ultralytics import YOLO

# Load a pretrained YOLO26n model
model = YOLO("yolo26n.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")
results = model(
    [
        "https://ultralytics.com/images/bus.jpg",
        "https://ultralytics.com/images/zidane.jpg",
    ]
)  # batch inference

Объекты Results имеют следующие атрибуты:

Результаты по задачам#

Какие поля заполняются ниже, зависит от задачи вашей модели — сравните обнаружение, сегментацию, семантическую сегментацию, оценку глубины, классификацию, позы и OBB, если вы еще не выбрали задачу. Каждый прогноз возвращает один объект Results для каждого изображения или кадра. Общие поля выше доступны всегда, в то время как данные прогноза для конкретной задачи хранятся в полях ниже. Тензоры координат, уверенности и вероятностей имеют формат torch.float32, если не используется половинная точность, тогда — torch.float16. После result.numpy() тензоры превращаются в массивы NumPy с соответствующими типами данных NumPy. Маски экземпляров представляют собой бинарные тензоры torch.uint8, в то время как семантические маски используют наименьший практичный целочисленный тип данных для идентификаторов классов: torch.uint8, torch.int16 или torch.int32, в зависимости от количества классов.

Объекты Results имеют следующие методы:

Для получения подробной информации см. документацию класса Results.

Боксы#

Объект Boxes можно использовать для индексации, манипулирования и конвертации ограничивающих прямоугольников в различные форматы.

from ultralytics import YOLO

# Load a pretrained YOLO26n model
model = YOLO("yolo26n.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")  # results list

# View results
for r in results:
    print(r.boxes)  # print the Boxes object containing the detection bounding boxes

Ниже представлена таблица методов и свойств класса Boxes, включая их имя, тип и описание:

Для получения подробной информации см. документацию класса Boxes.

Маски#

Объект Masks можно использовать для индексации, манипулирования и конвертации масок в сегменты.

from ultralytics import YOLO

# Load a pretrained YOLO26n-seg Segment model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")  # results list

# View results
for r in results:
    print(r.masks)  # print the Masks object containing the detected instance masks

Ниже представлена таблица методов и свойств класса Masks, включая их имя, тип и описание:

Для получения подробной информации см. документацию класса Masks.

SemanticMask#

SemanticMask хранит одну плотную карту классов для результатов семантической сегментации. В отличие от Masks, она не содержит по одной бинарной маске на объект и не предоставляет вспомогательные инструменты для работы с многоугольниками.

from ultralytics import YOLO

# Load a pretrained YOLO26n-sem Semantic model
model = YOLO("yolo26n-sem.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")  # results list

# View results
for r in results:
    print(r.semantic_mask.data)  # print the H x W class-ID map

Ключевые точки#

Объект Keypoints можно использовать для индексации, манипулирования и нормализации координат.

from ultralytics import YOLO

# Load a pretrained YOLO26n-pose Pose model
model = YOLO("yolo26n-pose.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")  # results list

# View results
for r in results:
    print(r.keypoints)  # print the Keypoints object containing the detected keypoints

Ниже представлена таблица методов и свойств класса Keypoints, включая их имя, тип и описание:

Для получения подробной информации см. документацию класса Keypoints.

Probs#

Объект Probs можно использовать для получения индексов и оценок классификации top1 и top5.

from ultralytics import YOLO

# Load a pretrained YOLO26n-cls Classify model
model = YOLO("yolo26n-cls.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")  # results list

# View results
for r in results:
    print(r.probs)  # print the Probs object containing the detected class probabilities

Ниже приведена таблица, суммирующая методы и свойства класса Probs:

Для получения подробной информации см. документацию класса Probs.

OBB#

Объект OBB можно использовать для индексации, манипулирования и конвертации ориентированных ограничивающих прямоугольников в различные форматы.

from ultralytics import YOLO

# Load a pretrained YOLO26n model
model = YOLO("yolo26n-obb.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/boats.jpg")  # results list

# View results
for r in results:
    print(r.obb)  # print the OBB object containing the oriented detection bounding boxes

Ниже представлена таблица методов и свойств класса OBB, включая их имя, тип и описание:

Для получения подробной информации см. документацию класса OBB.

Визуализация результатов#

Метод plot() в объектах Results облегчает визуализацию предсказаний путем наложения обнаруженных объектов (таких как ограничивающие прямоугольники, маски, ключевые точки и вероятности) на исходное изображение. Этот метод возвращает аннотированное изображение в виде массива NumPy, что позволяет легко отобразить или сохранить его.

from PIL import Image

from ultralytics import YOLO

# Load a pretrained YOLO26n model
model = YOLO("yolo26n.pt")

# Run inference on 'bus.jpg'
results = model(["https://ultralytics.com/images/bus.jpg", "https://ultralytics.com/images/zidane.jpg"])  # results list

# Visualize the results
for i, r in enumerate(results):
    # Plot results image
    im_bgr = r.plot()  # BGR-order numpy array
    im_rgb = Image.fromarray(im_bgr[..., ::-1])  # RGB-order PIL image

    # Show results to screen (in supported environments)
    r.show()

    # Save results to disk
    r.save(filename=f"results{i}.jpg")

Параметры метода plot()#

Метод plot() поддерживает различные аргументы для настройки вывода:

Потокобезопасный инференс#

Обеспечение потокобезопасности во время инференса критически важно, когда ты запускаешь несколько моделей YOLO параллельно в разных потоках. Потокобезопасный инференс гарантирует, что предсказания каждого потока изолированы и не мешают друг другу, избегая условий состязательности (race conditions) и обеспечивая согласованные и надежные результаты.

При использовании моделей YOLO в многопоточном приложении важно создавать отдельные объекты модели для каждого потока или использовать thread-local хранилище, чтобы предотвратить конфликты:

from threading import Thread

from ultralytics import YOLO

def thread_safe_predict(model, image_path):
    """Performs thread-safe prediction on an image using a locally instantiated YOLO model."""
    model = YOLO(model)
    results = model.predict(image_path)
    # Process results

# Starting threads that each have their own model instance
Thread(target=thread_safe_predict, args=("yolo26n.pt", "image1.jpg")).start()
Thread(target=thread_safe_predict, args=("yolo26n.pt", "image2.jpg")).start()

Подробный обзор потокобезопасного инференса с моделями YOLO и пошаговые инструкции см. в нашем руководстве по потокобезопасному инференсу YOLO. Это руководство предоставит тебе всю необходимую информацию, чтобы избежать распространенных ошибок и обеспечить бесперебойную работу многопоточного инференса.

Цикл for для потокового источника#

Вот скрипт на Python, использующий OpenCV (cv2) и YOLO для запуска инференса на кадрах видео. Этот скрипт предполагает, что ты уже установил необходимые пакеты (opencv-python и ultralytics).

import cv2

from ultralytics import YOLO

# Load the YOLO model
model = YOLO("yolo26n.pt")

# Open the video file
video_path = "path/to/your/video/file.mp4"
cap = cv2.VideoCapture(video_path)

# Loop through the video frames
while cap.isOpened():
    # Read a frame from the video
    success, frame = cap.read()

    if success:
        # Run YOLO inference on the frame
        results = model(frame)

        # Visualize the results on the frame
        annotated_frame = results[0].plot()

        # Display the annotated frame
        cv2.imshow("YOLO Inference", annotated_frame)

        # Break the loop if 'q' is pressed
        if cv2.waitKey(1) & 0xFF == ord("q"):
            break
    else:
        # Break the loop if the end of the video is reached
        break

# Release the video capture object and close the display window
cap.release()
cv2.destroyAllWindows()

Этот скрипт запустит предсказания на каждом кадре видео, визуализирует результаты и отобразит их в окне. Выйти из цикла можно, нажав 'q'.

Что дальше#

Готов перейти от предобученной модели к чему-то большему? Убедись, что твоя задача подходит под твою проблему, отформатируй свои данные с помощью руководства по наборам данных, а затем обучай модель на них.

FAQ#

Что такое Ultralytics YOLO и режим predict для инференса в реальном времени?#

Ultralytics YOLO — это современная модель для object detection, instance segmentation, semantic segmentation, depth estimation и classification в реальном времени. Ее predict mode позволяет пользователям выполнять высокоскоростной инференс на различных источниках данных, таких как изображения, видео и прямые трансляции. Разработанная для обеспечения производительности и универсальности, она также предлагает пакетную обработку и режимы потоковой передачи. Для получения дополнительной информации о ее функциях ознакомьтесь с predict mode в Ultralytics YOLO.

Как запустить инференс с помощью Ultralytics YOLO на разных источниках данных?#

Ultralytics YOLO может обрабатывать широкий спектр источников данных, включая отдельные изображения, видео, каталоги, URL-адреса и потоки. Ты можешь указать источник данных в вызове model.predict(). Например, используй 'image.jpg' для локального изображения или 'https://ultralytics.com/images/bus.jpg' для URL-адреса. Ознакомься с подробными примерами для различных источников инференса в документации.

Как оптимизировать скорость инференса YOLO и использование памяти?#

Чтобы оптимизировать скорость инференса и эффективно управлять памятью, ты можешь использовать режим потоковой передачи, установив stream=True в методе вызова предиктора. Режим потоковой передачи генерирует эффективный с точки зрения памяти генератор объектов Results вместо загрузки всех кадров в память. Режим потоковой передачи особенно полезен при обработке длинных видео или больших наборов данных. Узнай больше о режиме потоковой передачи.

Какие аргументы инференса поддерживает Ultralytics YOLO?#

Метод model.predict() в YOLO поддерживает различные аргументы, такие как conf, iou, imgsz, device и другие. Эти аргументы позволяют настраивать процесс инференса, задавая такие параметры, как пороги уверенности, размер изображения и устройство, используемое для вычислений. Подробные описания этих аргументов можно найти в разделе аргументы инференса.

Как извлечь эмбеддинги из модели YOLO?#

Используй model.embed(source) для извлечения эмбеддингов признаков из предпоследнего слоя или передай embed=[layer_index] в model.predict() для выбора определенных слоев.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
source = "https://ultralytics.com/images/bus.jpg"

results = model.predict(source)  # Results objects
embeddings = model.embed(source)  # list of torch.Tensor embeddings

Как визуализировать и сохранить результаты предсказаний YOLO?#

После запуска инференса с помощью YOLO объекты Results содержат методы для отображения и сохранения аннотированных изображений. Ты можешь использовать такие методы, как result.show() и result.save(filename="result.jpg"), для визуализации и сохранения результатов. Любые отсутствующие родительские каталоги в пути к файлу создаются автоматически (например, result.save("path/to/result.jpg")). Полный список этих методов см. в разделе работа с результатами.