Предсказание модели с Ultralytics YOLO#

Введение#

В мире машинного обучения и компьютерного зрения процесс интерпретации визуальных данных часто называют инференсом или предсказанием. Ultralytics YOLO26 предлагает мощную функцию, известную как режим predict, предназначенную для высокопроизводительного инференса в реальном времени на самых разных источниках данных.

Смотри невыпущенный предварительный просмотр YOLO27 для запланированных примеров инференса.

Применение в реальных условиях#

Зачем использовать Ultralytics YOLO для инференса?#

Вот почему стоит рассмотреть режим predict YOLO26 для различных задач инференса:

• Универсальность: возможность выполнять инференс на изображениях, видео и даже потоках в реальном времени.
• Производительность: разработан для быстрой обработки в реальном времени без ущерба для точности.
• Простота использования: интуитивно понятные интерфейсы Python и CLI для быстрого развёртывания и тестирования.
• Высокая настраиваемость: различные настройки и параметры позволяют адаптировать поведение модели при инференсе под твои конкретные требования.
• Готовность к промышленной эксплуатации: разворачивай модели как эндпоинты инференса Ultralytics Platform с автоматическим масштабированием и мониторингом или выполняй инференс локально.

Ключевые возможности режима predict#

Режим predict YOLO26 разработан как надёжный и универсальный и включает:

• Поддержка множества источников данных: независимо от того, представлены ли твои данные отдельными изображениями, набором изображений, видеофайлами или видеопотоками в реальном времени, режим predict справится с задачей.
• Режим потоковой обработки: используй потоковую функцию для создания генератора объектов Results с эффективным использованием памяти. Включи её, указав stream=True в методе вызова предиктора. В отличие от поведения по умолчанию (stream=False), при котором возвращается список со всеми результатами, stream=True выдаёт результаты по одному, что особенно удобно для длинных видео и потоков в реальном времени.
• Пакетная обработка: обрабатывай несколько изображений или кадров видео одним пакетом, дополнительно сокращая общее время инференса.
• Удобная интеграция: легко интегрируй модель в существующие конвейеры обработки данных и другие программные компоненты благодаря гибкому API.

Модели Ultralytics YOLO возвращают либо список Python из объектов Results, либо генератор объектов Results с эффективным использованием памяти, если во время инференса модели передан параметр stream=True:

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n.pt")  # pretrained YOLO26n model

# Run batched inference on a list of images
results = model(["image1.jpg", "image2.jpg"])  # return a list of Results objects

# Process results list
for result in results:
    boxes = result.boxes  # Boxes object for bounding box outputs
    masks = result.masks  # Masks object for segmentation masks outputs
    keypoints = result.keypoints  # Keypoints object for pose outputs
    probs = result.probs  # Probs object for classification outputs
    obb = result.obb  # Oriented boxes object for OBB outputs
    result.show()  # display to screen
    result.save(filename="result.jpg")  # save to disk

Источники для инференса#

YOLO26 может обрабатывать различные типы входных источников для инференса, как показано в таблице ниже. Источники включают статические изображения, видеопотоки и различные форматы данных. В таблице также указано, можно ли использовать каждый источник в потоковом режиме с аргументом stream=True ✅. Потоковый режим удобен для обработки видео или потоков в реальном времени, поскольку создаёт генератор результатов вместо загрузки всех кадров в память.

Ниже приведены примеры кода для использования каждого типа источника:

from ultralytics import YOLO

# Load a pretrained YOLO26n model
model = YOLO("yolo26n.pt")

# Define path to the image file
source = "path/to/image.jpg"

# Run inference on the source
results = model(source)  # list of Results objects

Аргументы инференса#

model.predict() принимает несколько аргументов, которые можно передать во время инференса для переопределения значений по умолчанию:

Фиксированный размер против минимального прямоугольника (rect)#

По умолчанию predict использует rect=True, включая по возможности дополнение до минимального прямоугольника. Изображение масштабируется так, чтобы поместиться в imgsz, и дополняется только до ближайшего кратного stride, поэтому итоговый тензор может быть меньше, чем imgsz. Дополнение до минимального прямоугольника используется только тогда, когда все изображения в пакете имеют одинаковый размер и бэкенд поддерживает эту возможность (PyTorch .pt или динамические ONNX / Triton). В противном случае изображения дополняются до полной целевой формы imgsz.

Используй rect=False, чтобы всегда дополнять данные до полной целевой формы imgsz. Это рекомендуется, когда нужен фиксированный размер входных данных для соответствия экспортированным моделям (ONNX, TensorRT и т. д.).

Целочисленный и кортежный imgsz

• Целочисленный imgsz=640 после округления по stride превращается в квадратную целевую форму (640, 640).
• Кортежный imgsz=(384, 672) задаёт прямоугольную целевую форму. При использовании rect=True и auto=True фактический тензор может быть меньше этой целевой формы.

Обучение и predict/export

Обучение принимает только одно целое число imgsz (список [h, w] преобразуется в наибольшее значение). Predict и export принимают либо целое число, либо кортеж (height, width).

from ultralytics import YOLO

# Load a pretrained YOLO26n model
model = YOLO("yolo26n.pt")

# Run inference on 'bus.jpg' with arguments
model.predict("https://ultralytics.com/images/bus.jpg", save=True, imgsz=320, conf=0.25)

Аргументы инференса:

Аргументы визуализации:

Форматы изображений и видео#

YOLO26 поддерживает различные форматы изображений и видео, указанные в ultralytics/data/utils.py. Допустимые суффиксы и примеры команд predict приведены в таблицах ниже.

Изображения#

В таблице ниже приведены допустимые форматы изображений Ultralytics.

Видео#

В таблице ниже перечислены допустимые видеоформаты Ultralytics.

Работа с результатами#

Все вызовы Ultralytics predict() возвращают список объектов Results:

from ultralytics import YOLO

# Load a pretrained YOLO26n model
model = YOLO("yolo26n.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")
results = model(
    [
        "https://ultralytics.com/images/bus.jpg",
        "https://ultralytics.com/images/zidane.jpg",
    ]
)  # batch inference

Объекты Results имеют следующие атрибуты:

Результаты по задачам#

Поля, заполняемые ниже, зависят от задачи твоей модели — сравнивай детекцию, сегментацию, семантическую сегментацию, оценку глубины, классификацию, позу и OBB, если ты еще не выбрал задачу. Каждое предсказание возвращает один объект Results на изображение или кадр. Общие поля выше доступны всегда, в то время как данные предсказания для конкретной задачи хранятся в полях ниже. Тензоры координат и уверенности YOLO имеют тип torch.float32; тензоры вероятностей имеют тип torch.float32, если не используется половинная точность, иначе torch.float16. После result.numpy() тензоры превращаются в массивы NumPy с соответствующими типами данных NumPy. Маски экземпляров представляют собой бинарные тензоры torch.uint8, в то время как семантические маски используют наименьший практичный целочисленный тип данных для идентификаторов классов: torch.uint8, torch.int16 или torch.int32, в зависимости от количества классов.

Объекты Results имеют следующие методы:

Подробнее см. в документации класса Results.

Боксы#

Объект Boxes можно использовать для индексации, обработки и преобразования ограничивающих рамок в разные форматы.

from ultralytics import YOLO

# Load a pretrained YOLO26n model
model = YOLO("yolo26n.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")  # results list

# View results
for r in results:
    print(r.boxes)  # print the Boxes object containing the detection bounding boxes

Ниже приведена таблица методов и свойств класса Boxes, включая их имя, тип и описание:

Подробнее см. в документации класса Boxes.

Маски#

Объект Masks можно использовать для индексации, обработки и преобразования масок в сегменты.

from ultralytics import YOLO

# Load a pretrained YOLO26n-seg Segment model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")  # results list

# View results
for r in results:
    print(r.masks)  # print the Masks object containing the detected instance masks

Ниже приведена таблица методов и свойств класса Masks, включая их имя, тип и описание:

Подробнее см. в документации класса Masks.

SemanticMask#

SemanticMask хранит одну плотную карту классов для результатов семантической сегментации. В отличие от Masks, он не содержит отдельную двоичную маску для каждого объекта и не предоставляет вспомогательные методы для работы с многоугольниками.

from ultralytics import YOLO

# Load a pretrained YOLO26n-sem Semantic model
model = YOLO("yolo26n-sem.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")  # results list

# View results
for r in results:
    print(r.semantic_mask.data)  # print the H x W class-ID map

Ключевые точки#

Объект Keypoints можно использовать для индексации, обработки и нормализации координат.

from ultralytics import YOLO

# Load a pretrained YOLO26n-pose Pose model
model = YOLO("yolo26n-pose.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")  # results list

# View results
for r in results:
    print(r.keypoints)  # print the Keypoints object containing the detected keypoints

Ниже приведена таблица методов и свойств класса Keypoints, включая их имя, тип и описание:

Подробнее см. в документации класса Keypoints.

Вероятности#

Объект Probs можно использовать для получения индексов и оценок классов top1 и top5.

from ultralytics import YOLO

# Load a pretrained YOLO26n-cls Classify model
model = YOLO("yolo26n-cls.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")  # results list

# View results
for r in results:
    print(r.probs)  # print the Probs object containing the detected class probabilities

Ниже приведена таблица со сводной информацией о методах и свойствах класса Probs:

Подробнее см. в документации класса Probs.

OBB#

Объект OBB можно использовать для индексирования, обработки и преобразования ориентированных ограничивающих рамок в различные форматы.

from ultralytics import YOLO

# Load a pretrained YOLO26n model
model = YOLO("yolo26n-obb.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/boats.jpg")  # results list

# View results
for r in results:
    print(r.obb)  # print the OBB object containing the oriented detection bounding boxes

Ниже приведена таблица методов и свойств класса OBB, включая их имя, тип и описание:

Подробнее см. в документации класса OBB.

Визуализация результатов#

Метод plot() объектов Results упрощает визуализацию предсказаний, накладывая обнаруженные объекты, такие как ограничивающие рамки, маски, ключевые точки и вероятности, на исходное изображение. Этот метод возвращает аннотированное изображение в виде массива NumPy, что позволяет легко отображать или сохранять его.

from PIL import Image

from ultralytics import YOLO

# Load a pretrained YOLO26n model
model = YOLO("yolo26n.pt")

# Run inference on 'bus.jpg'
results = model(["https://ultralytics.com/images/bus.jpg", "https://ultralytics.com/images/zidane.jpg"])  # results list

# Visualize the results
for i, r in enumerate(results):
    # Plot results image
    im_bgr = r.plot()  # BGR-order numpy array
    im_rgb = Image.fromarray(im_bgr[..., ::-1])  # RGB-order PIL image

    # Show results to screen (in supported environments)
    r.show()

    # Save results to disk
    r.save(filename=f"results{i}.jpg")

Параметры метода plot()#

Метод plot() поддерживает различные аргументы для настройки выходных данных:

Потокобезопасный инференс#

Обеспечение потокобезопасности во время инференса крайне важно при параллельном запуске нескольких моделей YOLO в разных потоках. Потокобезопасный инференс гарантирует изоляцию предсказаний каждого потока и предотвращает их взаимное влияние, устраняя состояния гонки и обеспечивая согласованные и надежные результаты.

При использовании моделей YOLO в многопоточном приложении важно создавать отдельные объекты модели для каждого потока или применять локальное хранилище потока, чтобы предотвращать конфликты:

from threading import Thread

from ultralytics import YOLO

def thread_safe_predict(model, image_path):
    """Performs thread-safe prediction on an image using a locally instantiated YOLO model."""
    model = YOLO(model)
    results = model.predict(image_path)
    # Process results

# Starting threads that each have their own model instance
Thread(target=thread_safe_predict, args=("yolo26n.pt", "image1.jpg")).start()
Thread(target=thread_safe_predict, args=("yolo26n.pt", "image2.jpg")).start()

Подробное описание потокобезопасного инференса с моделями YOLO и пошаговые инструкции приведены в нашем руководстве по потокобезопасному инференсу YOLO. В этом руководстве представлена вся необходимая информация для предотвращения распространенных ошибок и обеспечения стабильной работы многопоточного инференса.

Цикл потоковой обработки for#

Ниже приведен скрипт Python, использующий OpenCV (cv2) и YOLO для выполнения инференса на кадрах видео. Предполагается, что необходимые пакеты (opencv-python и ultralytics) уже установлены.

import cv2

from ultralytics import YOLO

# Load the YOLO model
model = YOLO("yolo26n.pt")

# Open the video file
video_path = "path/to/your/video/file.mp4"
cap = cv2.VideoCapture(video_path)

# Loop through the video frames
while cap.isOpened():
    # Read a frame from the video
    success, frame = cap.read()

    if success:
        # Run YOLO inference on the frame
        results = model(frame)

        # Visualize the results on the frame
        annotated_frame = results[0].plot()

        # Display the annotated frame
        cv2.imshow("YOLO Inference", annotated_frame)

        # Break the loop if 'q' is pressed
        if cv2.waitKey(1) & 0xFF == ord("q"):
            break
    else:
        # Break the loop if the end of the video is reached
        break

# Release the video capture object and close the display window
cap.release()
cv2.destroyAllWindows()

Этот скрипт выполняет предсказания для каждого кадра видео, визуализирует результаты и отображает их в окне. Чтобы выйти из цикла, нажми 'q'.

Что дальше#

Готов перейти от предобученной модели к следующему шагу? Убедись, что твоя задача соответствует проблеме, подготовь собственные данные с помощью руководства по наборам данных, а затем обучи на них модель.

Часто задаваемые вопросы#