Предсказание модели с Ultralytics YOLO#

Введение#

В машинном обучении и компьютерном зрении процесс интерпретации визуальных данных часто называют инференсом или предсказанием. Ultralytics YOLO26 предлагает мощную функцию — режим predict, предназначенную для высокопроизводительного инференса в реальном времени по широкому спектру источников данных.

Примеры инференса, которые планируется добавить, см. в предварительной версии ещё не выпущенной YOLO27.

Применение в реальных условиях#

Зачем использовать Ultralytics YOLO для инференса?#

Вот почему стоит рассмотреть режим predict в YOLO26 для решения различных задач инференса:

• Универсальность: инференс можно выполнять на изображениях, видео и даже видеопотоках в реальном времени.
• Производительность: модель создана для высокоскоростной обработки в реальном времени без ущерба для точности.
• Простота использования: интуитивно понятные интерфейсы Python и CLI упрощают быстрое развертывание и тестирование.
• Гибкая настройка: различные параметры позволяют настроить поведение модели при инференсе под твои конкретные требования.
• Готовность к продакшену: разворачивай модели как конечные точки инференса Ultralytics Platform с автоматическим масштабированием и мониторингом или запускай инференс локально.

Ключевые возможности режима predict#

Режим predict в YOLO26 разработан как надежное и универсальное решение. Его возможности:

• Совместимость с различными источниками данных: режим predict подходит для обработки отдельных изображений, наборов изображений, видеофайлов и видеопотоков в реальном времени.
• Режим потоковой обработки: используй потоковую обработку, чтобы создать экономящий память генератор объектов Results. Для этого задай stream=True в методе вызова предиктора. В отличие от поведения по умолчанию (stream=False), при котором возвращается список со всеми результатами, stream=True выдает результаты по одному, что особенно полезно для длинных видео и видеопотоков.
• Пакетная обработка: обрабатывай несколько изображений или видеокадров одним пакетом, чтобы еще больше сократить общее время инференса.
• Простота интеграции: гибкий API упрощает интеграцию с существующими конвейерами обработки данных и другими программными компонентами.

При инференсе модели Ultralytics YOLO возвращают либо список объектов Results Python, либо экономящий память генератор объектов Results, если модели передать stream=True:

from ultralytics import YOLO

# Загрузить модель
model = YOLO("yolo26n.pt")  # предобученная модель YOLO26n

# Выполнить пакетный инференс для списка изображений
results = model(["image1.jpg", "image2.jpg"])  # вернуть список объектов Results

# Обработать список результатов
for result in results:
    boxes = result.boxes  # Объект Boxes для выходных данных с ограничивающими рамками
    masks = result.masks  # Объект Masks для выходных данных с масками сегментации
    keypoints = result.keypoints  # Объект Keypoints для выходных данных с позами
    probs = result.probs  # Объект Probs для выходных данных классификации
    obb = result.obb  # Объект Oriented boxes для выходных данных OBB
    result.show()  # отобразить на экране
    result.save(filename="result.jpg")  # сохранить на диск

Источники для инференса#

YOLO26 может обрабатывать разные типы входных источников для инференса, как показано в таблице ниже. Среди источников — статические изображения, видеопотоки и различные форматы данных. В таблице также указано, можно ли использовать каждый источник в потоковом режиме с аргументом stream=True ✅. Потоковый режим удобен для обработки видео и видеопотоков в реальном времени: вместо загрузки всех кадров в память он создает генератор результатов.

Ниже приведены примеры кода для каждого типа источника:

from ultralytics import YOLO

# Загрузить предобученную модель YOLO26n
model = YOLO("yolo26n.pt")

# Задать путь к файлу изображения
source = "path/to/image.jpg"

# Выполнить инференс для источника
results = model(source)  # список объектов Results

Аргументы инференса#

model.predict() принимает несколько аргументов, которые можно передать при запуске инференса, чтобы переопределить значения по умолчанию:

Фиксированный размер или минимальный прямоугольник (rect)#

По умолчанию predict использует rect=True, который по возможности включает дополнение до минимального прямоугольника. Изображение масштабируется так, чтобы поместиться в imgsz, и дополняется только до ближайшего кратного шага, поэтому итоговый тензор может быть меньше imgsz. Дополнение до минимального прямоугольника применяется, только если все изображения в пакете имеют одинаковую форму и бэкенд поддерживает этот режим (PyTorch .pt или экспорт с динамической формой, например динамический ONNX). В противном случае изображения дополняются до полного целевого размера imgsz.

Используй rect=False, чтобы всегда дополнять изображение до полного целевого размера imgsz. Это рекомендуется, если нужен фиксированный размер входных данных, соответствующий экспортированным моделям (ONNX, TensorRT и т. д.).

Целочисленный размер или кортеж imgsz

• Целочисленное значение imgsz=640 после округления с учетом шага задает квадратный целевой размер (640, 640).
• Кортеж imgsz=(384, 672) задает прямоугольный целевой размер. При использовании rect=True фактический размер тензора может быть меньше этого значения.

Обучение и predict/export

Для обучения принимается только целочисленное значение imgsz (список [h, w] преобразуется в наибольшее значение). Для predict и export можно указать целое число или кортеж (height, width).

from ultralytics import YOLO

# Загрузить предобученную модель YOLO26n
model = YOLO("yolo26n.pt")

# Запусти инференс для 'bus.jpg' с аргументами
model.predict("https://ultralytics.com/images/bus.jpg", save=True, imgsz=320, conf=0.25)

Аргументы инференса:

Параметры визуализации:

Форматы изображений и видео#

YOLO26 поддерживает различные форматы изображений и видео, указанные в ultralytics/data/utils.py. Допустимые расширения и примеры команд predict смотри в таблицах ниже.

Изображения#

В таблице ниже перечислены допустимые форматы изображений Ultralytics.

Видео#

В таблице ниже перечислены допустимые видеоформаты Ultralytics.

Работа с результатами#

Все вызовы Ultralytics predict() возвращают список объектов Results:

from ultralytics import YOLO

# Загрузить предобученную модель YOLO26n
model = YOLO("yolo26n.pt")

# Запустить инференс на изображении
results = model("https://ultralytics.com/images/bus.jpg")
results = model(
    [
        "https://ultralytics.com/images/bus.jpg",
        "https://ultralytics.com/images/zidane.jpg",
    ]
)  # пакетный инференс

Объекты Results имеют следующие атрибуты:

Результаты по задачам#

Набор заполняемых ниже полей зависит от задачи модели — если ты еще не выбрал задачу, сравни обнаружение, сегментацию, семантическую сегментацию, оценку глубины, классификацию, позу и OBB. Для каждого изображения или кадра при предсказании возвращается один объект Results. Общие поля, перечисленные выше, доступны всегда, а данные предсказания для конкретной задачи хранятся в полях ниже. Тензоры координат и уверенности YOLO имеют тип torch.float32; тензоры вероятностей имеют тип torch.float32, если не используется инференс FP16 (quantize=16), — в этом случае они имеют тип torch.float16. После result.numpy() тензоры преобразуются в массивы NumPy с соответствующими типами данных NumPy. Маски экземпляров — это бинарные тензоры torch.uint8, а для семантических масок используется наименьший подходящий целочисленный тип данных для идентификаторов классов: torch.uint8, torch.int16 или torch.int32 — в зависимости от количества классов.

У объектов Results есть следующие методы:

Подробнее см. в документации класса Results.

Боксы#

Объект Boxes позволяет индексировать и изменять ограничивающие боксы, а также преобразовывать их в разные форматы.

from ultralytics import YOLO

# Загрузить предобученную модель YOLO26n
model = YOLO("yolo26n.pt")

# Запустить инференс на изображении
results = model("https://ultralytics.com/images/bus.jpg")  # список результатов

# Просмотр результатов
for r in results:
    print(r.boxes)  # вывести объект Boxes, содержащий ограничивающие боксы обнаруженных объектов

Ниже приведена таблица методов и свойств класса Boxes с их именами, типами и описаниями:

Подробнее см. в документации класса Boxes.

Маски#

Объект Masks позволяет индексировать и изменять маски, а также преобразовывать их в сегменты.

from ultralytics import YOLO

# Загрузить предварительно обученную сегментационную модель YOLO26n-seg
model = YOLO("yolo26n-seg.pt")

# Запустить инференс на изображении
results = model("https://ultralytics.com/images/bus.jpg")  # список результатов

# Просмотр результатов
for r in results:
    print(r.masks)  # вывести объект Masks, содержащий обнаруженные маски экземпляров

Ниже приведена таблица методов и свойств класса Masks с их именами, типами и описаниями:

Подробнее см. в документации класса Masks.

SemanticMask#

SemanticMask хранит одну плотную карту классов для результатов семантической сегментации. В отличие от Masks, этот объект не содержит отдельную двоичную маску для каждого объекта и не предоставляет вспомогательных методов для работы с полигонами.

from ultralytics import YOLO

# Загрузить предварительно обученную семантическую модель YOLO26n-sem
model = YOLO("yolo26n-sem.pt")

# Запустить инференс на изображении
results = model("https://ultralytics.com/images/bus.jpg")  # список результатов

# Просмотр результатов
for r in results:
    print(r.semantic_mask.data)  # вывести карту ID классов размером H x W

Ключевые точки#

Объект Keypoints позволяет индексировать и изменять координаты, а также нормализовать их.

from ultralytics import YOLO

# Загрузить предварительно обученную модель определения поз YOLO26n-pose
model = YOLO("yolo26n-pose.pt")

# Запустить инференс на изображении
results = model("https://ultralytics.com/images/bus.jpg")  # список результатов

# Просмотр результатов
for r in results:
    print(r.keypoints)  # вывести объект Keypoints, содержащий обнаруженные ключевые точки

Ниже приведена таблица методов и свойств класса Keypoints с их именами, типами и описаниями:

Подробнее см. в документации класса Keypoints.

Вероятности#

Объект Probs позволяет получать индексы классов и оценки top1 и top5.

from ultralytics import YOLO

# Загрузить предварительно обученную классификационную модель YOLO26n-cls
model = YOLO("yolo26n-cls.pt")

# Запустить инференс на изображении
results = model("https://ultralytics.com/images/bus.jpg")  # список результатов

# Просмотр результатов
for r in results:
    print(r.probs)  # вывести объект Probs, содержащий обнаруженные вероятности классов

В этой таблице приведены методы и свойства класса Probs.

Подробнее см. в документации класса Probs.

OBB#

Объект OBB можно использовать для индексации, обработки и преобразования ориентированных ограничивающих рамок в разные форматы.

from ultralytics import YOLO

# Загрузить предобученную модель YOLO26n
model = YOLO("yolo26n-obb.pt")

# Запустить инференс на изображении
results = model("https://ultralytics.com/images/boats.jpg")  # список результатов

# Просмотр результатов
for r in results:
    print(r.obb)  # вывести объект OBB, содержащий ориентированные ограничивающие рамки обнаруженных объектов

Ниже приведена таблица методов и свойств класса OBB с их именами, типами и описаниями:

Подробнее см. в документации класса OBB.

Построение визуализаций результатов#

Метод plot() объектов Results позволяет визуализировать предсказания, накладывая обнаруженные объекты (например, ограничивающие рамки, маски, ключевые точки и вероятности) на исходное изображение. Метод возвращает изображение с аннотациями в виде массива NumPy, который удобно отображать или сохранять.

from PIL import Image

from ultralytics import YOLO

# Load a pretrained YOLO26n model
model = YOLO("yolo26n.pt")

# Run inference on 'bus.jpg'
results = model(["https://ultralytics.com/images/bus.jpg", "https://ultralytics.com/images/zidane.jpg"])  # results list

# Visualize the results
for i, r in enumerate(results):
    # Plot results image
    im_bgr = r.plot()  # BGR-order numpy array
    im_rgb = Image.fromarray(im_bgr[..., ::-1])  # RGB-order PIL image

    # Show results to screen (in supported environments)
    r.show()

    # Save results to disk
    r.save(filename=f"results{i}.jpg")

Параметры метода plot()#

Метод plot() поддерживает различные аргументы для настройки выходных данных:

Потокобезопасный инференс#

Потокобезопасность при инференсе крайне важна, если ты запускаешь несколько моделей YOLO параллельно в разных потоках. Потокобезопасный инференс гарантирует, что предсказания каждого потока изолированы и не влияют друг на друга, помогая избежать состояний гонки и обеспечивая стабильные и надёжные результаты.

При использовании моделей YOLO в многопоточном приложении важно создавать отдельный объект модели для каждого потока или использовать локальное хранилище потоков, чтобы избежать конфликтов:

from threading import Thread

from ultralytics import YOLO

def thread_safe_predict(model, image_path):
    """Performs thread-safe prediction on an image using a locally instantiated YOLO model."""
    model = YOLO(model)
    results = model.predict(image_path)
    # Обработать результаты

# Запуск потоков, каждый из которых использует собственный экземпляр модели
Thread(target=thread_safe_predict, args=("yolo26n.pt", "image1.jpg")).start()
Thread(target=thread_safe_predict, args=("yolo26n.pt", "image2.jpg")).start()

Подробное описание потокобезопасного инференса с моделями YOLO и пошаговые инструкции смотри в нашем руководстве «Потокобезопасный инференс YOLO». В этом руководстве ты найдёшь всю необходимую информацию, которая поможет избежать распространённых проблем и обеспечить бесперебойную работу инференса в многопоточном режиме.

Цикл for для потоковой обработки источника#

Ниже приведён скрипт Python, который использует OpenCV (cv2) и YOLO для инференса на видеокадрах. Предполагается, что необходимые пакеты (opencv-python и ultralytics) уже установлены.

import cv2

from ultralytics import YOLO

# Загрузить модель YOLO
model = YOLO("yolo26n.pt")

# Открыть видеофайл
video_path = "path/to/your/video/file.mp4"
cap = cv2.VideoCapture(video_path)

# Перебрать кадры видео
while cap.isOpened():
    # Считать кадр из видео
    success, frame = cap.read()

    if success:
        # Выполнить инференс YOLO на кадре
        results = model(frame)

        # Визуализировать результаты на кадре
        annotated_frame = results[0].plot()

        # Показать кадр с аннотациями
        cv2.imshow("YOLO Inference", annotated_frame)

        # Прервать цикл, если нажата клавиша 'q'
        if cv2.waitKey(1) & 0xFF == ord("q"):
            break
    else:
        # Прервать цикл, если видео закончилось
        break

# Освободить объект видеозахвата и закрыть окно отображения
cap.release()
cv2.destroyAllWindows()

Этот скрипт выполняет предсказания для каждого кадра видео, визуализирует результаты и отображает их в окне. Чтобы выйти из цикла, нажми 'q'.

Что дальше#

Готов перейти от предобученной модели к следующему этапу? Убедись, что задача соответствует твоей проблеме, подготовь собственные данные с помощью руководства по наборам данных, а затем обучи на них модель.

Часто задаваемые вопросы#