Модель предсказания с Ultralytics YOLO

Введение

В мире машинного обучения и компьютерного зрения процесс извлечения смысла из визуальных данных называется "вывод" или "предсказание". Ultralytics YOLOv8 предлагает мощную функцию, известную как режим предсказания, которая предназначена для высокопроизводительного вывода в реальном времени на широком диапазоне источников данных.

Смотри: Как извлечь выходные данные из Ultralytics YOLOv8 Model для пользовательских проектов.

Применение в реальном мире

Производство	Спорт	Безопасность
Обнаружение запасных частей для автомобилей	Обнаружение футболистов	Обнаружение падения людей

Зачем использовать Ultralytics YOLO для выводов?

Вот почему тебе стоит обратить внимание на режим предсказаний YOLOv8 для решения различных задач, связанных с умозаключениями:

• Универсальность: Способен делать выводы по изображениям, видео и даже живым потокам.
• Производительность: Разработан для высокоскоростной обработки данных в режиме реального времени без ущерба для точности.
• Простота использования: интуитивно понятные интерфейсы Python и CLI для быстрого развертывания и тестирования.
• Высокая настраиваемость: Различные настройки и параметры, позволяющие настроить поведение модели в выводах в соответствии с твоими специфическими требованиями.

Ключевые особенности режима Predict Mode

Режим предсказаний YOLOv8 отличается надежностью и универсальностью:

• Совместимость с несколькими источниками данных: Неважно, в какой форме представлены твои данные - в виде отдельных изображений, коллекции изображений, видеофайлов или видеопотоков в реальном времени, - режим предсказаний обеспечит тебя всем необходимым.
• Режим потокового вещания: Используй функцию потоковой передачи данных, чтобы сгенерировать экономящий память генератор Results предметы. Включи эту функцию, установив stream=True в методе вызова предиктора.
• Пакетная обработка: Возможность обрабатывать несколько изображений или видеокадров в одном пакете, что еще больше ускоряет время вывода.
• Integration Friendly: Легко интегрируйся с существующими конвейерами данных и другими программными компонентами благодаря гибкому API.

Модели Ultralytics YOLO возвращают либо список Python Results объекты, или экономящий память Python-генератор Results предметы, когда stream=True передается модели во время вычисления:

from ultralytics import YOLO

# Load a model
model = YOLO('yolov8n.pt')  # pretrained YOLOv8n model

# Run batched inference on a list of images
results = model(['im1.jpg', 'im2.jpg'])  # return a list of Results objects

# Process results list
for result in results:
    boxes = result.boxes  # Boxes object for bounding box outputs
    masks = result.masks  # Masks object for segmentation masks outputs
    keypoints = result.keypoints  # Keypoints object for pose outputs
    probs = result.probs  # Probs object for classification outputs
    obb = result.obb  # Oriented boxes object for OBB outputs
    result.show()  # display to screen
    result.save(filename='result.jpg')  # save to disk

from ultralytics import YOLO

# Load a model
model = YOLO('yolov8n.pt')  # pretrained YOLOv8n model

# Run batched inference on a list of images
results = model(['im1.jpg', 'im2.jpg'], stream=True)  # return a generator of Results objects

# Process results generator
for result in results:
    boxes = result.boxes  # Boxes object for bounding box outputs
    masks = result.masks  # Masks object for segmentation masks outputs
    keypoints = result.keypoints  # Keypoints object for pose outputs
    probs = result.probs  # Probs object for classification outputs
    obb = result.obb  # Oriented boxes object for OBB outputs
    result.show()  # display to screen
    result.save(filename='result.jpg')  # save to disk

Источники для выводов

YOLOv8 может обрабатывать различные типы входных источников для выводов, как показано в таблице ниже. Среди источников - статичные изображения, видеопотоки и различные форматы данных. В таблице также указано, можно ли использовать каждый источник в потоковом режиме с помощью аргумента stream=True ✅. Режим стриминга выгоден для обработки видео или живых потоков, так как он создает генератор результатов вместо загрузки всех кадров в память.

Ниже приведены примеры кода для использования каждого типа источников:

from ultralytics import YOLO

# Load a pretrained YOLOv8n model
model = YOLO('yolov8n.pt')

# Define path to the image file
source = 'path/to/image.jpg'

# Run inference on the source
results = model(source)  # list of Results objects

from ultralytics import YOLO

# Load a pretrained YOLOv8n model
model = YOLO('yolov8n.pt')

# Define current screenshot as source
source = 'screen'

# Run inference on the source
results = model(source)  # list of Results objects

from ultralytics import YOLO

# Load a pretrained YOLOv8n model
model = YOLO('yolov8n.pt')

# Define remote image or video URL
source = 'https://ultralytics.com/images/bus.jpg'

# Run inference on the source
results = model(source)  # list of Results objects

from PIL import Image
from ultralytics import YOLO

# Load a pretrained YOLOv8n model
model = YOLO('yolov8n.pt')

# Open an image using PIL
source = Image.open('path/to/image.jpg')

# Run inference on the source
results = model(source)  # list of Results objects

import cv2
from ultralytics import YOLO

# Load a pretrained YOLOv8n model
model = YOLO('yolov8n.pt')

# Read an image using OpenCV
source = cv2.imread('path/to/image.jpg')

# Run inference on the source
results = model(source)  # list of Results objects

import numpy as np
from ultralytics import YOLO

# Load a pretrained YOLOv8n model
model = YOLO('yolov8n.pt')

# Create a random numpy array of HWC shape (640, 640, 3) with values in range [0, 255] and type uint8
source = np.random.randint(low=0, high=255, size=(640, 640, 3), dtype='uint8')

# Run inference on the source
results = model(source)  # list of Results objects

import torch
from ultralytics import YOLO

# Load a pretrained YOLOv8n model
model = YOLO('yolov8n.pt')

# Create a random torch tensor of BCHW shape (1, 3, 640, 640) with values in range [0, 1] and type float32
source = torch.rand(1, 3, 640, 640, dtype=torch.float32)

# Run inference on the source
results = model(source)  # list of Results objects

import torch
from ultralytics import YOLO

# Load a pretrained YOLOv8n model
model = YOLO('yolov8n.pt')

# Define a path to a CSV file with images, URLs, videos and directories
source = 'path/to/file.csv'

# Run inference on the source
results = model(source)  # list of Results objects

from ultralytics import YOLO

# Load a pretrained YOLOv8n model
model = YOLO('yolov8n.pt')

# Define path to video file
source = 'path/to/video.mp4'

# Run inference on the source
results = model(source, stream=True)  # generator of Results objects

from ultralytics import YOLO

# Load a pretrained YOLOv8n model
model = YOLO('yolov8n.pt')

# Define path to directory containing images and videos for inference
source = 'path/to/dir'

# Run inference on the source
results = model(source, stream=True)  # generator of Results objects

from ultralytics import YOLO

# Load a pretrained YOLOv8n model
model = YOLO('yolov8n.pt')

# Define a glob search for all JPG files in a directory
source = 'path/to/dir/*.jpg'

# OR define a recursive glob search for all JPG files including subdirectories
source = 'path/to/dir/**/*.jpg'

# Run inference on the source
results = model(source, stream=True)  # generator of Results objects

from ultralytics import YOLO

# Load a pretrained YOLOv8n model
model = YOLO('yolov8n.pt')

# Define source as YouTube video URL
source = 'https://youtu.be/LNwODJXcvt4'

# Run inference on the source
results = model(source, stream=True)  # generator of Results objects

from ultralytics import YOLO

# Load a pretrained YOLOv8n model
model = YOLO('yolov8n.pt')

# Single stream with batch-size 1 inference
source = 'rtsp://example.com/media.mp4'  # RTSP, RTMP, TCP or IP streaming address

# Multiple streams with batched inference (i.e. batch-size 8 for 8 streams)
source = 'path/to/list.streams'  # *.streams text file with one streaming address per row

# Run inference on the source
results = model(source, stream=True)  # generator of Results objects

Аргументы для умозаключений

model.predict() Принимает несколько аргументов, которые могут быть переданы во время создания, чтобы отменить значения по умолчанию:

from ultralytics import YOLO

# Load a pretrained YOLOv8n model
model = YOLO('yolov8n.pt')

# Run inference on 'bus.jpg' with arguments
model.predict('bus.jpg', save=True, imgsz=320, conf=0.5)

Аргументы для умозаключений:

Аргументы для визуализации:

Форматы изображений и видео

YOLOv8 поддерживает различные форматы изображений и видео, как указано в ultralytics/data/utils .py. Смотри таблицы ниже, где указаны допустимые суффиксы и примеры команд-предсказателей.

Изображения

В таблице ниже приведены допустимые форматы изображений Ultralytics.

Видео

В таблице ниже приведены действующие форматы видео Ultralytics.

Работа с результатами

Все Ultralytics predict() вызовы будут возвращать список Results предметы:

from ultralytics import YOLO

# Load a pretrained YOLOv8n model
model = YOLO('yolov8n.pt')

# Run inference on an image
results = model('bus.jpg')  # list of 1 Results object
results = model(['bus.jpg', 'zidane.jpg'])  # list of 2 Results objects

Results Объекты имеют следующие атрибуты:

Results У объектов есть следующие методы:

Более подробную информацию можно найти в Results документация по классам.

Коробки

Boxes Объект можно использовать для индексации, манипуляций и преобразования ограничительных рамок в различные форматы.

from ultralytics import YOLO

# Load a pretrained YOLOv8n model
model = YOLO('yolov8n.pt')

# Run inference on an image
results = model('bus.jpg')  # results list

# View results
for r in results:
    print(r.boxes)  # print the Boxes object containing the detection bounding boxes

Вот таблица для Boxes Методы и свойства класса, включая их название, тип и описание:

Более подробную информацию можно найти в Boxes документация по классам.

Маски

Masks Объект можно использовать для индексации, манипулирования и преобразования масок в сегменты.

from ultralytics import YOLO

# Load a pretrained YOLOv8n-seg Segment model
model = YOLO('yolov8n-seg.pt')

# Run inference on an image
results = model('bus.jpg')  # results list

# View results
for r in results:
    print(r.masks)  # print the Masks object containing the detected instance masks

Вот таблица для Masks Методы и свойства класса, включая их название, тип и описание:

Более подробную информацию можно найти в Masks документация по классам.

Ключевые моменты

Keypoints Объект можно использовать для индексации, манипулирования и нормализации координат.

from ultralytics import YOLO

# Load a pretrained YOLOv8n-pose Pose model
model = YOLO('yolov8n-pose.pt')

# Run inference on an image
results = model('bus.jpg')  # results list

# View results
for r in results:
    print(r.keypoints)  # print the Keypoints object containing the detected keypoints

Вот таблица для Keypoints Методы и свойства класса, включая их название, тип и описание:

Более подробную информацию можно найти в Keypoints документация по классам.

Probs

Probs объект можно использовать для индексации, получения top1 и top5 Индексы и баллы классификации.

from ultralytics import YOLO

# Load a pretrained YOLOv8n-cls Classify model
model = YOLO('yolov8n-cls.pt')

# Run inference on an image
results = model('bus.jpg')  # results list

# View results
for r in results:
    print(r.probs)  # print the Probs object containing the detected class probabilities

Вот таблица, в которой обобщены методы и свойства для Probs класс:

Более подробную информацию можно найти в Probs документация по классам.

OBB

OBB Объект можно использовать для индексации, манипулирования и преобразования ориентированных ограничительных блоков в различные форматы.

from ultralytics import YOLO

# Load a pretrained YOLOv8n model
model = YOLO('yolov8n-obb.pt')

# Run inference on an image
results = model('bus.jpg')  # results list

# View results
for r in results:
    print(r.obb)  # print the OBB object containing the oriented detection bounding boxes

Вот таблица для OBB Методы и свойства класса, включая их название, тип и описание:

Более подробную информацию можно найти в OBB документация по классам.

Построение результатов

The plot() метод в Results Объекты облегчают визуализацию предсказаний, накладывая обнаруженные объекты (такие как ограничительные рамки, маски, ключевые точки и вероятности) на исходное изображение. Этот метод возвращает аннотированное изображение в виде массива NumPy, что позволяет легко отобразить его или сохранить.

from PIL import Image
from ultralytics import YOLO

# Load a pretrained YOLOv8n model
model = YOLO('yolov8n.pt')

# Run inference on 'bus.jpg'
results = model(['bus.jpg', 'zidane.jpg'])  # results list

# Visualize the results
for i, r in enumerate(results):
    # Plot results image
    im_bgr = r.plot()  # BGR-order numpy array
    im_rgb = Image.fromarray(im_bgr[..., ::-1])  # RGB-order PIL image

    # Show results to screen (in supported environments)
    r.show()

    # Save results to disk
    r.save(filename=f'results{i}.jpg')

plot() Параметры метода

The plot() Метод поддерживает различные аргументы для настройки вывода:

Безопасное для потоков умозаключение

Обеспечение потокобезопасности во время вывода очень важно, когда ты параллельно запускаешь несколько моделей YOLO в разных потоках. Потокобезопасный вывод гарантирует, что предсказания каждого потока изолированы и не влияют друг на друга, что позволяет избежать условий гонки и обеспечить последовательные и надежные результаты.

При использовании моделей YOLO в многопоточном приложении важно инстанцировать отдельные объекты модели для каждого потока или использовать локальное хранение потоков, чтобы предотвратить конфликты:

from ultralytics import YOLO
from threading import Thread

def thread_safe_predict(image_path):
    """Performs thread-safe prediction on an image using a locally instantiated YOLO model."""
    local_model = YOLO("yolov8n.pt")
    results = local_model.predict(image_path)
    # Process results


# Starting threads that each have their own model instance
Thread(target=thread_safe_predict, args=("image1.jpg",)).start()
Thread(target=thread_safe_predict, args=("image2.jpg",)).start()

Чтобы получить подробное представление о потокобезопасном умозаключении с помощью моделей YOLO и пошаговые инструкции, обратись к нашему руководству YOLO Thread-Safe Inference Guide. В этом руководстве ты найдешь всю необходимую информацию, чтобы избежать распространенных подводных камней и обеспечить бесперебойную работу твоих многопоточных выводов.

Источник потокового вещания for-петля

Вот скрипт Python , использующий OpenCV (cv2) и YOLOv8 , чтобы запустить процесс инференции на видеокадрах. Этот скрипт предполагает, что ты уже установил необходимые пакеты (opencv-python и ultralytics).

import cv2
from ultralytics import YOLO

# Load the YOLOv8 model
model = YOLO('yolov8n.pt')

# Open the video file
video_path = "path/to/your/video/file.mp4"
cap = cv2.VideoCapture(video_path)

# Loop through the video frames
while cap.isOpened():
    # Read a frame from the video
    success, frame = cap.read()

    if success:
        # Run YOLOv8 inference on the frame
        results = model(frame)

        # Visualize the results on the frame
        annotated_frame = results[0].plot()

        # Display the annotated frame
        cv2.imshow("YOLOv8 Inference", annotated_frame)

        # Break the loop if 'q' is pressed
        if cv2.waitKey(1) & 0xFF == ord("q"):
            break
    else:
        # Break the loop if the end of the video is reached
        break

# Release the video capture object and close the display window
cap.release()
cv2.destroyAllWindows()

Этот скрипт будет запускать предсказания на каждом кадре видео, визуализировать результаты и выводить их в окно. Выйти из цикла можно, нажав 'q'.

Комментарии