Слежение за несколькими объектами с помощью Ultralytics YOLO

Отслеживание объектов в сфере видеоаналитики - важнейшая задача, которая позволяет не только определять местоположение и класс объектов в кадре, но и сохранять уникальный идентификатор каждого обнаруженного объекта по мере продвижения видео. Сферы применения этой технологии безграничны - от видеонаблюдения и безопасности до спортивной аналитики в реальном времени.

Почему стоит выбрать Ultralytics YOLO для отслеживания объектов?

Результаты работы трекеров Ultralytics соответствуют стандартному обнаружению объектов, но имеют дополнительную ценность - идентификаторы объектов. Это позволяет легко отслеживать объекты в видеопотоке и проводить последующую аналитику. Вот почему ты должен рассмотреть возможность использования Ultralytics YOLO для своих нужд по отслеживанию объектов:

• Эффективность: Обрабатывай видеопотоки в режиме реального времени без ущерба для точности.
• Гибкость: Поддерживает множество алгоритмов и конфигураций отслеживания.
• Простота использования: простой API Python и опции CLI для быстрой интеграции и развертывания.
• Настраиваемость: Простота использования пользовательских обученных моделей YOLO позволяет интегрировать их в приложения, ориентированные на конкретную область.

Смотри: Обнаружение и отслеживание объектов с помощью Ultralytics YOLOv8 .

Применение в реальном мире

Транспорт	Розничная торговля	Аквакультура
Слежение за автомобилем	Отслеживание людей	Отслеживание рыбы

Особенности с первого взгляда

Ultralytics YOLO Расширяет функции обнаружения объектов, чтобы обеспечить надежное и универсальное отслеживание объектов:

• Отслеживание в реальном времени: Беспрепятственно отслеживай объекты в видео с высокой частотой кадров.
• Поддержка нескольких трекеров: Выбирай из множества установленных алгоритмов отслеживания.
• Настраиваемые конфигурации трекера: Подстраивай алгоритм трекинга под конкретные требования, регулируя различные параметры.

Доступные трекеры

Ultralytics YOLO поддерживает следующие алгоритмы отслеживания. Их можно включить, передав соответствующий конфигурационный файл YAML, например tracker=tracker_type.yaml:

• BoT-SORT - Польза botsort.yaml чтобы включить этот трекер.
• ByteTrack - Польза bytetrack.yaml чтобы включить этот трекер.

Трекер по умолчанию - BoT-SORT.

Отслеживание

Чтобы запустить трекер на видеопотоке, используй обученную модель Detect, Segment или Pose, например YOLOv8n, YOLOv8n-seg и YOLOv8n-pose.

from ultralytics import YOLO

# Load an official or custom model
model = YOLO("yolov8n.pt")  # Load an official Detect model
model = YOLO("yolov8n-seg.pt")  # Load an official Segment model
model = YOLO("yolov8n-pose.pt")  # Load an official Pose model
model = YOLO("path/to/best.pt")  # Load a custom trained model

# Perform tracking with the model
results = model.track("https://youtu.be/LNwODJXcvt4", show=True)  # Tracking with default tracker
results = model.track("https://youtu.be/LNwODJXcvt4", show=True, tracker="bytetrack.yaml")  # with ByteTrack

# Perform tracking with various models using the command line interface
yolo track model=yolov8n.pt source="https://youtu.be/LNwODJXcvt4"  # Official Detect model
yolo track model=yolov8n-seg.pt source="https://youtu.be/LNwODJXcvt4"  # Official Segment model
yolo track model=yolov8n-pose.pt source="https://youtu.be/LNwODJXcvt4"  # Official Pose model
yolo track model=path/to/best.pt source="https://youtu.be/LNwODJXcvt4"  # Custom trained model

# Track using ByteTrack tracker
yolo track model=path/to/best.pt tracker="bytetrack.yaml"

Как видно из приведенного выше использования, отслеживание доступно для всех моделей Detect, Segment и Pose, запущенных на видео или потоковых источниках.

Конфигурация

Отслеживание аргументов

Конфигурация отслеживания имеет общие свойства с режимом Predict, такие как conf, iou, и show. О дальнейших конфигурациях читай в Предсказывай Страница модели.

from ultralytics import YOLO

# Configure the tracking parameters and run the tracker
model = YOLO("yolov8n.pt")
results = model.track(source="https://youtu.be/LNwODJXcvt4", conf=0.3, iou=0.5, show=True)

# Configure tracking parameters and run the tracker using the command line interface
yolo track model=yolov8n.pt source="https://youtu.be/LNwODJXcvt4" conf=0.3, iou=0.5 show

Выбор трекера

Ultralytics также позволяет использовать модифицированный файл конфигурации трекера. Для этого просто создай копию конфигурационного файла трекера (например, custom_tracker.yaml) от ultralytics/cfg/trackers и изменяй любые конфигурации (кроме tracker_type) в соответствии с твоими потребностями.

from ultralytics import YOLO

# Load the model and run the tracker with a custom configuration file
model = YOLO("yolov8n.pt")
results = model.track(source="https://youtu.be/LNwODJXcvt4", tracker="custom_tracker.yaml")

# Load the model and run the tracker with a custom configuration file using the command line interface
yolo track model=yolov8n.pt source="https://youtu.be/LNwODJXcvt4" tracker='custom_tracker.yaml'

Полный список аргументов для трекинга ты найдешь на странице ultralytics/cfg/trackers.

Python Примеры

Петля с постоянными треками

Вот скрипт Python , использующий OpenCV (cv2) и YOLOv8 для запуска отслеживания объектов на видеокадрах. Этот скрипт по-прежнему предполагает, что ты уже установил необходимые пакеты (opencv-python и ultralytics). На сайте persist=True Аргумент сообщает трекеру, что текущее изображение или кадр является следующим в последовательности и что в текущем изображении следует ожидать треки с предыдущего изображения.

import cv2

from ultralytics import YOLO

# Load the YOLOv8 model
model = YOLO("yolov8n.pt")

# Open the video file
video_path = "path/to/video.mp4"
cap = cv2.VideoCapture(video_path)

# Loop through the video frames
while cap.isOpened():
    # Read a frame from the video
    success, frame = cap.read()

    if success:
        # Run YOLOv8 tracking on the frame, persisting tracks between frames
        results = model.track(frame, persist=True)

        # Visualize the results on the frame
        annotated_frame = results[0].plot()

        # Display the annotated frame
        cv2.imshow("YOLOv8 Tracking", annotated_frame)

        # Break the loop if 'q' is pressed
        if cv2.waitKey(1) & 0xFF == ord("q"):
            break
    else:
        # Break the loop if the end of the video is reached
        break

# Release the video capture object and close the display window
cap.release()
cv2.destroyAllWindows()

Обратите внимание на изменение model(frame) на model.track(frame), который позволяет отслеживать объекты вместо простого обнаружения. Этот модифицированный скрипт будет запускать трекер на каждом кадре видео, визуализировать результаты и отображать их в окне. Выйти из цикла можно, нажав 'q'.

Построение треков во времени

Визуализация треков объектов на последовательных кадрах может дать ценные сведения о характере движения и поведении обнаруженных объектов на видео. С помощью Ultralytics YOLOv8 построение таких треков станет простым и эффективным процессом.

В следующем примере мы покажем, как использовать возможности модели YOLOv8 для построения графика движения обнаруженных объектов по нескольким кадрам видео. В этом сценарии нужно открыть видеофайл, прочитать его кадр за кадром и использовать модель YOLO для идентификации и отслеживания различных объектов. Сохраняя центральные точки обнаруженных границ и соединяя их, мы можем рисовать линии, которые представляют собой пути, пройденные отслеживаемыми объектами.

from collections import defaultdict

import cv2
import numpy as np

from ultralytics import YOLO

# Load the YOLOv8 model
model = YOLO("yolov8n.pt")

# Open the video file
video_path = "path/to/video.mp4"
cap = cv2.VideoCapture(video_path)

# Store the track history
track_history = defaultdict(lambda: [])

# Loop through the video frames
while cap.isOpened():
    # Read a frame from the video
    success, frame = cap.read()

    if success:
        # Run YOLOv8 tracking on the frame, persisting tracks between frames
        results = model.track(frame, persist=True)

        # Get the boxes and track IDs
        boxes = results[0].boxes.xywh.cpu()
        track_ids = results[0].boxes.id.int().cpu().tolist()

        # Visualize the results on the frame
        annotated_frame = results[0].plot()

        # Plot the tracks
        for box, track_id in zip(boxes, track_ids):
            x, y, w, h = box
            track = track_history[track_id]
            track.append((float(x), float(y)))  # x, y center point
            if len(track) > 30:  # retain 90 tracks for 90 frames
                track.pop(0)

            # Draw the tracking lines
            points = np.hstack(track).astype(np.int32).reshape((-1, 1, 2))
            cv2.polylines(annotated_frame, [points], isClosed=False, color=(230, 230, 230), thickness=10)

        # Display the annotated frame
        cv2.imshow("YOLOv8 Tracking", annotated_frame)

        # Break the loop if 'q' is pressed
        if cv2.waitKey(1) & 0xFF == ord("q"):
            break
    else:
        # Break the loop if the end of the video is reached
        break

# Release the video capture object and close the display window
cap.release()
cv2.destroyAllWindows()

Многопоточный трекинг

Многопоточный трекинг дает возможность запускать отслеживание объектов на нескольких видеопотоках одновременно. Это особенно полезно при работе с несколькими видеовходами, например, с нескольких камер наблюдения, когда одновременная обработка может значительно повысить эффективность и производительность.

В предоставленном скрипте Python мы используем Python's threading модуль для одновременного запуска нескольких экземпляров трекера. Каждый поток отвечает за запуск трекера на одном видеофайле, и все потоки работают одновременно в фоновом режиме.

Чтобы каждый поток получал правильные параметры (видеофайл, используемую модель и индекс файла), мы определяем функцию run_tracker_in_thread которая принимает эти параметры и содержит основной цикл отслеживания. Эта функция считывает видео кадр за кадром, запускает трекер и выводит результаты на экран.

В этом примере используются две разные модели: yolov8n.pt и yolov8n-seg.ptКаждый из них отслеживает объекты в разных видеофайлах. Видеофайлы указываются в video_file1 и video_file2.

The daemon=True параметр в threading.Thread означает, что эти потоки будут закрыты, как только завершится основная программа. Затем мы запускаем потоки с помощью start() и используй join() чтобы заставить главный поток ждать, пока оба потока трекера не завершат работу.

Наконец, после того как все потоки выполнили свою задачу, окна, отображающие результаты, закрываются с помощью cv2.destroyAllWindows().

import threading

import cv2

from ultralytics import YOLO

# Define model names and video sources
MODEL_NAMES = ["yolov8n.pt", "yolov8n-seg.pt"]
SOURCES = ["path/to/video.mp4", "0"]  # local video, 0 for webcam


def run_tracker_in_thread(model_name, filename):
    """
    Run YOLO tracker in its own thread for concurrent processing.

    Args:
        model_name (str): The YOLOv8 model object.
        filename (str): The path to the video file or the identifier for the webcam/external camera source.
    """
    model = YOLO(model_name)
    results = model.track(filename, save=True, stream=True)
    for r in results:
        pass


# Create and start tracker threads using a for loop
tracker_threads = []
for video_file, model_name in zip(SOURCES, MODEL_NAMES):
    thread = threading.Thread(target=run_tracker_in_thread, args=(model_name, video_file), daemon=True)
    tracker_threads.append(thread)
    thread.start()

# Wait for all tracker threads to finish
for thread in tracker_threads:
    thread.join()

# Clean up and close windows
cv2.destroyAllWindows()

Этот пример можно легко расширить для работы с большим количеством видеофайлов и моделей, создав больше потоков и применив ту же методику.

Вносите новые трекеры

Ты хорошо разбираешься в многообъектном трекинге и успешно реализовал или адаптировал алгоритм трекинга с помощью Ultralytics YOLO ? Мы приглашаем тебя внести свой вклад в наш раздел "Трекеры" в ultralytics/cfg/trackers! Твои реальные приложения и решения могут оказаться бесценными для пользователей, работающих над задачами трекинга.

Внося свой вклад в этот раздел, ты помогаешь расширить спектр решений для отслеживания, доступных в рамках Ultralytics YOLO , добавляя еще один уровень функциональности и полезности для сообщества.

Чтобы инициировать свой вклад, обратись к нашему руководству по контрибьютингу, где даны исчерпывающие инструкции по отправке Pull Request (PR) 🛠️. Нам не терпится увидеть, что ты привнесёшь в игру!

Вместе давайте расширим возможности отслеживания экосистемы Ultralytics YOLO 🙏!

ВОПРОСЫ И ОТВЕТЫ

Что такое Multi-Object Tracking и как Ultralytics YOLO поддерживает его?

Многообъектное отслеживание в видеоаналитике подразумевает как идентификацию объектов, так и сохранение уникального идентификатора для каждого обнаруженного объекта во всех видеокадрах. Ultralytics YOLO поддерживает это, предоставляя отслеживание в реальном времени вместе с идентификаторами объектов, что облегчает такие задачи, как наблюдение за безопасностью и спортивная аналитика. Система использует такие трекеры, как BoT-SORT и ByteTrack, которые можно настраивать через YAML-файлы.

Как настроить пользовательский трекер для Ultralytics YOLO ?

Ты можешь настроить пользовательский трекер, скопировав существующий файл конфигурации трекера (например, custom_tracker.yaml) из Ultralytics Каталог конфигурации трекера и изменяй параметры по мере необходимости, за исключением tracker_type. Используй этот файл в своей модели отслеживания следующим образом:

from ultralytics import YOLO

model = YOLO("yolov8n.pt")
results = model.track(source="https://youtu.be/LNwODJXcvt4", tracker="custom_tracker.yaml")

yolo track model=yolov8n.pt source="https://youtu.be/LNwODJXcvt4" tracker='custom_tracker.yaml'

Как запустить отслеживание объектов на нескольких видеопотоках одновременно?

Чтобы запустить отслеживание объектов на нескольких видеопотоках одновременно, ты можешь использовать Python's threading Модуль. Каждый поток будет обрабатывать отдельный видеопоток. Вот пример того, как это можно настроить:

import threading

import cv2

from ultralytics import YOLO

# Define model names and video sources
MODEL_NAMES = ["yolov8n.pt", "yolov8n-seg.pt"]
SOURCES = ["path/to/video.mp4", "0"]  # local video, 0 for webcam


def run_tracker_in_thread(model_name, filename):
    """
    Run YOLO tracker in its own thread for concurrent processing.

    Args:
        model_name (str): The YOLOv8 model object.
        filename (str): The path to the video file or the identifier for the webcam/external camera source.
    """
    model = YOLO(model_name)
    results = model.track(filename, save=True, stream=True)
    for r in results:
        pass


# Create and start tracker threads using a for loop
tracker_threads = []
for video_file, model_name in zip(SOURCES, MODEL_NAMES):
    thread = threading.Thread(target=run_tracker_in_thread, args=(model_name, video_file), daemon=True)
    tracker_threads.append(thread)
    thread.start()

# Wait for all tracker threads to finish
for thread in tracker_threads:
    thread.join()

# Clean up and close windows
cv2.destroyAllWindows()

Каковы реальные применения многообъектного слежения с помощью Ultralytics YOLO ?

Слежение за несколькими объектами с помощью Ultralytics YOLO имеет множество применений, включая:

• Транспорт: Слежение за транспортными средствами для управления движением и автономного вождения.
• Розничная торговля: Слежение за людьми для аналитики и безопасности в магазине.
• Аквакультура: Слежение за рыбами для мониторинга водной среды.

Эти приложения выигрывают благодаря способности Ultralytics YOLO обрабатывать видео с высокой частотой кадров в режиме реального времени.

Как визуализировать треки объектов на нескольких видеокадрах с помощью Ultralytics YOLO ?

Чтобы визуализировать треки объектов на нескольких кадрах видео, ты можешь использовать функции отслеживания модели YOLO вместе с OpenCV, чтобы нарисовать траектории движения обнаруженных объектов. Вот пример скрипта, который демонстрирует это:

from collections import defaultdict

import cv2
import numpy as np

from ultralytics import YOLO

model = YOLO("yolov8n.pt")
video_path = "path/to/video.mp4"
cap = cv2.VideoCapture(video_path)
track_history = defaultdict(lambda: [])

while cap.isOpened():
    success, frame = cap.read()
    if success:
        results = model.track(frame, persist=True)
        boxes = results[0].boxes.xywh.cpu()
        track_ids = results[0].boxes.id.int().cpu().tolist()
        annotated_frame = results[0].plot()
        for box, track_id in zip(boxes, track_ids):
            x, y, w, h = box
            track = track_history[track_id]
            track.append((float(x), float(y)))
            if len(track) > 30:
                track.pop(0)
            points = np.hstack(track).astype(np.int32).reshape((-1, 1, 2))
            cv2.polylines(annotated_frame, [points], isClosed=False, color=(230, 230, 230), thickness=10)
        cv2.imshow("YOLOv8 Tracking", annotated_frame)
        if cv2.waitKey(1) & 0xFF == ord("q"):
            break
    else:
        break
cap.release()
cv2.destroyAllWindows()

Этот скрипт построит линии слежения, показывающие траектории движения отслеживаемых объектов с течением времени.

📅 Created 10 months ago ✏️ Updated 2 days ago

Комментарии