VisionEye View Object Mapping с помощью Ultralytics YOLOv8 🚀.

Что такое объектное отображение VisionEye?

Ultralytics YOLOv8 VisionEye позволяет компьютерам идентифицировать и точно определять объекты, имитируя точность наблюдения человеческого глаза. Эта функциональность позволяет компьютерам различать и фокусироваться на определенных объектах, подобно тому, как человеческий глаз замечает детали с определенной точки зрения.

Образцы

Видение глаз	VisionEye View с функцией отслеживания объектов	VisionEye View с расчетом расстояния

VisionEye View Object Mapping с помощью Ultralytics YOLOv8	VisionEye View Object Mapping с отслеживанием объектов с помощью Ultralytics YOLOv8	VisionEye View с расчетом расстояния с помощью Ultralytics YOLOv8

Сопоставление объектов VisionEye с помощью YOLOv8

Сопоставление объектов VisionEyeКартирование объектов VisionEye с отслеживанием объектовVisionEye с расчетом расстояния

import cv2

from ultralytics import YOLO
from ultralytics.utils.plotting import Annotator, colors

model = YOLO("yolov8n.pt")
names = model.model.names
cap = cv2.VideoCapture("path/to/video/file.mp4")
w, h, fps = (int(cap.get(x)) for x in (cv2.CAP_PROP_FRAME_WIDTH, cv2.CAP_PROP_FRAME_HEIGHT, cv2.CAP_PROP_FPS))

out = cv2.VideoWriter("visioneye-pinpoint.avi", cv2.VideoWriter_fourcc(*"MJPG"), fps, (w, h))

center_point = (-10, h)

while True:
    ret, im0 = cap.read()
    if not ret:
        print("Video frame is empty or video processing has been successfully completed.")
        break

    results = model.predict(im0)
    boxes = results[0].boxes.xyxy.cpu()
    clss = results[0].boxes.cls.cpu().tolist()

    annotator = Annotator(im0, line_width=2)

    for box, cls in zip(boxes, clss):
        annotator.box_label(box, label=names[int(cls)], color=colors(int(cls)))
        annotator.visioneye(box, center_point)

    out.write(im0)
    cv2.imshow("visioneye-pinpoint", im0)

    if cv2.waitKey(1) & 0xFF == ord("q"):
        break

out.release()
cap.release()
cv2.destroyAllWindows()

import cv2

from ultralytics import YOLO
from ultralytics.utils.plotting import Annotator, colors

model = YOLO("yolov8n.pt")
cap = cv2.VideoCapture("path/to/video/file.mp4")
w, h, fps = (int(cap.get(x)) for x in (cv2.CAP_PROP_FRAME_WIDTH, cv2.CAP_PROP_FRAME_HEIGHT, cv2.CAP_PROP_FPS))

out = cv2.VideoWriter("visioneye-pinpoint.avi", cv2.VideoWriter_fourcc(*"MJPG"), fps, (w, h))

center_point = (-10, h)

while True:
    ret, im0 = cap.read()
    if not ret:
        print("Video frame is empty or video processing has been successfully completed.")
        break

    annotator = Annotator(im0, line_width=2)

    results = model.track(im0, persist=True)
    boxes = results[0].boxes.xyxy.cpu()

    if results[0].boxes.id is not None:
        track_ids = results[0].boxes.id.int().cpu().tolist()

        for box, track_id in zip(boxes, track_ids):
            annotator.box_label(box, label=str(track_id), color=colors(int(track_id)))
            annotator.visioneye(box, center_point)

    out.write(im0)
    cv2.imshow("visioneye-pinpoint", im0)

    if cv2.waitKey(1) & 0xFF == ord("q"):
        break

out.release()
cap.release()
cv2.destroyAllWindows()

import math

import cv2

from ultralytics import YOLO
from ultralytics.utils.plotting import Annotator

model = YOLO("yolov8s.pt")
cap = cv2.VideoCapture("Path/to/video/file.mp4")

w, h, fps = (int(cap.get(x)) for x in (cv2.CAP_PROP_FRAME_WIDTH, cv2.CAP_PROP_FRAME_HEIGHT, cv2.CAP_PROP_FPS))

out = cv2.VideoWriter("visioneye-distance-calculation.avi", cv2.VideoWriter_fourcc(*"MJPG"), fps, (w, h))

center_point = (0, h)
pixel_per_meter = 10

txt_color, txt_background, bbox_clr = ((0, 0, 0), (255, 255, 255), (255, 0, 255))

while True:
    ret, im0 = cap.read()
    if not ret:
        print("Video frame is empty or video processing has been successfully completed.")
        break

    annotator = Annotator(im0, line_width=2)

    results = model.track(im0, persist=True)
    boxes = results[0].boxes.xyxy.cpu()

    if results[0].boxes.id is not None:
        track_ids = results[0].boxes.id.int().cpu().tolist()

        for box, track_id in zip(boxes, track_ids):
            annotator.box_label(box, label=str(track_id), color=bbox_clr)
            annotator.visioneye(box, center_point)

            x1, y1 = int((box[0] + box[2]) // 2), int((box[1] + box[3]) // 2)  # Bounding box centroid

            distance = (math.sqrt((x1 - center_point[0]) ** 2 + (y1 - center_point[1]) ** 2)) / pixel_per_meter

            text_size, _ = cv2.getTextSize(f"Distance: {distance:.2f} m", cv2.FONT_HERSHEY_SIMPLEX, 1.2, 3)
            cv2.rectangle(im0, (x1, y1 - text_size[1] - 10), (x1 + text_size[0] + 10, y1), txt_background, -1)
            cv2.putText(im0, f"Distance: {distance:.2f} m", (x1, y1 - 5), cv2.FONT_HERSHEY_SIMPLEX, 1.2, txt_color, 3)

    out.write(im0)
    cv2.imshow("visioneye-distance-calculation", im0)

    if cv2.waitKey(1) & 0xFF == ord("q"):
        break

out.release()
cap.release()
cv2.destroyAllWindows()

`visioneye` Аргументы

Имя	Тип	По умолчанию	Описание
`color`	`tuple`	`(235, 219, 11)`	Цвет линии и центроида объекта
`pin_color`	`tuple`	`(255, 0, 255)`	VisionEye pinpoint color

Примечание

По всем вопросам не стесняйся писать в разделе вопросовUltralytics или в разделе обсуждений, который указан ниже.

ВОПРОСЫ И ОТВЕТЫ

Как начать использовать VisionEye Object Mapping с Ultralytics YOLOv8 ?

Чтобы начать использовать VisionEye Object Mapping с Ultralytics YOLOv8 , сначала тебе нужно установить пакет Ultralytics YOLO через pip. Затем ты можешь использовать код примера, приведенный в документации, чтобы настроить обнаружение объектов с помощью VisionEye. Вот простой пример, который поможет тебе начать:

import cv2

from ultralytics import YOLO

model = YOLO("yolov8n.pt")
cap = cv2.VideoCapture("path/to/video/file.mp4")

while True:
    ret, frame = cap.read()
    if not ret:
        break

    results = model.predict(frame)
    for result in results:
        # Perform custom logic with result
        pass

    cv2.imshow("visioneye", frame)
    if cv2.waitKey(1) & 0xFF == ord("q"):
        break

cap.release()
cv2.destroyAllWindows()

В чем заключаются ключевые особенности возможности VisionEye по отслеживанию объектов с помощью Ultralytics YOLOv8 ?

Отслеживание объектов VisionEye с помощью Ultralytics YOLOv8 позволяет пользователям следить за перемещением объектов в кадре видео. Ключевые особенности включают в себя:

Отслеживание объектов в реальном времени: Следи за объектами по мере их перемещения.
Идентификация объектов: Используй мощные алгоритмы обнаружения YOLOv8.
Вычисление расстояний: Вычисляет расстояния между объектами и указанными точками.
Аннотация и визуализация: Предоставляет визуальные маркеры для отслеживаемых объектов.

Вот краткий фрагмент кода, демонстрирующий отслеживание с помощью VisionEye:

import cv2

from ultralytics import YOLO

model = YOLO("yolov8n.pt")
cap = cv2.VideoCapture("path/to/video/file.mp4")

while True:
    ret, frame = cap.read()
    if not ret:
        break

    results = model.track(frame, persist=True)
    for result in results:
        # Annotate and visualize tracking
        pass

    cv2.imshow("visioneye-tracking", frame)
    if cv2.waitKey(1) & 0xFF == ord("q"):
        break

cap.release()
cv2.destroyAllWindows()

Чтобы получить исчерпывающее руководство, посетите раздел VisionEye Object Mapping with Object Tracking.

Как вычислять расстояния с помощью модели VisionEye YOLOv8 ?

Расчет расстояния с помощью VisionEye и Ultralytics YOLOv8 предполагает определение расстояния обнаруженных объектов от заданной точки в кадре. Это расширяет возможности пространственного анализа, что полезно в таких приложениях, как автономное вождение и наблюдение.

Вот упрощенный пример:

import math

import cv2

from ultralytics import YOLO

model = YOLO("yolov8s.pt")
cap = cv2.VideoCapture("path/to/video/file.mp4")
center_point = (0, 480)  # Example center point
pixel_per_meter = 10

while True:
    ret, frame = cap.read()
    if not ret:
        break

    results = model.track(frame, persist=True)
    for result in results:
        # Calculate distance logic
        distances = [
            (math.sqrt((box[0] - center_point[0]) ** 2 + (box[1] - center_point[1]) ** 2)) / pixel_per_meter
            for box in results
        ]

    cv2.imshow("visioneye-distance", frame)
    if cv2.waitKey(1) & 0xFF == ord("q"):
        break

cap.release()
cv2.destroyAllWindows()

Подробные инструкции смотри в разделе " VisionEye с расчетом расстояния".

Почему мне стоит использовать Ultralytics YOLOv8 для отображения и отслеживания объектов?

Ultralytics YOLOv8 славится своей скоростью, точностью и простотой интеграции, что делает его лучшим выбором для картографирования и отслеживания объектов. К ключевым преимуществам относятся:

Современная производительность: Обеспечивает высокую точность обнаружения объектов в реальном времени.
Гибкость: Поддерживает различные задачи, такие как обнаружение, отслеживание и расчет расстояния.
Сообщество и поддержка: Обширная документация и активное сообщество GitHub для устранения неполадок и улучшений.
Простота использования: интуитивно понятный API упрощает сложные задачи, позволяя быстро развертывать и итерации.

Подробнее о применении и преимуществах читай в документацииUltralytics YOLOv8 .

Как интегрировать VisionEye с другими инструментами машинного обучения, например Comet или ClearML?

Ultralytics YOLOv8 может легко интегрироваться с различными инструментами машинного обучения, такими как Comet и ClearML, улучшая отслеживание экспериментов, совместную работу и воспроизводимость. Чтобы начать работу, следуй подробным руководствам о том, как использовать YOLOv5 с Comet и интегрировать YOLOv8 с ClearML.

Для дальнейшего изучения и примеров интеграции посмотри наше руководство по интеграцииUltralytics .

Создано 2023-12-18, Обновлено 2024-07-05
Авторы: glenn-jocher (13), IvorZhu331 (1), RizwanMunawar (1)