Salta para o conteúdo

Segmentação e rastreio de instâncias utilizando Ultralytics YOLOv8 🚀

O que é a segmentação de instâncias?

Ultralytics YOLOv8 A segmentação de instâncias envolve a identificação e o contorno de objectos individuais numa imagem, fornecendo uma compreensão detalhada da distribuição espacial. Ao contrário da segmentação semântica, rotula de forma única e delineia com precisão cada objeto, o que é crucial para tarefas como a deteção de objectos e a imagiologia médica.

Há dois tipos de rastreamento de segmentação de instância disponíveis no pacote Ultralytics :

  • Segmentação de instâncias com objectos de classe: A cada objeto de classe é atribuída uma cor única para uma separação visual clara.

  • Segmentação de instâncias com rastos de objectos: Cada rasto é representado por uma cor distinta, facilitando a identificação e o seguimento.



Observa: Segmentação de instâncias com rastreio de objectos utilizando Ultralytics YOLOv8

Amostras

Segmentação de instâncias Segmentação de instâncias + Seguimento de objectos
Ultralytics Segmentação de instâncias Ultralytics Segmentação de instâncias com seguimento de objectos
Ultralytics Segmentação de instâncias 😍 Ultralytics Segmentação de instâncias com seguimento de objectos 🔥

Segmentação e acompanhamento de instâncias

import cv2

from ultralytics import YOLO
from ultralytics.utils.plotting import Annotator, colors

model = YOLO("yolov8n-seg.pt")  # segmentation model
names = model.model.names
cap = cv2.VideoCapture("path/to/video/file.mp4")
w, h, fps = (int(cap.get(x)) for x in (cv2.CAP_PROP_FRAME_WIDTH, cv2.CAP_PROP_FRAME_HEIGHT, cv2.CAP_PROP_FPS))

out = cv2.VideoWriter("instance-segmentation.avi", cv2.VideoWriter_fourcc(*"MJPG"), fps, (w, h))

while True:
    ret, im0 = cap.read()
    if not ret:
        print("Video frame is empty or video processing has been successfully completed.")
        break

    results = model.predict(im0)
    annotator = Annotator(im0, line_width=2)

    if results[0].masks is not None:
        clss = results[0].boxes.cls.cpu().tolist()
        masks = results[0].masks.xy
        for mask, cls in zip(masks, clss):
            color = colors(int(cls), True)
            txt_color = annotator.get_txt_color(color)
            annotator.seg_bbox(mask=mask, mask_color=color, label=names[int(cls)], txt_color=txt_color)

    out.write(im0)
    cv2.imshow("instance-segmentation", im0)

    if cv2.waitKey(1) & 0xFF == ord("q"):
        break

out.release()
cap.release()
cv2.destroyAllWindows()

from collections import defaultdict

import cv2

from ultralytics import YOLO
from ultralytics.utils.plotting import Annotator, colors

track_history = defaultdict(lambda: [])

model = YOLO("yolov8n-seg.pt")  # segmentation model
cap = cv2.VideoCapture("path/to/video/file.mp4")
w, h, fps = (int(cap.get(x)) for x in (cv2.CAP_PROP_FRAME_WIDTH, cv2.CAP_PROP_FRAME_HEIGHT, cv2.CAP_PROP_FPS))

out = cv2.VideoWriter("instance-segmentation-object-tracking.avi", cv2.VideoWriter_fourcc(*"MJPG"), fps, (w, h))

while True:
    ret, im0 = cap.read()
    if not ret:
        print("Video frame is empty or video processing has been successfully completed.")
        break

    annotator = Annotator(im0, line_width=2)

    results = model.track(im0, persist=True)

    if results[0].boxes.id is not None and results[0].masks is not None:
        masks = results[0].masks.xy
        track_ids = results[0].boxes.id.int().cpu().tolist()

        for mask, track_id in zip(masks, track_ids):
            color = colors(int(track_id), True)
            txt_color = annotator.get_txt_color(color)
            annotator.seg_bbox(mask=mask, mask_color=color, label=str(track_id), txt_color=txt_color)

    out.write(im0)
    cv2.imshow("instance-segmentation-object-tracking", im0)

    if cv2.waitKey(1) & 0xFF == ord("q"):
        break

out.release()
cap.release()
cv2.destroyAllWindows()

seg_bbox Argumentos

Nome Tipo Predefinição Descrição
mask array None Coordenadas da máscara de segmentação
mask_color RGB (255, 0, 255) Cor da máscara para cada caixa segmentada
label str None Etiqueta para o objeto segmentado
txt_color RGB None Cor da etiqueta para o objeto segmentado e seguido

Nota

Se tiveres dúvidas, não hesites em colocar as tuas questões na secçãoUltralytics ou na secção de discussão mencionada abaixo.

FAQ

Como é que efectuo a segmentação de instâncias utilizando Ultralytics YOLOv8 ?

Para executar a segmentação de instância usando Ultralytics YOLOv8 , inicializa o modelo YOLO com uma versão de segmentação de YOLOv8 e processa quadros de vídeo através dele. Aqui está um exemplo de código simplificado:

Exemplo

import cv2

from ultralytics import YOLO
from ultralytics.utils.plotting import Annotator, colors

model = YOLO("yolov8n-seg.pt")  # segmentation model
cap = cv2.VideoCapture("path/to/video/file.mp4")
w, h, fps = (int(cap.get(x)) for x in (cv2.CAP_PROP_FRAME_WIDTH, cv2.CAP_PROP_FRAME_HEIGHT, cv2.CAP_PROP_FPS))

out = cv2.VideoWriter("instance-segmentation.avi", cv2.VideoWriter_fourcc(*"MJPG"), fps, (w, h))

while True:
    ret, im0 = cap.read()
    if not ret:
        break

    results = model.predict(im0)
    annotator = Annotator(im0, line_width=2)

    if results[0].masks is not None:
        clss = results[0].boxes.cls.cpu().tolist()
        masks = results[0].masks.xy
        for mask, cls in zip(masks, clss):
            annotator.seg_bbox(mask=mask, mask_color=colors(int(cls), True), det_label=model.model.names[int(cls)])

    out.write(im0)
    cv2.imshow("instance-segmentation", im0)
    if cv2.waitKey(1) & 0xFF == ord("q"):
        break

out.release()
cap.release()
cv2.destroyAllWindows()

Sabe mais sobre a segmentação de instâncias no guiaUltralytics YOLOv8 .

Qual é a diferença entre a segmentação de instâncias e o seguimento de objectos em Ultralytics YOLOv8 ?

A segmentação de instâncias identifica e delineia objectos individuais numa imagem, atribuindo a cada objeto uma etiqueta e uma máscara únicas. O rastreamento de objetos estende isso atribuindo rótulos consistentes a objetos em quadros de vídeo, facilitando o rastreamento contínuo dos mesmos objetos ao longo do tempo. Sabe mais sobre as distinções na documentaçãoUltralytics YOLOv8 .

Por que razão devo utilizar Ultralytics YOLOv8 para segmentação e rastreio, por exemplo, em vez de outros modelos como Mask R-CNN ou Faster R-CNN?

Ultralytics YOLOv8 oferece desempenho em tempo real, precisão superior e facilidade de utilização em comparação com outros modelos como o Mask R-CNN ou o Faster R-CNN. YOLOv8 proporciona uma integração perfeita com o Ultralytics HUB, permitindo aos utilizadores gerir modelos, conjuntos de dados e pipelines de formação de forma eficiente. Descobre mais sobre as vantagens de YOLOv8 no blogueUltralytics .

Como posso implementar o rastreio de objectos utilizando Ultralytics YOLOv8 ?

Para implementar o rastreio de objectos, utiliza a função model.track e assegura que o ID de cada objeto é atribuído de forma consistente em todos os quadros. Segue-se um exemplo simples:

Exemplo

from collections import defaultdict

import cv2

from ultralytics import YOLO
from ultralytics.utils.plotting import Annotator, colors

track_history = defaultdict(lambda: [])

model = YOLO("yolov8n-seg.pt")  # segmentation model
cap = cv2.VideoCapture("path/to/video/file.mp4")
w, h, fps = (int(cap.get(x)) for x in (cv2.CAP_PROP_FRAME_WIDTH, cv2.CAP_PROP_FRAME_HEIGHT, cv2.CAP_PROP_FPS))

out = cv2.VideoWriter("instance-segmentation-object-tracking.avi", cv2.VideoWriter_fourcc(*"MJPG"), fps, (w, h))

while True:
    ret, im0 = cap.read()
    if not ret:
        break

    annotator = Annotator(im0, line_width=2)
    results = model.track(im0, persist=True)

    if results[0].boxes.id is not None and results[0].masks is not None:
        masks = results[0].masks.xy
        track_ids = results[0].boxes.id.int().cpu().tolist()

        for mask, track_id in zip(masks, track_ids):
            annotator.seg_bbox(mask=mask, mask_color=colors(track_id, True), track_label=str(track_id))

    out.write(im0)
    cv2.imshow("instance-segmentation-object-tracking", im0)
    if cv2.waitKey(1) & 0xFF == ord("q"):
        break

out.release()
cap.release()
cv2.destroyAllWindows()

Encontra mais informações na secção Segmentação e seguimento de instâncias.

Existem conjuntos de dados fornecidos por Ultralytics adequados para treinar modelos YOLOv8 , por exemplo, para segmentação e localização?

Sim, Ultralytics oferece vários conjuntos de dados adequados para treinar modelos YOLOv8 , incluindo conjuntos de dados de segmentação e rastreamento. Exemplos de conjuntos de dados, estruturas e instruções de utilização podem ser encontrados na documentaçãoUltralytics Datasets.



Criado em 2023-12-18, Atualizado em 2024-07-14
Autores: RizwanMunawar (2), glenn-jocher (10), IvorZhu331 (1)

Comentários