Segmentação e rastreio de instâncias utilizando Ultralytics YOLO11 🚀
O que é a segmentação de instâncias?
Ultralytics YOLO11 A segmentação de instâncias envolve a identificação e o contorno de objectos individuais numa imagem, fornecendo uma compreensão detalhada da distribuição espacial. Ao contrário da segmentação semântica, rotula de forma única e delineia com precisão cada objeto, o que é crucial para tarefas como a deteção de objectos e a imagiologia médica.
Há dois tipos de rastreamento de segmentação de instância disponíveis no pacote Ultralytics :
-
Segmentação de instâncias com objectos de classe: A cada objeto de classe é atribuída uma cor única para uma separação visual clara.
-
Segmentação de instâncias com rastos de objectos: Cada rasto é representado por uma cor distinta, facilitando a identificação e o seguimento.
Ver: Segmentação de instâncias com seguimento de objectos utilizando Ultralytics YOLO11
Amostras
| Segmentação de instâncias | Segmentação de instâncias + Seguimento de objectos |
|---|---|
 |
 |
| Ultralytics Segmentação de instâncias 😍 | Ultralytics Segmentação de instâncias com seguimento de objectos 🔥 |
Segmentação e rastreio de instâncias
import cv2
from ultralytics import YOLO
from ultralytics.utils.plotting import Annotator, colors
model = YOLO("yolo11n-seg.pt") # segmentation model
names = model.model.names
cap = cv2.VideoCapture("path/to/video/file.mp4")
w, h, fps = (int(cap.get(x)) for x in (cv2.CAP_PROP_FRAME_WIDTH, cv2.CAP_PROP_FRAME_HEIGHT, cv2.CAP_PROP_FPS))
out = cv2.VideoWriter("instance-segmentation.avi", cv2.VideoWriter_fourcc(*"MJPG"), fps, (w, h))
while True:
ret, im0 = cap.read()
if not ret:
print("Video frame is empty or video processing has been successfully completed.")
break
results = model.predict(im0)
annotator = Annotator(im0, line_width=2)
if results[0].masks is not None:
clss = results[0].boxes.cls.cpu().tolist()
masks = results[0].masks.xy
for mask, cls in zip(masks, clss):
color = colors(int(cls), True)
txt_color = annotator.get_txt_color(color)
annotator.seg_bbox(mask=mask, mask_color=color, label=names[int(cls)], txt_color=txt_color)
out.write(im0)
cv2.imshow("instance-segmentation", im0)
if cv2.waitKey(1) & 0xFF == ord("q"):
break
out.release()
cap.release()
cv2.destroyAllWindows()
import cv2
from ultralytics import YOLO
from ultralytics.utils.plotting import Annotator, colors
model = YOLO("yolo11n-seg.pt") # segmentation model
cap = cv2.VideoCapture("path/to/video/file.mp4")
w, h, fps = (int(cap.get(x)) for x in (cv2.CAP_PROP_FRAME_WIDTH, cv2.CAP_PROP_FRAME_HEIGHT, cv2.CAP_PROP_FPS))
out = cv2.VideoWriter("instance-segmentation-object-tracking.avi", cv2.VideoWriter_fourcc(*"MJPG"), fps, (w, h))
while True:
ret, im0 = cap.read()
if not ret:
print("Video frame is empty or video processing has been successfully completed.")
break
annotator = Annotator(im0, line_width=2)
results = model.track(im0, persist=True)
if results[0].boxes.id is not None and results[0].masks is not None:
masks = results[0].masks.xy
track_ids = results[0].boxes.id.int().cpu().tolist()
for mask, track_id in zip(masks, track_ids):
color = colors(int(track_id), True)
txt_color = annotator.get_txt_color(color)
annotator.seg_bbox(mask=mask, mask_color=color, label=str(track_id), txt_color=txt_color)
out.write(im0)
cv2.imshow("instance-segmentation-object-tracking", im0)
if cv2.waitKey(1) & 0xFF == ord("q"):
break
out.release()
cap.release()
cv2.destroyAllWindows()
seg_bbox Argumentos
| Nome | Tipo | Predefinição | Descrição |
|---|---|---|---|
mask |
array |
None |
Coordenadas da máscara de segmentação |
mask_color |
RGB |
(255, 0, 255) |
Cor da máscara para cada caixa segmentada |
label |
str |
None |
Etiqueta para o objeto segmentado |
txt_color |
RGB |
None |
Cor da etiqueta para o objeto segmentado e seguido |
Nota
Para quaisquer questões, não hesite em colocar as suas perguntas na secção de questõesUltralytics ou na secção de discussão mencionada abaixo.
FAQ
Como é que efectuo a segmentação de instâncias utilizando Ultralytics YOLO11 ?
Para executar a segmentação de instância usando Ultralytics YOLO11 , inicialize o modelo YOLO com uma versão de segmentação de YOLO11 e processe quadros de vídeo através dele. Aqui está um exemplo de código simplificado:
Exemplo
import cv2
from ultralytics import YOLO
from ultralytics.utils.plotting import Annotator, colors
model = YOLO("yolo11n-seg.pt") # segmentation model
cap = cv2.VideoCapture("path/to/video/file.mp4")
w, h, fps = (int(cap.get(x)) for x in (cv2.CAP_PROP_FRAME_WIDTH, cv2.CAP_PROP_FRAME_HEIGHT, cv2.CAP_PROP_FPS))
out = cv2.VideoWriter("instance-segmentation.avi", cv2.VideoWriter_fourcc(*"MJPG"), fps, (w, h))
while True:
ret, im0 = cap.read()
if not ret:
break
results = model.predict(im0)
annotator = Annotator(im0, line_width=2)
if results[0].masks is not None:
clss = results[0].boxes.cls.cpu().tolist()
masks = results[0].masks.xy
for mask, cls in zip(masks, clss):
annotator.seg_bbox(mask=mask, mask_color=colors(int(cls), True), det_label=model.model.names[int(cls)])
out.write(im0)
cv2.imshow("instance-segmentation", im0)
if cv2.waitKey(1) & 0xFF == ord("q"):
break
out.release()
cap.release()
cv2.destroyAllWindows()
Saiba mais sobre a segmentação de instâncias no guiaUltralytics YOLO11 .
Qual é a diferença entre a segmentação de instâncias e o seguimento de objectos em Ultralytics YOLO11 ?
A segmentação de instâncias identifica e delineia objectos individuais numa imagem, atribuindo a cada objeto uma etiqueta e uma máscara únicas. O rastreio de objectos alarga este processo, atribuindo etiquetas consistentes aos objectos através de fotogramas de vídeo, facilitando o rastreio contínuo dos mesmos objectos ao longo do tempo. Saiba mais sobre as distinções na documentaçãoUltralytics YOLO11 .
Por que razão devo utilizar Ultralytics YOLO11 para segmentação e rastreio, por exemplo, em vez de outros modelos como Mask R-CNN ou Faster R-CNN?
Ultralytics YOLO11 oferece desempenho em tempo real, precisão superior e facilidade de utilização em comparação com outros modelos como o Mask R-CNN ou o Faster R-CNN. O YOLO11 proporciona uma integração perfeita com o Ultralytics HUB, permitindo aos utilizadores gerir modelos, conjuntos de dados e pipelines de formação de forma eficiente. Saiba mais sobre os benefícios do YOLO11 no blogueUltralytics .
Como posso implementar o rastreio de objectos utilizando Ultralytics YOLO11 ?
Para implementar o rastreio de objectos, utilize o model.track e garantir que o ID de cada objeto é atribuído de forma consistente em todos os quadros. Abaixo está um exemplo simples:
Exemplo
import cv2
from ultralytics import YOLO
from ultralytics.utils.plotting import Annotator, colors
model = YOLO("yolo11n-seg.pt") # segmentation model
cap = cv2.VideoCapture("path/to/video/file.mp4")
w, h, fps = (int(cap.get(x)) for x in (cv2.CAP_PROP_FRAME_WIDTH, cv2.CAP_PROP_FRAME_HEIGHT, cv2.CAP_PROP_FPS))
out = cv2.VideoWriter("instance-segmentation-object-tracking.avi", cv2.VideoWriter_fourcc(*"MJPG"), fps, (w, h))
while True:
ret, im0 = cap.read()
if not ret:
break
annotator = Annotator(im0, line_width=2)
results = model.track(im0, persist=True)
if results[0].boxes.id is not None and results[0].masks is not None:
masks = results[0].masks.xy
track_ids = results[0].boxes.id.int().cpu().tolist()
for mask, track_id in zip(masks, track_ids):
annotator.seg_bbox(mask=mask, mask_color=colors(track_id, True), track_label=str(track_id))
out.write(im0)
cv2.imshow("instance-segmentation-object-tracking", im0)
if cv2.waitKey(1) & 0xFF == ord("q"):
break
out.release()
cap.release()
cv2.destroyAllWindows()
Saiba mais na secção Segmentação e seguimento de instâncias.
Existem conjuntos de dados fornecidos por Ultralytics adequados para treinar modelos YOLO11 , por exemplo, para segmentação e rastreio?
Sim, Ultralytics oferece vários conjuntos de dados adequados para treinar modelos YOLO11 , incluindo conjuntos de dados de segmentação e rastreamento. Exemplos de conjuntos de dados, estruturas e instruções de utilização podem ser encontrados na documentaçãoUltralytics Datasets.
