Segmentaci贸n y seguimiento de instancias mediante Ultralytics YOLOv8 馃殌
驴Qu茅 es la segmentaci贸n de instancias?
Ultralytics YOLOv8 La segmentaci贸n de instancias consiste en identificar y delinear objetos individuales en una imagen, proporcionando una comprensi贸n detallada de la distribuci贸n espacial. A diferencia de la segmentaci贸n sem谩ntica, etiqueta de forma 煤nica y delinea con precisi贸n cada objeto, algo crucial para tareas como la detecci贸n de objetos y la obtenci贸n de im谩genes m茅dicas.
Hay dos tipos de seguimiento de segmentaci贸n de instancias disponibles en el paquete Ultralytics :
-
Segmentaci贸n de instancias con objetos de clase: A cada objeto de clase se le asigna un color 煤nico para una separaci贸n visual clara.
-
Segmentaci贸n de instancias con rastros de objetos: Cada pista est谩 representada por un color distinto, lo que facilita su identificaci贸n y seguimiento.
Observa: Segmentaci贸n de instancias con seguimiento de objetos mediante Ultralytics YOLOv8
Muestras
| Segmentaci贸n de instancias | Segmentaci贸n de instancias + Seguimiento de objetos |
|---|---|
| Ultralytics Segmentaci贸n de instancias 馃槏 | Ultralytics Segmentaci贸n de instancias con seguimiento de objetos 馃敟 |
Segmentaci贸n y seguimiento de instancias
import cv2
from ultralytics import YOLO
from ultralytics.utils.plotting import Annotator, colors
model = YOLO("yolov8n-seg.pt") # segmentation model
names = model.model.names
cap = cv2.VideoCapture("path/to/video/file.mp4")
w, h, fps = (int(cap.get(x)) for x in (cv2.CAP_PROP_FRAME_WIDTH, cv2.CAP_PROP_FRAME_HEIGHT, cv2.CAP_PROP_FPS))
out = cv2.VideoWriter("instance-segmentation.avi", cv2.VideoWriter_fourcc(*"MJPG"), fps, (w, h))
while True:
ret, im0 = cap.read()
if not ret:
print("Video frame is empty or video processing has been successfully completed.")
break
results = model.predict(im0)
annotator = Annotator(im0, line_width=2)
if results[0].masks is not None:
clss = results[0].boxes.cls.cpu().tolist()
masks = results[0].masks.xy
for mask, cls in zip(masks, clss):
color = colors(int(cls), True)
txt_color = annotator.get_txt_color(color)
annotator.seg_bbox(mask=mask, mask_color=color, label=names[int(cls)], txt_color=txt_color)
out.write(im0)
cv2.imshow("instance-segmentation", im0)
if cv2.waitKey(1) & 0xFF == ord("q"):
break
out.release()
cap.release()
cv2.destroyAllWindows()
from collections import defaultdict
import cv2
from ultralytics import YOLO
from ultralytics.utils.plotting import Annotator, colors
track_history = defaultdict(lambda: [])
model = YOLO("yolov8n-seg.pt") # segmentation model
cap = cv2.VideoCapture("path/to/video/file.mp4")
w, h, fps = (int(cap.get(x)) for x in (cv2.CAP_PROP_FRAME_WIDTH, cv2.CAP_PROP_FRAME_HEIGHT, cv2.CAP_PROP_FPS))
out = cv2.VideoWriter("instance-segmentation-object-tracking.avi", cv2.VideoWriter_fourcc(*"MJPG"), fps, (w, h))
while True:
ret, im0 = cap.read()
if not ret:
print("Video frame is empty or video processing has been successfully completed.")
break
annotator = Annotator(im0, line_width=2)
results = model.track(im0, persist=True)
if results[0].boxes.id is not None and results[0].masks is not None:
masks = results[0].masks.xy
track_ids = results[0].boxes.id.int().cpu().tolist()
for mask, track_id in zip(masks, track_ids):
color = colors(int(track_id), True)
txt_color = annotator.get_txt_color(color)
annotator.seg_bbox(mask=mask, mask_color=color, label=str(track_id), txt_color=txt_color)
out.write(im0)
cv2.imshow("instance-segmentation-object-tracking", im0)
if cv2.waitKey(1) & 0xFF == ord("q"):
break
out.release()
cap.release()
cv2.destroyAllWindows()
seg_bbox Argumentos
| Nombre | Tipo | Por defecto | Descripci贸n |
|---|---|---|---|
mask |
array |
None |
Coordenadas de la m谩scara de segmentaci贸n |
mask_color |
RGB |
(255, 0, 255) |
Color de m谩scara para cada casilla segmentada |
label |
str |
None |
Etiqueta del objeto segmentado |
txt_color |
RGB |
None |
Color de la etiqueta para el objeto segmentado y rastreado |
Nota
Para cualquier consulta, no dudes en publicar tus preguntas en la Secci贸n de Cuestiones deUltralytics o en la secci贸n de debate mencionada m谩s abajo.
PREGUNTAS FRECUENTES
驴C贸mo realizo la segmentaci贸n de instancias utilizando Ultralytics YOLOv8 ?
Para realizar la segmentaci贸n de instancias utilizando Ultralytics YOLOv8 , inicializa el modelo YOLO con una versi贸n de segmentaci贸n de YOLOv8 y procesa los fotogramas de v铆deo a trav茅s de 茅l. He aqu铆 un ejemplo de c贸digo simplificado:
Ejemplo
import cv2
from ultralytics import YOLO
from ultralytics.utils.plotting import Annotator, colors
model = YOLO("yolov8n-seg.pt") # segmentation model
cap = cv2.VideoCapture("path/to/video/file.mp4")
w, h, fps = (int(cap.get(x)) for x in (cv2.CAP_PROP_FRAME_WIDTH, cv2.CAP_PROP_FRAME_HEIGHT, cv2.CAP_PROP_FPS))
out = cv2.VideoWriter("instance-segmentation.avi", cv2.VideoWriter_fourcc(*"MJPG"), fps, (w, h))
while True:
ret, im0 = cap.read()
if not ret:
break
results = model.predict(im0)
annotator = Annotator(im0, line_width=2)
if results[0].masks is not None:
clss = results[0].boxes.cls.cpu().tolist()
masks = results[0].masks.xy
for mask, cls in zip(masks, clss):
annotator.seg_bbox(mask=mask, mask_color=colors(int(cls), True), det_label=model.model.names[int(cls)])
out.write(im0)
cv2.imshow("instance-segmentation", im0)
if cv2.waitKey(1) & 0xFF == ord("q"):
break
out.release()
cap.release()
cv2.destroyAllWindows()
M谩s informaci贸n sobre la segmentaci贸n de instancias en la gu铆aUltralytics YOLOv8 .
驴Cu谩l es la diferencia entre la segmentaci贸n de instancias y el seguimiento de objetos en Ultralytics YOLOv8 ?
La segmentaci贸n de instancias identifica y perfila objetos individuales dentro de una imagen, dando a cada objeto una etiqueta y una m谩scara 煤nicas. El seguimiento de objetos ampl铆a esto asignando etiquetas coherentes a los objetos a trav茅s de los fotogramas de v铆deo, facilitando el seguimiento continuo de los mismos objetos a lo largo del tiempo. M谩s informaci贸n sobre las distinciones en la documentaci贸n deUltralytics YOLOv8 .
驴Por qu茅 deber铆a utilizar Ultralytics YOLOv8 para la segmentaci贸n y el seguimiento, por ejemplo, en lugar de otros modelos como Mask R-CNN o Faster R-CNN?
Ultralytics YOLOv8 ofrece rendimiento en tiempo real, precisi贸n superior y facilidad de uso en comparaci贸n con otros modelos como Mask R-CNN o Faster R-CNN. YOLOv8 proporciona una integraci贸n perfecta con Ultralytics HUB, lo que permite a los usuarios gestionar modelos, conjuntos de datos y pipelines de entrenamiento de forma eficiente. Descubre m谩s sobre las ventajas de YOLOv8 en el blogUltralytics .
驴C贸mo puedo implementar el seguimiento de objetos utilizando Ultralytics YOLOv8 ?
Para aplicar el seguimiento de objetos, utiliza la funci贸n model.track y aseg煤rate de que el ID de cada objeto se asigna de forma coherente en todos los fotogramas. A continuaci贸n se muestra un ejemplo sencillo:
Ejemplo
from collections import defaultdict
import cv2
from ultralytics import YOLO
from ultralytics.utils.plotting import Annotator, colors
track_history = defaultdict(lambda: [])
model = YOLO("yolov8n-seg.pt") # segmentation model
cap = cv2.VideoCapture("path/to/video/file.mp4")
w, h, fps = (int(cap.get(x)) for x in (cv2.CAP_PROP_FRAME_WIDTH, cv2.CAP_PROP_FRAME_HEIGHT, cv2.CAP_PROP_FPS))
out = cv2.VideoWriter("instance-segmentation-object-tracking.avi", cv2.VideoWriter_fourcc(*"MJPG"), fps, (w, h))
while True:
ret, im0 = cap.read()
if not ret:
break
annotator = Annotator(im0, line_width=2)
results = model.track(im0, persist=True)
if results[0].boxes.id is not None and results[0].masks is not None:
masks = results[0].masks.xy
track_ids = results[0].boxes.id.int().cpu().tolist()
for mask, track_id in zip(masks, track_ids):
annotator.seg_bbox(mask=mask, mask_color=colors(track_id, True), track_label=str(track_id))
out.write(im0)
cv2.imshow("instance-segmentation-object-tracking", im0)
if cv2.waitKey(1) & 0xFF == ord("q"):
break
out.release()
cap.release()
cv2.destroyAllWindows()
M谩s informaci贸n en la secci贸n Segmentaci贸n y seguimiento de instancias.
驴Existen conjuntos de datos proporcionados por Ultralytics adecuados para entrenar modelos YOLOv8 , por ejemplo de segmentaci贸n y seguimiento?
S铆, Ultralytics ofrece varios conjuntos de datos adecuados para entrenar modelos YOLOv8 , incluidos conjuntos de datos de segmentaci贸n y seguimiento. Puedes encontrar ejemplos de conjuntos de datos, estructuras e instrucciones de uso en la documentaci贸n deUltralytics Conjuntos de datos.
Creado 2023-12-18, Actualizado 2024-07-14
Autores: RizwanMunawar (2), glenn-jocher (10), IvorZhu331 (1)