Modelo YOLO-World#

El modelo YOLO-World presenta un enfoque avanzado y en tiempo real basado en Ultralytics YOLOv8 para tareas de detección de vocabulario abierto. Esta innovación permite detectar cualquier objeto de una imagen a partir de textos descriptivos. Al reducir considerablemente las necesidades computacionales y mantener un rendimiento competitivo, YOLO-World se convierte en una herramienta versátil para numerosas aplicaciones basadas en visión.

Descripción general#

YOLO-World aborda los retos de los modelos tradicionales de detección de vocabulario abierto, que suelen depender de modelos Transformer costosos que requieren muchos recursos computacionales. La dependencia de categorías de objetos predefinidas también limita la utilidad de estos modelos en situaciones dinámicas. YOLO-World renueva el framework YOLOv8 con capacidades de detección de vocabulario abierto, emplea el modelado de lenguaje visual y se preentrena con conjuntos de datos amplios para destacar en la identificación de una gran variedad de objetos en situaciones de cero ejemplos, con una eficiencia sin igual.

Para trabajos de vocabulario abierto que también necesiten máscaras de instancias, indicaciones visuales o un modo sin indicaciones, consulta YOLOE, que mantiene la misma API set_classes().

Características principales#

1. Solución en tiempo real: Gracias a la velocidad computacional de las CNN, YOLO-World ofrece una solución rápida de detección de vocabulario abierto para los sectores que necesitan resultados inmediatos.

2. Eficiencia y rendimiento: YOLO-World reduce drásticamente las necesidades computacionales y de recursos sin sacrificar rendimiento. Ofrece una alternativa robusta a modelos como SAM con un coste computacional muy inferior, lo que permite utilizarlo en aplicaciones en tiempo real.

3. Inferencia con vocabulario sin conexión: YOLO-World introduce una estrategia de «indicar y detectar» que utiliza un vocabulario sin conexión para aumentar aún más la eficiencia. Este enfoque permite utilizar indicaciones personalizadas calculadas de antemano, como descripciones o categorías, codificarlas y almacenarlas como incrustaciones del vocabulario sin conexión, y agilizar así el proceso de detección.

4. Basado en YOLOv8: Desarrollado sobre Ultralytics YOLOv8, YOLO-World aprovecha los últimos avances en detección de objetos en tiempo real para facilitar la detección de vocabulario abierto con una precisión y velocidad excepcionales.

5. Excelencia en las pruebas de referencia: YOLO-World supera a los detectores de vocabulario abierto existentes, como las series MDETR y GLIP, en velocidad y eficiencia en pruebas de referencia estándar, lo que demuestra la capacidad superior de YOLOv8 en una sola GPU NVIDIA V100.

6. Aplicaciones versátiles: El enfoque innovador de YOLO-World abre nuevas posibilidades para multitud de tareas de visión y ofrece mejoras de velocidad de varios órdenes de magnitud frente a los métodos existentes.

Modelos disponibles, tareas compatibles y modos de funcionamiento#

En esta sección se detallan los modelos disponibles, sus pesos preentrenados específicos, las tareas compatibles y la compatibilidad con distintos modos de funcionamiento, como Inferencia, Validación, Entrenamiento y Exportación. ✅ indica los modos compatibles y ❌, los que no lo son.

Transferencia zero-shot en el conjunto de datos COCO#

Ejemplos de uso#

Los modelos YOLO-World son fáciles de integrar en tus aplicaciones de Python. Ultralytics proporciona una API de Python y comandos CLI fáciles de usar para agilizar el desarrollo.

Uso del entrenamiento#

La detección de objetos es sencilla con el método train, como se muestra a continuación:

from ultralytics import YOLOWorld

# Carga un modelo YOLOv8s-worldv2 preentrenado
model = YOLOWorld("yolov8s-worldv2.pt")

# Entrena el modelo durante 100 épocas con el conjunto de datos de ejemplo COCO8
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Ejecuta la inferencia con el modelo YOLO-World en la imagen 'bus.jpg'
results = model("path/to/bus.jpg")

Uso de la predicción#

La detección de objetos es sencilla con el método predict, como se muestra a continuación:

from ultralytics import YOLOWorld

# Inicializa un modelo YOLO-World
model = YOLOWorld("yolov8s-world.pt")  # o selecciona yolov8m/l-world.pt para usar otros tamaños

# Ejecuta la inferencia con el modelo YOLOv8s-world en la imagen especificada
results = model.predict("path/to/image.jpg")

# Muestra los resultados
results[0].show()

Este fragmento muestra lo sencillo que es cargar un modelo preentrenado y ejecutar una predicción sobre una imagen.

Uso de la validación#

La validación del modelo en un conjunto de datos se realiza fácilmente de la siguiente manera:

from ultralytics import YOLO

# Crea un modelo YOLO-World
model = YOLO("yolov8s-world.pt")  # o selecciona yolov8m/l-world.pt para usar otros tamaños

# Valida el modelo en el conjunto de datos de ejemplo COCO8
metrics = model.val(data="coco8.yaml")

Seguimiento de uso#

El seguimiento de objetos con el modelo YOLO-World en un vídeo o en imágenes se realiza fácilmente de la siguiente manera:

from ultralytics import YOLO

# Crea un modelo YOLO-World
model = YOLO("yolov8s-world.pt")  # o selecciona yolov8m/l-world.pt para usar otros tamaños

# Realiza el seguimiento con un modelo YOLO-World en un vídeo
results = model.track(source="path/to/video.mp4")

Configurar prompts#

El framework YOLO-World permite especificar clases de forma dinámica mediante prompts personalizados, lo que permite adaptar el modelo a tus necesidades específicas sin volver a entrenarlo. Esta función resulta especialmente útil para adaptar el modelo a nuevos dominios o tareas específicas que no formaban parte originalmente de los datos de entrenamiento. Al configurar prompts personalizados, puedes dirigir la atención del modelo hacia los objetos que te interesan y mejorar así la relevancia y la precisión de los resultados de detección.

Por ejemplo, si tu aplicación solo necesita detectar objetos de tipo «persona» y «autobús», puedes especificar directamente estas clases:

from ultralytics import YOLO

# Inicializa un modelo YOLO-World
model = YOLO("yolov8s-world.pt")  # o elige yolov8m/l-world.pt

# Define clases personalizadas
model.set_classes(["person", "bus"])

# Ejecuta la predicción de las categorías especificadas en una imagen
results = model.predict("path/to/image.jpg")

# Muestra los resultados
results[0].show()

model.set_classes(["person", "bus", ""])

También puedes guardar un modelo después de configurar clases personalizadas. Así crearás una versión del modelo YOLO-World especializada para tu caso de uso concreto. Este proceso incorpora las definiciones de tus clases personalizadas directamente en el archivo del modelo, que queda listo para usarse con las clases especificadas sin necesidad de realizar más ajustes. Sigue estos pasos para guardar y cargar tu modelo YOLO-World personalizado:

from ultralytics import YOLO

# Inicializa un modelo YOLO-World
model = YOLO("yolov8s-world.pt")  # o selecciona yolov8m/l-world.pt

# Define clases personalizadas
model.set_classes(["person", "bus"])

# Guarda el modelo con el vocabulario sin conexión definido
model.save("custom_yolov8s.pt")

from ultralytics import YOLO

# Carga tu modelo personalizado
model = YOLO("custom_yolov8s.pt")

# Ejecuta la inferencia para detectar tus clases personalizadas
results = model.predict("path/to/image.jpg")

# Muestra los resultados
results[0].show()

Ventajas de guardar un modelo con vocabulario personalizado#

• Eficiencia: Agiliza el proceso de detección al centrarse en los objetos relevantes, reducir la carga computacional y acelerar la inferencia.
• Flexibilidad: Permite adaptar fácilmente el modelo a tareas de detección nuevas o especializadas sin necesidad de recopilar datos ni realizar un reentrenamiento exhaustivo.
• Sencillez: Simplifica la implementación al eliminar la necesidad de especificar repetidamente las clases personalizadas durante la ejecución, de modo que el modelo puede usarse directamente con el vocabulario incorporado.
• Rendimiento: Mejora la precisión de detección de las clases especificadas al centrar la atención y los recursos del modelo en reconocer los objetos definidos.

Este enfoque ofrece una forma eficaz de personalizar modelos de detección de objetos de última generación para tareas específicas, y hace que la IA avanzada sea más accesible y aplicable a una gama más amplia de aplicaciones prácticas.

Reproduce desde cero los resultados oficiales (experimental)#

Preparar conjuntos de datos#

• Datos de entrenamiento

• Datos de validación

Iniciar el entrenamiento desde cero#

from ultralytics import YOLOWorld
from ultralytics.models.yolo.world.train_world import WorldTrainerFromScratch

# Opción 1: Usa un diccionario de Python
data = {
    "train": {
        "yolo_data": ["Objects365.yaml"],
        "grounding_data": [
            {
                "img_path": "flickr30k/images",
                "json_file": "flickr30k/final_flickr_separateGT_train.json",
            },
            {
                "img_path": "GQA/images",
                "json_file": "GQA/final_mixed_train_no_coco.json",
            },
        ],
    },
    "val": {"yolo_data": ["lvis.yaml"]},
}

# Opción 2: Usa un archivo YAML (yolo_world_data.yaml)
# train:
#   yolo_data:
#     - Objects365.yaml
#   grounding_data:
#     - img_path: flickr/full_images/
# json_file: flickr/annotations/final_flickr_separateGT_train_segm.json
# - img_path: mixed_grounding/gqa/images
# json_file: mixed_grounding/annotations/final_mixed_train_no_coco_segm.json
# val:
#   yolo_data:
# - lvis.yaml

model = YOLOWorld("yolov8s-worldv2.yaml")
model.train(
    data=data,  # o data="yolo_world_data.yaml" si usas un archivo YAML
    batch=128,
    epochs=100,
    trainer=WorldTrainerFromScratch,
)

Citas y agradecimientos#

Agradecemos especialmente al Centro de Visión Artificial de Tencent AILab su trabajo pionero en la detección de objetos en tiempo real con vocabulario abierto mediante YOLO-World:

@article{cheng2024yolow,
title={YOLO-World: Real-Time Open-Vocabulary Object Detection},
author={Cheng, Tianheng and Song, Lin and Ge, Yixiao and Liu, Wenyu and Wang, Xinggang and Shan, Ying},
journal={arXiv preprint arXiv:2401.17270},
year={2024}
}

Puedes consultar el artículo original de YOLO-World en arXiv si quieres obtener más información. El código fuente del proyecto y otros recursos están disponibles en su repositorio de GitHub. Agradecemos su compromiso con el avance del campo y con compartir sus valiosas aportaciones con la comunidad.

Preguntas frecuentes#