Modelo YOLO-World#

El modelo YOLO-World introduce un enfoque avanzado en tiempo real basado en Ultralytics YOLOv8 para tareas de Detección de Vocabulario Abierto. Esta innovación permite detectar cualquier objeto dentro de una imagen basándose en textos descriptivos. Al reducir significativamente las demandas computacionales mientras mantiene un rendimiento competitivo, YOLO-World se convierte en una herramienta versátil para numerosas aplicaciones basadas en visión.

Descripción general#

YOLO-World aborda los desafíos a los que se enfrentan los modelos tradicionales de detección de vocabulario abierto, que a menudo dependen de modelos Transformer engorrosos que requieren cuantiosos recursos computacionales. La dependencia de estos modelos en categorías de objetos predefinidas también limita su utilidad en escenarios dinámicos. YOLO-World revitaliza el marco de YOLOv8 con capacidades de detección de vocabulario abierto, empleando modelado de lenguaje de visión y preentrenamiento en conjuntos de datos extensos para destacar en la identificación de una amplia gama de objetos en escenarios de cero disparos con una eficiencia sin igual.

Características clave#

1. Solución en tiempo real: Aprovechando la velocidad computacional de las CNN, YOLO-World ofrece una solución rápida de detección de vocabulario abierto, satisfaciendo a industrias que necesitan resultados inmediatos.

2. Eficiencia y rendimiento: YOLO-World reduce drásticamente los requisitos de cómputo y recursos sin sacrificar el rendimiento, ofreciendo una alternativa robusta a modelos como SAM pero a una fracción del costo computacional, lo que permite aplicaciones en tiempo real.

3. Inferencia con vocabulario offline: YOLO-World introduce una estrategia de "prompt-then-detect" (indicar y luego detectar), empleando un vocabulario offline para mejorar aún más la eficiencia. Este enfoque permite el uso de prompts personalizados calculados a priori, incluyendo pies de foto o categorías, para ser codificados y almacenados como embeddings de vocabulario offline, simplificando el proceso de detección.

4. Con el respaldo de YOLOv8: Construido sobre Ultralytics YOLOv8, YOLO-World aprovecha los últimos avances en detección de objetos en tiempo real para facilitar la detección de vocabulario abierto con una precisión y velocidad incomparables.

5. Excelencia en benchmarks: YOLO-World supera a los detectores de vocabulario abierto existentes, incluyendo las series MDETR y GLIP, en términos de velocidad y eficiencia en benchmarks estándar, mostrando la capacidad superior de YOLOv8 en una sola GPU NVIDIA V100.

6. Aplicaciones versátiles: El enfoque innovador de YOLO-World desbloquea nuevas posibilidades para una multitud de tareas de visión, ofreciendo mejoras de velocidad por órdenes de magnitud sobre los métodos existentes.

Modelos disponibles, tareas compatibles y modos de funcionamiento#

Esta sección detalla los modelos disponibles con sus pesos preentrenados específicos, las tareas que admiten y su compatibilidad con varios modos de operación como Inferencia, Validación, Entrenamiento y Exportación, denotados por ✅ para los modos admitidos y ❌ para los modos no admitidos.

Transferencia Zero-shot en el conjunto de datos COCO#

Ejemplos de uso#

Los modelos YOLO-World son fáciles de integrar en tus aplicaciones de Python. Ultralytics proporciona una API de Python intuitiva y comandos CLI para agilizar el desarrollo.

Uso de entrenamiento#

La detección de objetos es sencilla con el método train, tal como se ilustra a continuación:

from ultralytics import YOLOWorld

# Load a pretrained YOLOv8s-worldv2 model
model = YOLOWorld("yolov8s-worldv2.pt")

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the YOLO-World model on the 'bus.jpg' image
results = model("path/to/bus.jpg")

Uso de Predict#

La detección de objetos es sencilla con el método predict, tal como se ilustra a continuación:

from ultralytics import YOLOWorld

# Initialize a YOLO-World model
model = YOLOWorld("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Execute inference with the YOLOv8s-world model on the specified image
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

Este fragmento demuestra la simplicidad de cargar un modelo preentrenado y ejecutar una predicción en una imagen.

Uso de Val#

La validación del modelo en un conjunto de datos se simplifica de la siguiente manera:

from ultralytics import YOLO

# Create a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Conduct model validation on the COCO8 example dataset
metrics = model.val(data="coco8.yaml")

Uso de Track#

El seguimiento de objetos con el modelo YOLO-World en un vídeo o en imágenes se simplifica de la siguiente manera:

from ultralytics import YOLO

# Create a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Track with a YOLO-World model on a video
results = model.track(source="path/to/video.mp4")

Establecer prompts#

El marco de YOLO-World permite la especificación dinámica de clases mediante indicaciones personalizadas, lo que da a los usuarios el poder de adaptar el modelo a sus necesidades específicas sin necesidad de reentrenamiento. Esta característica es especialmente útil para adaptar el modelo a nuevos dominios o a tareas específicas que no formaban parte originalmente de los datos de entrenamiento. Al establecer indicaciones personalizadas, los usuarios pueden orientar esencialmente el enfoque del modelo hacia objetos de interés, lo que mejora la relevancia y la precisión de los resultados de la detección.

Por ejemplo, si tu aplicación solo requiere detectar objetos 'persona' y 'autobús', puedes especificar estas clases directamente:

from ultralytics import YOLO

# Initialize a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or choose yolov8m/l-world.pt

# Define custom classes
model.set_classes(["person", "bus"])

# Execute prediction for specified categories on an image
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

model.set_classes(["person", "bus", ""])

También puedes guardar un modelo después de establecer clases personalizadas. Al hacer esto, creas una versión del modelo YOLO-World que está especializada para tu caso de uso específico. Este proceso integra tus definiciones de clases personalizadas directamente en el archivo del modelo, haciendo que el modelo esté listo para usar con tus clases especificadas sin ajustes adicionales. Sigue estos pasos para guardar y cargar tu modelo YOLO-World personalizado:

from ultralytics import YOLO

# Initialize a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt

# Define custom classes
model.set_classes(["person", "bus"])

# Save the model with the defined offline vocabulary
model.save("custom_yolov8s.pt")

from ultralytics import YOLO

# Load your custom model
model = YOLO("custom_yolov8s.pt")

# Run inference to detect your custom classes
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

Beneficios de guardar con vocabulario personalizado#

• Eficiencia: Simplifica el proceso de detección al enfocarse en objetos relevantes, reduciendo la sobrecarga computacional y acelerando la inferencia.
• Flexibilidad: Permite una fácil adaptación del modelo a tareas de detección nuevas o de nicho sin necesidad de un reentrenamiento extenso o recolección de datos.
• Simplicidad: Simplifica el despliegue al eliminar la necesidad de especificar repetidamente clases personalizadas en tiempo de ejecución, haciendo que el modelo sea directamente utilizable con su vocabulario integrado.
• Rendimiento: Mejora la precisión de detección para las clases especificadas al enfocar la atención y los recursos del modelo en reconocer los objetos definidos.

Este enfoque ofrece un medio potente para personalizar modelos de detección de objetos de última generación para tareas específicas, haciendo que la IA avanzada sea más accesible y aplicable a un abanico más amplio de aplicaciones prácticas.

Reproducir resultados oficiales desde cero (Experimental)#

Preparar conjuntos de datos#

• Datos de entrenamiento

• Datos de validación

Lanza el entrenamiento desde cero#

from ultralytics import YOLOWorld
from ultralytics.models.yolo.world.train_world import WorldTrainerFromScratch

# Option 1: Use Python dictionary
data = {
    "train": {
        "yolo_data": ["Objects365.yaml"],
        "grounding_data": [
            {
                "img_path": "flickr30k/images",
                "json_file": "flickr30k/final_flickr_separateGT_train.json",
            },
            {
                "img_path": "GQA/images",
                "json_file": "GQA/final_mixed_train_no_coco.json",
            },
        ],
    },
    "val": {"yolo_data": ["lvis.yaml"]},
}

# Option 2: Use YAML file (yolo_world_data.yaml)
# train:
#   yolo_data:
#     - Objects365.yaml
#   grounding_data:
#     - img_path: flickr/full_images/
#       json_file: flickr/annotations/final_flickr_separateGT_train_segm.json
#     - img_path: mixed_grounding/gqa/images
#       json_file: mixed_grounding/annotations/final_mixed_train_no_coco_segm.json
# val:
#   yolo_data:
#     - lvis.yaml

model = YOLOWorld("yolov8s-worldv2.yaml")
model.train(
    data=data,  # or data="yolo_world_data.yaml" if using YAML file
    batch=128,
    epochs=100,
    trainer=WorldTrainerFromScratch,
)

Citas y agradecimientos#

Expresamos nuestro agradecimiento al Centro de Visión por Computador de Tencent AILab por su trabajo pionero en la detección de objetos de vocabulario abierto en tiempo real con YOLO-World:

@article{cheng2024yolow,
title={YOLO-World: Real-Time Open-Vocabulary Object Detection},
author={Cheng, Tianheng and Song, Lin and Ge, Yixiao and Liu, Wenyu and Wang, Xinggang and Shan, Ying},
journal={arXiv preprint arXiv:2401.17270},
year={2024}
}

Para seguir leyendo, el artículo original de YOLO-World está disponible en arXiv. El código fuente del proyecto y otros recursos adicionales se pueden consultar a través de su repositorio de GitHub. Agradecemos su compromiso con el avance del campo y por compartir sus valiosas ideas con la comunidad.

FAQ#