Modelo YOLO-World#

El modelo YOLO-World presenta un enfoque avanzado y en tiempo real basado en Ultralytics YOLOv8 para tareas de detección de vocabulario abierto. Esta innovación permite detectar cualquier objeto dentro de una imagen a partir de textos descriptivos. Al reducir significativamente las exigencias computacionales y mantener un rendimiento competitivo, YOLO-World se convierte en una herramienta versátil para numerosas aplicaciones basadas en visión.

Descripción general#

YOLO-World aborda los desafíos de los modelos tradicionales de detección de vocabulario abierto, que suelen depender de modelos Transformer complejos que requieren muchos recursos computacionales. La dependencia de estos modelos respecto a categorías de objetos predefinidas también limita su utilidad en escenarios dinámicos. YOLO-World revitaliza el marco YOLOv8 con capacidades de detección de vocabulario abierto, mediante modelado de visión-lenguaje y preentrenamiento con conjuntos de datos amplios para destacar en la identificación de una gran variedad de objetos en escenarios de tipo zero-shot con una eficiencia inigualable.

Para trabajos con vocabulario abierto que también necesiten máscaras de instancia, indicaciones visuales o un modo sin indicaciones, consulta YOLOE, que mantiene la misma API set_classes().

Características principales#

1. Solución en tiempo real: Al aprovechar la velocidad computacional de las CNN, YOLO-World ofrece una solución rápida de detección de vocabulario abierto para sectores que necesitan resultados inmediatos.

2. Eficiencia y rendimiento: YOLO-World reduce drásticamente las necesidades computacionales y de recursos sin sacrificar el rendimiento, y ofrece una alternativa sólida a modelos como SAM con una fracción del coste computacional, lo que permite aplicaciones en tiempo real.

3. Inferencia con vocabulario sin conexión: YOLO-World introduce una estrategia de «indicar y detectar» que utiliza un vocabulario sin conexión para mejorar aún más la eficiencia. Este enfoque permite usar indicaciones personalizadas calculadas a priori, como descripciones o categorías, que se codifican y almacenan como embeddings del vocabulario sin conexión, agilizando el proceso de detección.

4. Basado en YOLOv8: Creado sobre Ultralytics YOLOv8, YOLO-World aprovecha los últimos avances en detección de objetos en tiempo real para facilitar la detección de vocabulario abierto con una precisión y velocidad inigualables.

5. Excelencia en benchmarks: YOLO-World supera a los detectores de vocabulario abierto existentes, incluidas las series MDETR y GLIP, en velocidad y eficiencia en benchmarks estándar, lo que demuestra la superior capacidad de YOLOv8 en una única GPU NVIDIA V100.

6. Aplicaciones versátiles: El enfoque innovador de YOLO-World abre nuevas posibilidades para multitud de tareas de visión y ofrece mejoras de velocidad de varios órdenes de magnitud respecto a los métodos existentes.

Modelos disponibles, tareas compatibles y modos de funcionamiento#

Esta sección detalla los modelos disponibles con sus pesos preentrenados específicos, las tareas que admiten y su compatibilidad con varios modos de funcionamiento, como Inferencia, Validación, Entrenamiento y Exportación, indicados con ✅ para los modos compatibles y ❌ para los no compatibles.

Transferencia zero-shot en el conjunto de datos COCO#

Ejemplos de uso#

Los modelos YOLO-World son fáciles de integrar en tus aplicaciones Python. Ultralytics proporciona una API de Python y comandos CLI fáciles de usar para agilizar el desarrollo.

Uso del entrenamiento#

La detección de objetos es sencilla con el método train, como se muestra a continuación:

from ultralytics import YOLOWorld

# Load a pretrained YOLOv8s-worldv2 model
model = YOLOWorld("yolov8s-worldv2.pt")

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the YOLO-World model on the 'bus.jpg' image
results = model("path/to/bus.jpg")

Uso de Predict#

La detección de objetos es sencilla con el método predict, como se muestra a continuación:

from ultralytics import YOLOWorld

# Initialize a YOLO-World model
model = YOLOWorld("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Execute inference with the YOLOv8s-world model on the specified image
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

Este fragmento muestra lo sencillo que es cargar un modelo preentrenado y ejecutar una predicción en una imagen.

Uso de Val#

La validación del modelo en un conjunto de datos se realiza de la siguiente forma:

from ultralytics import YOLO

# Create a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Conduct model validation on the COCO8 example dataset
metrics = model.val(data="coco8.yaml")

Uso de Track#

El seguimiento de objetos con el modelo YOLO-World en un vídeo o imágenes se realiza de la siguiente forma:

from ultralytics import YOLO

# Create a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Track with a YOLO-World model on a video
results = model.track(source="path/to/video.mp4")

Establecer indicaciones#

El marco YOLO-World permite especificar clases dinámicamente mediante indicaciones personalizadas, lo que te permite adaptar el modelo a tus necesidades específicas sin volver a entrenarlo. Esta función resulta especialmente útil para adaptar el modelo a nuevos dominios o tareas específicas que originalmente no formaban parte de los datos de entrenamiento. Al establecer indicaciones personalizadas, puedes orientar el foco del modelo hacia los objetos de interés, mejorando la relevancia y la precisión de los resultados de detección.

Por ejemplo, si tu aplicación solo necesita detectar objetos «person» y «bus», puedes especificar estas clases directamente:

from ultralytics import YOLO

# Initialize a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or choose yolov8m/l-world.pt

# Define custom classes
model.set_classes(["person", "bus"])

# Execute prediction for specified categories on an image
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

model.set_classes(["person", "bus", ""])

También puedes guardar un modelo después de establecer clases personalizadas. De este modo, creas una versión del modelo YOLO-World especializada para tu caso de uso específico. Este proceso integra las definiciones de tus clases personalizadas directamente en el archivo del modelo, de modo que el modelo está listo para usarse con las clases especificadas sin más ajustes. Sigue estos pasos para guardar y cargar tu modelo YOLO-World personalizado:

from ultralytics import YOLO

# Initialize a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt

# Define custom classes
model.set_classes(["person", "bus"])

# Save the model with the defined offline vocabulary
model.save("custom_yolov8s.pt")

from ultralytics import YOLO

# Load your custom model
model = YOLO("custom_yolov8s.pt")

# Run inference to detect your custom classes
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

Ventajas de guardar con vocabulario personalizado#

• Eficiencia: Agiliza el proceso de detección al centrarse en los objetos relevantes, reducir la sobrecarga computacional y acelerar la inferencia.
• Flexibilidad: Permite adaptar fácilmente el modelo a tareas de detección nuevas o específicas sin necesidad de volver a entrenarlo exhaustivamente ni recopilar grandes cantidades de datos.
• Simplicidad: Simplifica la implementación al eliminar la necesidad de especificar repetidamente las clases personalizadas durante la ejecución, haciendo que el modelo sea directamente utilizable con su vocabulario integrado.
• Rendimiento: Mejora la precisión de detección de las clases especificadas al centrar la atención y los recursos del modelo en reconocer los objetos definidos.

Este enfoque ofrece un medio eficaz para personalizar modelos de detección de objetos de última generación para tareas específicas, haciendo que la IA avanzada sea más accesible y aplicable a un abanico más amplio de aplicaciones prácticas.

Reproducir los resultados oficiales desde cero (experimental)#

Preparar los conjuntos de datos#

• Datos de entrenamiento

• Datos de validación

Iniciar el entrenamiento desde cero#

from ultralytics import YOLOWorld
from ultralytics.models.yolo.world.train_world import WorldTrainerFromScratch

# Option 1: Use Python dictionary
data = {
    "train": {
        "yolo_data": ["Objects365.yaml"],
        "grounding_data": [
            {
                "img_path": "flickr30k/images",
                "json_file": "flickr30k/final_flickr_separateGT_train.json",
            },
            {
                "img_path": "GQA/images",
                "json_file": "GQA/final_mixed_train_no_coco.json",
            },
        ],
    },
    "val": {"yolo_data": ["lvis.yaml"]},
}

# Option 2: Use YAML file (yolo_world_data.yaml)
# train:
#   yolo_data:
#     - Objects365.yaml
#   grounding_data:
#     - img_path: flickr/full_images/
#       json_file: flickr/annotations/final_flickr_separateGT_train_segm.json
#     - img_path: mixed_grounding/gqa/images
#       json_file: mixed_grounding/annotations/final_mixed_train_no_coco_segm.json
# val:
#   yolo_data:
#     - lvis.yaml

model = YOLOWorld("yolov8s-worldv2.yaml")
model.train(
    data=data,  # or data="yolo_world_data.yaml" if using YAML file
    batch=128,
    epochs=100,
    trainer=WorldTrainerFromScratch,
)

Citas y agradecimientos#

Agradecemos enormemente al Tencent AILab Computer Vision Center su trabajo pionero en la detección de objetos de vocabulario abierto en tiempo real con YOLO-World:

@article{cheng2024yolow,
title={YOLO-World: Real-Time Open-Vocabulary Object Detection},
author={Cheng, Tianheng and Song, Lin and Ge, Yixiao and Liu, Wenyu and Wang, Xinggang and Shan, Ying},
journal={arXiv preprint arXiv:2401.17270},
year={2024}
}

Para obtener más información, el artículo original de YOLO-World está disponible en arXiv. Puedes acceder al código fuente del proyecto y a recursos adicionales a través de su repositorio de GitHub. Apreciamos su compromiso con el avance del sector y con compartir sus valiosas ideas con la comunidad.

Preguntas frecuentes#