Modelo YOLO-World#

O modelo YOLO-World introduz uma abordagem avançada e em tempo real baseada no Ultralytics YOLOv8 para tarefas de deteção de vocabulário aberto. Esta inovação permite detetar qualquer objeto numa imagem com base em textos descritivos. Ao reduzir significativamente as exigências computacionais e preservar um desempenho competitivo, o YOLO-World surge como uma ferramenta versátil para inúmeras aplicações baseadas em visão.

Visão geral#

O YOLO-World aborda os desafios dos modelos tradicionais de deteção de vocabulário aberto, que frequentemente dependem de modelos Transformer complexos e que exigem muitos recursos computacionais. A dependência destes modelos em categorias de objetos predefinidas também limita a sua utilidade em cenários dinâmicos. O YOLO-World revitaliza a estrutura YOLOv8 com capacidades de deteção de vocabulário aberto, recorrendo a modelação de linguagem visual e a pré-treino em conjuntos de dados abrangentes para se destacar na identificação de uma grande variedade de objetos em cenários zero-shot, com uma eficiência incomparável.

Para trabalhos de vocabulário aberto que também necessitem de máscaras de instância, prompts visuais ou de um modo sem prompts, consulta o YOLOE, que mantém a mesma API set_classes().

Principais funcionalidades#

1. Solução em tempo real: Tirando partido da velocidade computacional das CNNs, o YOLO-World oferece uma solução rápida de deteção de vocabulário aberto, adequada para setores que precisam de resultados imediatos.

2. Eficiência e desempenho: O YOLO-World reduz drasticamente os requisitos computacionais e de recursos sem sacrificar o desempenho, oferecendo uma alternativa robusta a modelos como o SAM, mas com uma fração do custo computacional, o que permite aplicações em tempo real.

3. Inferência com vocabulário offline: O YOLO-World introduz uma estratégia de "prompt-then-detect", utilizando um vocabulário offline para aumentar ainda mais a eficiência. Esta abordagem permite utilizar prompts personalizados calculados a priori, incluindo legendas ou categorias, que são codificados e armazenados como embeddings de vocabulário offline, simplificando o processo de deteção.

4. Baseado no YOLOv8: Construído sobre o Ultralytics YOLOv8, o YOLO-World tira partido dos avanços mais recentes na deteção de objetos em tempo real para permitir a deteção de vocabulário aberto com precisão e velocidade incomparáveis.

5. Excelência em benchmarks: O YOLO-World supera os detetores de vocabulário aberto existentes, incluindo as séries MDETR e GLIP, em velocidade e eficiência nos benchmarks padrão, demonstrando a capacidade superior do YOLOv8 numa única GPU NVIDIA V100.

6. Aplicações versáteis: A abordagem inovadora do YOLO-World abre novas possibilidades para uma multiplicidade de tarefas de visão, proporcionando melhorias de velocidade de várias ordens de grandeza em relação aos métodos existentes.

Modelos disponíveis, tarefas compatíveis e modos de operação#

Esta secção detalha os modelos disponíveis, com os respetivos pesos pré-treinados, as tarefas que suportam e a sua compatibilidade com vários modos de operação, como Inferência, Validação, Treino e Exportação, indicados por ✅ para modos suportados e ❌ para modos não suportados.

Transferência zero-shot no conjunto de dados COCO#

Exemplos de utilização#

Os modelos YOLO-World são fáceis de integrar nas tuas aplicações Python. A Ultralytics disponibiliza uma API Python e comandos CLI fáceis de utilizar para simplificar o desenvolvimento.

Utilização do treino#

A deteção de objetos é simples com o método train, conforme ilustrado abaixo:

from ultralytics import YOLOWorld

# Load a pretrained YOLOv8s-worldv2 model
model = YOLOWorld("yolov8s-worldv2.pt")

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the YOLO-World model on the 'bus.jpg' image
results = model("path/to/bus.jpg")

Utilização de Predict#

A deteção de objetos é simples com o método predict, conforme ilustrado abaixo:

from ultralytics import YOLOWorld

# Initialize a YOLO-World model
model = YOLOWorld("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Execute inference with the YOLOv8s-world model on the specified image
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

Este fragmento demonstra a simplicidade de carregar um modelo pré-treinado e executar uma predição numa imagem.

Utilização de Val#

A validação do modelo num conjunto de dados é simplificada da seguinte forma:

from ultralytics import YOLO

# Create a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Conduct model validation on the COCO8 example dataset
metrics = model.val(data="coco8.yaml")

Utilização de Track#

O rastreamento de objetos com o modelo YOLO-World num vídeo/imagens é simplificado da seguinte forma:

from ultralytics import YOLO

# Create a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Track with a YOLO-World model on a video
results = model.track(source="path/to/video.mp4")

Definir prompts#

A estrutura YOLO-World permite especificar classes dinamicamente através de prompts personalizados, dando-te controlo para adaptares o modelo às tuas necessidades específicas sem novo treino. Esta funcionalidade é particularmente útil para adaptar o modelo a novos domínios ou tarefas específicas que não faziam originalmente parte dos dados de treino. Ao definires prompts personalizados, podes essencialmente orientar o foco do modelo para os objetos de interesse, melhorando a relevância e a precisão dos resultados da deteção.

Por exemplo, se a tua aplicação apenas precisar de detetar objetos 'person' e 'bus', podes especificar diretamente estas classes:

from ultralytics import YOLO

# Initialize a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or choose yolov8m/l-world.pt

# Define custom classes
model.set_classes(["person", "bus"])

# Execute prediction for specified categories on an image
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

model.set_classes(["person", "bus", ""])

Também podes guardar um modelo depois de definires classes personalizadas. Desta forma, crias uma versão do modelo YOLO-World especializada para o teu caso de utilização específico. Este processo incorpora as definições das tuas classes personalizadas diretamente no ficheiro do modelo, deixando-o pronto para utilização com as classes especificadas, sem ajustes adicionais. Segue estes passos para guardar e carregar o teu modelo YOLO-World personalizado:

from ultralytics import YOLO

# Initialize a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt

# Define custom classes
model.set_classes(["person", "bus"])

# Save the model with the defined offline vocabulary
model.save("custom_yolov8s.pt")

from ultralytics import YOLO

# Load your custom model
model = YOLO("custom_yolov8s.pt")

# Run inference to detect your custom classes
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

Vantagens de guardar com vocabulário personalizado#

• Eficiência: Simplifica o processo de deteção ao concentrar-se nos objetos relevantes, reduzindo a sobrecarga computacional e acelerando a inferência.
• Flexibilidade: Permite adaptar facilmente o modelo a tarefas de deteção novas ou específicas, sem necessidade de um novo treino extenso ou de recolha de dados.
• Simplicidade: Simplifica a implementação ao eliminar a necessidade de especificar repetidamente classes personalizadas em tempo de execução, tornando o modelo diretamente utilizável com o vocabulário incorporado.
• Desempenho: Melhora a precisão da deteção das classes especificadas ao concentrar a atenção e os recursos do modelo no reconhecimento dos objetos definidos.

Esta abordagem proporciona uma forma poderosa de personalizar modelos de deteção de objetos de última geração para tarefas específicas, tornando a IA avançada mais acessível e aplicável a uma gama mais ampla de aplicações práticas.

Reproduzir os resultados oficiais de raiz (Experimental)#

Preparar conjuntos de dados#

• Dados de treino

• Dados de validação

Iniciar o treino de raiz#

from ultralytics import YOLOWorld
from ultralytics.models.yolo.world.train_world import WorldTrainerFromScratch

# Option 1: Use Python dictionary
data = {
    "train": {
        "yolo_data": ["Objects365.yaml"],
        "grounding_data": [
            {
                "img_path": "flickr30k/images",
                "json_file": "flickr30k/final_flickr_separateGT_train.json",
            },
            {
                "img_path": "GQA/images",
                "json_file": "GQA/final_mixed_train_no_coco.json",
            },
        ],
    },
    "val": {"yolo_data": ["lvis.yaml"]},
}

# Option 2: Use YAML file (yolo_world_data.yaml)
# train:
#   yolo_data:
#     - Objects365.yaml
#   grounding_data:
#     - img_path: flickr/full_images/
#       json_file: flickr/annotations/final_flickr_separateGT_train_segm.json
#     - img_path: mixed_grounding/gqa/images
#       json_file: mixed_grounding/annotations/final_mixed_train_no_coco_segm.json
# val:
#   yolo_data:
#     - lvis.yaml

model = YOLOWorld("yolov8s-worldv2.yaml")
model.train(
    data=data,  # or data="yolo_world_data.yaml" if using YAML file
    batch=128,
    epochs=100,
    trainer=WorldTrainerFromScratch,
)

Citações e agradecimentos#

Agradecemos profundamente ao Tencent AILab Computer Vision Center pelo seu trabalho pioneiro na deteção de objetos de vocabulário aberto em tempo real com o YOLO-World:

@article{cheng2024yolow,
title={YOLO-World: Real-Time Open-Vocabulary Object Detection},
author={Cheng, Tianheng and Song, Lin and Ge, Yixiao and Liu, Wenyu and Wang, Xinggang and Shan, Ying},
journal={arXiv preprint arXiv:2401.17270},
year={2024}
}

Para mais informações, o artigo original do YOLO-World está disponível no arXiv. O código-fonte do projeto e recursos adicionais podem ser acedidos através do seu repositório GitHub. Agradecemos o seu compromisso com o avanço da área e a partilha dos seus conhecimentos valiosos com a comunidade.

Perguntas frequentes#