Modelo YOLO-World#

O YOLO-World Model introduz uma abordagem avançada e em tempo real baseada no Ultralytics YOLOv8 para tarefas de Detecção de Vocabulário Aberto. Esta inovação permite a detecção de qualquer objeto dentro de uma imagem com base em textos descritivos. Ao reduzir significativamente as demandas computacionais enquanto preserva o desempenho competitivo, o YOLO-World surge como uma ferramenta versátil para inúmeras aplicações baseadas em visão.

Visão geral#

O YOLO-World aborda os desafios enfrentados pelos modelos tradicionais de detecção de vocabulário aberto, que frequentemente dependem de modelos Transformer complexos que exigem recursos computacionais extensivos. A dependência desses modelos em categorias de objetos pré-definidas também restringe sua utilidade em cenários dinâmicos. O YOLO-World revitaliza o framework YOLOv8 com capacidades de detecção de vocabulário aberto, empregando modelagem de visão-linguagem e pré-treinamento em conjuntos de dados extensivos para se destacar na identificação de uma ampla gama de objetos em cenários zero-shot com eficiência incomparável.

Para trabalho de vocabulário aberto que também precise de máscaras de instâncias, prompts visuais ou um modo sem prompt, consulta YOLOE, que mantém a mesma API set_classes().

Principais recursos#

1. Solução em tempo real: Aproveitando a velocidade computacional das CNNs, o YOLO-World oferece uma solução rápida de deteção de vocabulário aberto, atendendo a indústrias que necessitam de resultados imediatos.

2. Eficiência e Desempenho: O YOLO-World reduz os requisitos computacionais e de recursos sem sacrificar o desempenho, oferecendo uma alternativa robusta a modelos como o SAM, mas a uma fração do custo computacional, permitindo aplicações em tempo real.

3. Inferência com Vocabulário Offline: O YOLO-World introduz uma estratégia de "detetar após pedir" (prompt-then-detect), empregando um vocabulário offline para aumentar ainda mais a eficiência. Esta abordagem permite que prompts personalizados calculados a priori, incluindo legendas ou categorias, sejam codificados e armazenados como embeddings de vocabulário offline, simplificando o processo de deteção.

4. Desenvolvido com YOLOv8: Construído sobre o Ultralytics YOLOv8, o YOLO-World aproveita os mais recentes avanços em detecção de objetos em tempo real para facilitar a detecção de vocabulário aberto com precisão e velocidade incomparáveis.

5. Excelência em Benchmarks: O YOLO-World supera os detetores de vocabulário aberto existentes, incluindo as séries MDETR e GLIP, em termos de velocidade e eficiência em benchmarks padrão, demonstrando a capacidade superior do YOLOv8 num único GPU NVIDIA V100.

6. Aplicações Versáteis: A abordagem inovadora do YOLO-World desbloqueia novas possibilidades para uma multiplicidade de tarefas de visão, proporcionando melhorias de velocidade por ordens de magnitude em comparação com os métodos existentes.

Modelos Disponíveis, Tarefas Suportadas e Modos de Operação#

Esta seção detalha os modelos disponíveis com seus pesos pré-treinados específicos, as tarefas que eles suportam e sua compatibilidade com vários modos de operação, como Inference, Validation, Training e Export, denotados por ✅ para modos suportados e ❌ para modos não suportados.

Transferência Zero-shot no conjunto de dados COCO#

Exemplos de uso#

Os modelos YOLO-World são fáceis de integrar nas tuas aplicações em Python. A Ultralytics fornece uma Python API amigável e comandos CLI para agilizar o desenvolvimento.

Utilização do Treino#

A Object detection é simples com o método train, conforme ilustrado abaixo:

from ultralytics import YOLOWorld

# Load a pretrained YOLOv8s-worldv2 model
model = YOLOWorld("yolov8s-worldv2.pt")

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the YOLO-World model on the 'bus.jpg' image
results = model("path/to/bus.jpg")

Uso de Predição#

A detecção de objetos é simples com o método predict, conforme ilustrado abaixo:

from ultralytics import YOLOWorld

# Initialize a YOLO-World model
model = YOLOWorld("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Execute inference with the YOLOv8s-world model on the specified image
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

Este trecho demonstra a simplicidade de carregar um modelo pré-treinado e executar uma predição em uma imagem.

Uso de Validação#

A validação do modelo num conjunto de dados é simplificada da seguinte forma:

from ultralytics import YOLO

# Create a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Conduct model validation on the COCO8 example dataset
metrics = model.val(data="coco8.yaml")

Uso de Rastreamento#

O Object tracking com o modelo YOLO-World em um vídeo/imagens é simplificado da seguinte forma:

from ultralytics import YOLO

# Create a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Track with a YOLO-World model on a video
results = model.track(source="path/to/video.mp4")

Definir prompts#

O framework YOLO-World permite a especificação dinâmica de classes por meio de prompts personalizados, capacitando os utilizadores a adaptar o modelo às suas necessidades específicas sem necessidade de retreinamento. Esse recurso é particularmente útil para adaptar o modelo a novos domínios ou tarefas específicas que não faziam parte originalmente do training data. Ao definir prompts personalizados, tu podes essencialmente guiar o foco do modelo para os objetos de interesse, aprimorando a relevância e a accuracy dos resultados de detecção.

Por exemplo, se a tua aplicação apenas necessitar de detetar objetos 'person' e 'bus', podes especificar estas classes diretamente:

from ultralytics import YOLO

# Initialize a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or choose yolov8m/l-world.pt

# Define custom classes
model.set_classes(["person", "bus"])

# Execute prediction for specified categories on an image
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

model.set_classes(["person", "bus", ""])

Também podes guardar um modelo após definir classes personalizadas. Ao fazê-lo, crias uma versão do modelo YOLO-World que é especializada para o teu caso de uso específico. Este processo incorpora as tuas definições de classes personalizadas diretamente no ficheiro do modelo, tornando o modelo pronto a utilizar com as classes especificadas sem ajustes adicionais. Segue estes passos para guardar e carregar o teu modelo YOLO-World personalizado:

from ultralytics import YOLO

# Initialize a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt

# Define custom classes
model.set_classes(["person", "bus"])

# Save the model with the defined offline vocabulary
model.save("custom_yolov8s.pt")

from ultralytics import YOLO

# Load your custom model
model = YOLO("custom_yolov8s.pt")

# Run inference to detect your custom classes
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

Benefícios de Guardar com Vocabulário Personalizado#

• Eficiência: Simplifica o processo de deteção ao focar-se em objetos relevantes, reduzindo a carga computacional e acelerando a inferência.
• Flexibilidade: Permite uma adaptação fácil do modelo a tarefas de deteção novas ou de nicho, sem a necessidade de um re-treino extensivo ou recolha de dados.
• Simplicidade: Simplifica a implementação ao eliminar a necessidade de especificar repetidamente classes personalizadas em tempo de execução, tornando o modelo diretamente utilizável com o seu vocabulário incorporado.
• Desempenho: Melhora a precisão da deteção para as classes especificadas, focando a atenção e os recursos do modelo no reconhecimento dos objetos definidos.

Esta abordagem fornece um meio poderoso de personalizar modelos de object detection de ponta para tarefas específicas, tornando a IA avançada mais acessível e aplicável a uma gama mais ampla de aplicações práticas.

Reproduzir resultados oficiais a partir do zero (Experimental)#

Preparar conjuntos de dados#

• Dados de treino

• Dados de validação

Iniciar o treinamento do zero#

from ultralytics import YOLOWorld
from ultralytics.models.yolo.world.train_world import WorldTrainerFromScratch

# Option 1: Use Python dictionary
data = {
    "train": {
        "yolo_data": ["Objects365.yaml"],
        "grounding_data": [
            {
                "img_path": "flickr30k/images",
                "json_file": "flickr30k/final_flickr_separateGT_train.json",
            },
            {
                "img_path": "GQA/images",
                "json_file": "GQA/final_mixed_train_no_coco.json",
            },
        ],
    },
    "val": {"yolo_data": ["lvis.yaml"]},
}

# Option 2: Use YAML file (yolo_world_data.yaml)
# train:
#   yolo_data:
#     - Objects365.yaml
#   grounding_data:
#     - img_path: flickr/full_images/
#       json_file: flickr/annotations/final_flickr_separateGT_train_segm.json
#     - img_path: mixed_grounding/gqa/images
#       json_file: mixed_grounding/annotations/final_mixed_train_no_coco_segm.json
# val:
#   yolo_data:
#     - lvis.yaml

model = YOLOWorld("yolov8s-worldv2.yaml")
model.train(
    data=data,  # or data="yolo_world_data.yaml" if using YAML file
    batch=128,
    epochs=100,
    trainer=WorldTrainerFromScratch,
)

Citações e Agradecimentos#

Expressamos nossa gratidão ao Tencent AILab Computer Vision Center pelo trabalho pioneiro em detecção de objetos de vocabulário aberto em tempo real com o YOLO-World:

@article{cheng2024yolow,
title={YOLO-World: Real-Time Open-Vocabulary Object Detection},
author={Cheng, Tianheng and Song, Lin and Ge, Yixiao and Liu, Wenyu and Wang, Xinggang and Shan, Ying},
journal={arXiv preprint arXiv:2401.17270},
year={2024}
}

Para leitura adicional, o artigo original do YOLO-World está disponível no arXiv. O código-fonte do projeto e recursos adicionais podem ser acessados através do seu GitHub repository. Agradecemos o compromisso deles em avançar na área e compartilhar seus valiosos insights com a comunidade.

FAQ#