Modello YOLO-World#

Il modello YOLO-World introduce un approccio avanzato in tempo reale basato su Ultralytics YOLOv8 per attività di rilevamento a vocabolario aperto (Open-Vocabulary Detection). Questa innovazione consente il rilevamento di qualsiasi oggetto all'interno di un'immagine sulla base di testi descrittivi. Riducendo significativamente la richiesta computazionale pur preservando prestazioni competitive, YOLO-World si afferma come uno strumento versatile per numerose applicazioni basate sulla visione.

Panoramica#

YOLO-World affronta le sfide incontrate dai tradizionali modelli di rilevamento a vocabolario aperto, che spesso si affidano a ingombranti modelli Transformer che richiedono ingenti risorse computazionali. La dipendenza di questi modelli da categorie di oggetti predefinite ne limita inoltre l'utilità in scenari dinamici. YOLO-World rinnova il framework YOLOv8 con capacità di rilevamento a vocabolario aperto, impiegando la modellazione linguistica della visione e il pre-addestramento su dataset estesi per eccellere nell'identificazione di un'ampia gamma di oggetti in scenari zero-shot con un'efficienza senza pari.

Per il lavoro a vocabolario aperto che richiede anche maschere di istanza, prompt visivi o una modalità senza prompt, consulta YOLOE, che mantiene la stessa API set_classes().

Caratteristiche principali#

1. Soluzione in tempo reale: Sfruttando la velocità computazionale delle CNN, YOLO-World offre una rapida soluzione di open-vocabulary detection, adatta alle industrie che necessitano di risultati immediati.

2. Efficienza e prestazioni: YOLO-World riduce drasticamente i requisiti computazionali e di risorse senza sacrificare le prestazioni, offrendo una valida alternativa a modelli come SAM ma a una frazione del costo computazionale, consentendo applicazioni in tempo reale.

3. Inferenza con vocabolario offline: YOLO-World introduce una strategia "prompt-then-detect", che impiega un vocabolario offline per migliorare ulteriormente l'efficienza. Questo approccio consente l'uso di prompt personalizzati calcolati a priori, inclusi didascalie o categorie, per essere codificati e memorizzati come embedding del vocabolario offline, semplificando il processo di rilevamento.

4. Basato su YOLOv8: Costruito su Ultralytics YOLOv8, YOLO-World sfrutta gli ultimi progressi nel rilevamento di oggetti in tempo reale per facilitare il rilevamento a vocabolario aperto con accuratezza e velocità senza precedenti.

5. Eccellenza nei benchmark: YOLO-World supera i rilevatori open-vocabulary esistenti, incluse le serie MDETR e GLIP, in termini di velocità ed efficienza su benchmark standard, dimostrando la capacità superiore di YOLOv8 su una singola GPU NVIDIA V100.

6. Applicazioni versatili: L'approccio innovativo di YOLO-World sblocca nuove possibilità per una moltitudine di attività di visione, offrendo miglioramenti di velocità di ordini di grandezza rispetto ai metodi esistenti.

Modelli disponibili, attività supportate e modalità operative#

Questa sezione descrive in dettaglio i modelli disponibili con i rispettivi pesi pre-addestrati, i task che supportano e la loro compatibilità con varie modalità operative come Inference, Validation, Training e Export, indicate da ✅ per le modalità supportate e ❌ per quelle non supportate.

Trasferimento Zero-shot sul dataset COCO#

Esempi di Utilizzo#

I modelli YOLO-World sono facili da integrare nelle tue applicazioni Python. Ultralytics fornisce un'intuitiva API Python e comandi CLI per semplificare lo sviluppo.

Utilizzo per l'addestramento#

Il rilevamento di oggetti è semplice con il metodo train, come illustrato di seguito:

from ultralytics import YOLOWorld

# Load a pretrained YOLOv8s-worldv2 model
model = YOLOWorld("yolov8s-worldv2.pt")

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the YOLO-World model on the 'bus.jpg' image
results = model("path/to/bus.jpg")

Utilizzo di Predict#

Il rilevamento di oggetti è semplice con il metodo predict, come illustrato di seguito:

from ultralytics import YOLOWorld

# Initialize a YOLO-World model
model = YOLOWorld("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Execute inference with the YOLOv8s-world model on the specified image
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

Questo snippet dimostra la semplicità di caricare un modello preaddestrato ed eseguire una previsione su un'immagine.

Utilizzo di Val#

La validazione del modello su un dataset è semplificata come segue:

from ultralytics import YOLO

# Create a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Conduct model validation on the COCO8 example dataset
metrics = model.val(data="coco8.yaml")

Utilizzo di Track#

Il tracciamento di oggetti con il modello YOLO-World su un video o immagini è ottimizzato come segue:

from ultralytics import YOLO

# Create a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Track with a YOLO-World model on a video
results = model.track(source="path/to/video.mp4")

Imposta i prompt#

Il framework YOLO-World consente la specifica dinamica delle classi tramite prompt personalizzati, consentendo di adattare il modello alle proprie esigenze specifiche senza riaddestramento. Questa funzionalità è particolarmente utile per adattare il modello a nuovi domini o compiti specifici che non facevano originariamente parte dei dati di addestramento. Impostando prompt personalizzati, puoi essenzialmente guidare l'attenzione del modello verso gli oggetti di interesse, migliorando la pertinenza e l'accuratezza dei risultati di rilevamento.

Ad esempio, se la tua applicazione richiede solo il rilevamento di oggetti 'person' (persona) e 'bus' (autobus), puoi specificare queste classi direttamente:

from ultralytics import YOLO

# Initialize a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or choose yolov8m/l-world.pt

# Define custom classes
model.set_classes(["person", "bus"])

# Execute prediction for specified categories on an image
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

model.set_classes(["person", "bus", ""])

Puoi anche salvare un modello dopo aver impostato classi personalizzate. Facendo ciò, crei una versione del modello YOLO-World specializzata per il tuo caso d'uso specifico. Questo processo incorpora le definizioni delle tue classi personalizzate direttamente nel file del modello, rendendolo pronto all'uso con le classi specificate senza ulteriori aggiustamenti. Segui questi passaggi per salvare e caricare il tuo modello YOLO-World personalizzato:

from ultralytics import YOLO

# Initialize a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt

# Define custom classes
model.set_classes(["person", "bus"])

# Save the model with the defined offline vocabulary
model.save("custom_yolov8s.pt")

from ultralytics import YOLO

# Load your custom model
model = YOLO("custom_yolov8s.pt")

# Run inference to detect your custom classes
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

Vantaggi del salvataggio con vocabolario personalizzato#

• Efficienza: Semplifica il processo di rilevamento concentrandosi sugli oggetti pertinenti, riducendo l'overhead computazionale e accelerando l'inferenza.
• Flessibilità: Consente un facile adattamento del modello a nuove attività di rilevamento di nicchia senza la necessità di un ampio riaddestramento o raccolta dati.
• Semplicità: Semplifica il deployment eliminando la necessità di specificare ripetutamente classi personalizzate in fase di runtime, rendendo il modello direttamente utilizzabile con il suo vocabolario incorporato.
• Prestazioni: Migliora la precisione del rilevamento per le classi specificate concentrando l'attenzione e le risorse del modello sul riconoscimento degli oggetti definiti.

Questo approccio offre un mezzo potente per personalizzare modelli all'avanguardia di rilevamento di oggetti per compiti specifici, rendendo l'IA avanzata più accessibile e applicabile a una gamma più ampia di applicazioni pratiche.

Riproduci i risultati ufficiali da zero (Sperimentale)#

Prepara i dataset#

• Dati di addestramento

• Dati di validazione

Avvia l'addestramento da zero#

from ultralytics import YOLOWorld
from ultralytics.models.yolo.world.train_world import WorldTrainerFromScratch

# Option 1: Use Python dictionary
data = {
    "train": {
        "yolo_data": ["Objects365.yaml"],
        "grounding_data": [
            {
                "img_path": "flickr30k/images",
                "json_file": "flickr30k/final_flickr_separateGT_train.json",
            },
            {
                "img_path": "GQA/images",
                "json_file": "GQA/final_mixed_train_no_coco.json",
            },
        ],
    },
    "val": {"yolo_data": ["lvis.yaml"]},
}

# Option 2: Use YAML file (yolo_world_data.yaml)
# train:
#   yolo_data:
#     - Objects365.yaml
#   grounding_data:
#     - img_path: flickr/full_images/
#       json_file: flickr/annotations/final_flickr_separateGT_train_segm.json
#     - img_path: mixed_grounding/gqa/images
#       json_file: mixed_grounding/annotations/final_mixed_train_no_coco_segm.json
# val:
#   yolo_data:
#     - lvis.yaml

model = YOLOWorld("yolov8s-worldv2.yaml")
model.train(
    data=data,  # or data="yolo_world_data.yaml" if using YAML file
    batch=128,
    epochs=100,
    trainer=WorldTrainerFromScratch,
)

Citazioni e riconoscimenti#

Esprimiamo la nostra gratitudine al Tencent AILab Computer Vision Center per il loro lavoro pionieristico nel rilevamento di oggetti a vocabolario aperto in tempo reale con YOLO-World:

@article{cheng2024yolow,
title={YOLO-World: Real-Time Open-Vocabulary Object Detection},
author={Cheng, Tianheng and Song, Lin and Ge, Yixiao and Liu, Wenyu and Wang, Xinggang and Shan, Ying},
journal={arXiv preprint arXiv:2401.17270},
year={2024}
}

Per ulteriori letture, il documento originale su YOLO-World è disponibile su arXiv. Il codice sorgente del progetto e risorse aggiuntive sono accessibili tramite il loro repository GitHub. Apprezziamo il loro impegno nel far progredire il campo e nel condividere le loro preziose intuizioni con la community.

FAQ#