Modello YOLO-World#

Il modello YOLO-World introduce un approccio avanzato e in tempo reale basato su Ultralytics YOLOv8 per le attività di rilevamento a vocabolario aperto. Questa innovazione consente di rilevare qualsiasi oggetto all'interno di un'immagine sulla base di testi descrittivi. Riducendo significativamente i requisiti computazionali e mantenendo prestazioni competitive, YOLO-World si afferma come uno strumento versatile per numerose applicazioni basate sulla visione artificiale.

Panoramica#

YOLO-World affronta le sfide dei tradizionali modelli di rilevamento a vocabolario aperto, che spesso si basano su ingombranti modelli Transformer che richiedono notevoli risorse computazionali. La dipendenza di questi modelli da categorie di oggetti predefinite ne limita inoltre l'utilità negli scenari dinamici. YOLO-World rinnova il framework YOLOv8 con funzionalità di rilevamento a vocabolario aperto, utilizzando il modellamento visione-linguaggio e il pre-addestramento su dataset estesi per eccellere nell'identificazione di un'ampia varietà di oggetti in scenari zero-shot con un'efficienza senza pari.

Per le attività a vocabolario aperto che richiedono anche maschere di istanza, prompt visivi o una modalità senza prompt, consulta YOLOE, che mantiene la stessa API set_classes().

Funzionalità principali#

1. Soluzione in tempo reale: sfruttando la velocità computazionale delle CNN, YOLO-World offre una soluzione rapida per il rilevamento a vocabolario aperto, adatta ai settori che necessitano di risultati immediati.

2. Efficienza e prestazioni: YOLO-World riduce drasticamente i requisiti computazionali e di risorse senza sacrificare le prestazioni, offrendo un'alternativa solida a modelli come SAM, ma con una frazione del costo computazionale e consentendo applicazioni in tempo reale.

3. Inferenza con vocabolario offline: YOLO-World introduce una strategia "prompt-then-detect", che utilizza un vocabolario offline per migliorare ulteriormente l'efficienza. Questo approccio consente di usare prompt personalizzati calcolati a priori, inclusi didascalie o categorie, da codificare e memorizzare come embedding del vocabolario offline, ottimizzando il processo di rilevamento.

4. Basato su YOLOv8: costruito su Ultralytics YOLOv8, YOLO-World sfrutta i più recenti progressi nel rilevamento di oggetti in tempo reale per facilitare il rilevamento a vocabolario aperto con accuratezza e velocità senza pari.

5. Eccellenza nei benchmark: YOLO-World supera i rilevatori a vocabolario aperto esistenti, incluse le serie MDETR e GLIP, in termini di velocità ed efficienza sui benchmark standard, dimostrando le capacità superiori di YOLOv8 su una singola GPU NVIDIA V100.

6. Applicazioni versatili: l'approccio innovativo di YOLO-World apre nuove possibilità per numerose attività di visione artificiale, offrendo miglioramenti della velocità di diversi ordini di grandezza rispetto ai metodi esistenti.

Modelli disponibili, attività supportate e modalità operative#

Questa sezione descrive in dettaglio i modelli disponibili con i relativi pesi pre-addestrati, le attività supportate e la compatibilità con varie modalità operative, come Inferenza, Convalida, Addestramento ed Esportazione, indicate da ✅ per le modalità supportate e ❌ per quelle non supportate.

Trasferimento zero-shot sul dataset COCO#

Esempi di utilizzo#

I modelli YOLO-World sono facili da integrare nelle tue applicazioni Python. Ultralytics mette a disposizione una API Python e comandi CLI intuitivi per semplificare lo sviluppo.

Utilizzo dell'addestramento#

Il rilevamento di oggetti è semplice con il metodo train, come illustrato di seguito:

from ultralytics import YOLOWorld

# Load a pretrained YOLOv8s-worldv2 model
model = YOLOWorld("yolov8s-worldv2.pt")

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the YOLO-World model on the 'bus.jpg' image
results = model("path/to/bus.jpg")

Utilizzo della previsione#

Il rilevamento di oggetti è semplice con il metodo predict, come illustrato di seguito:

from ultralytics import YOLOWorld

# Initialize a YOLO-World model
model = YOLOWorld("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Execute inference with the YOLOv8s-world model on the specified image
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

Questo frammento mostra quanto sia semplice caricare un modello pretrained ed eseguire una previsione su un'immagine.

Utilizzo della validazione#

La convalida del modello su un dataset è semplificata come segue:

from ultralytics import YOLO

# Create a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Conduct model validation on the COCO8 example dataset
metrics = model.val(data="coco8.yaml")

Utilizzo del tracking#

Il tracciamento degli oggetti con il modello YOLO-World su un video o immagini è semplificato come segue:

from ultralytics import YOLO

# Create a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Track with a YOLO-World model on a video
results = model.track(source="path/to/video.mp4")

Imposta i prompt#

Il framework YOLO-World consente di specificare dinamicamente le classi tramite prompt personalizzati, permettendoti di adattare il modello alle tue esigenze specifiche senza riaddestrarlo. Questa funzionalità è particolarmente utile per adattare il modello a nuovi domini o ad attività specifiche che originariamente non facevano parte dei dati di addestramento. Impostando prompt personalizzati, puoi indirizzare l'attenzione del modello verso gli oggetti di interesse, migliorando la pertinenza e l'accuratezza dei risultati del rilevamento.

Ad esempio, se la tua applicazione deve rilevare solo oggetti 'person' e 'bus', puoi specificare direttamente queste classi:

from ultralytics import YOLO

# Initialize a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or choose yolov8m/l-world.pt

# Define custom classes
model.set_classes(["person", "bus"])

# Execute prediction for specified categories on an image
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

model.set_classes(["person", "bus", ""])

Puoi anche salvare un modello dopo aver impostato classi personalizzate. In questo modo crei una versione del modello YOLO-World specializzata per il tuo caso d'uso specifico. Questo processo incorpora direttamente nel file del modello le definizioni delle tue classi personalizzate, rendendolo pronto all'uso con le classi specificate senza ulteriori modifiche. Segui questi passaggi per salvare e caricare il tuo modello YOLO-World personalizzato:

from ultralytics import YOLO

# Initialize a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt

# Define custom classes
model.set_classes(["person", "bus"])

# Save the model with the defined offline vocabulary
model.save("custom_yolov8s.pt")

from ultralytics import YOLO

# Load your custom model
model = YOLO("custom_yolov8s.pt")

# Run inference to detect your custom classes
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

Vantaggi del salvataggio con vocabolario personalizzato#

• Efficienza: semplifica il processo di rilevamento concentrandosi sugli oggetti pertinenti, riducendo il sovraccarico computazionale e accelerando l'inferenza.
• Flessibilità: consente di adattare facilmente il modello ad attività di rilevamento nuove o di nicchia senza dover ricorrere a un riaddestramento esteso o alla raccolta di dati.
• Semplicità: semplifica la distribuzione eliminando la necessità di specificare ripetutamente le classi personalizzate durante l'esecuzione, rendendo il modello direttamente utilizzabile con il vocabolario incorporato.
• Prestazioni: migliora l'accuratezza del rilevamento per le classi specificate concentrando l'attenzione e le risorse del modello sul riconoscimento degli oggetti definiti.

Questo approccio offre un metodo efficace per personalizzare i modelli di rilevamento di oggetti all'avanguardia per attività specifiche, rendendo l'AI avanzata più accessibile e applicabile a una gamma più ampia di applicazioni pratiche.

Riproduci da zero i risultati ufficiali (sperimentale)#

Prepara i dataset#

• Dati di addestramento

• Dati di convalida

Avvia l'addestramento da zero#

from ultralytics import YOLOWorld
from ultralytics.models.yolo.world.train_world import WorldTrainerFromScratch

# Option 1: Use Python dictionary
data = {
    "train": {
        "yolo_data": ["Objects365.yaml"],
        "grounding_data": [
            {
                "img_path": "flickr30k/images",
                "json_file": "flickr30k/final_flickr_separateGT_train.json",
            },
            {
                "img_path": "GQA/images",
                "json_file": "GQA/final_mixed_train_no_coco.json",
            },
        ],
    },
    "val": {"yolo_data": ["lvis.yaml"]},
}

# Option 2: Use YAML file (yolo_world_data.yaml)
# train:
#   yolo_data:
#     - Objects365.yaml
#   grounding_data:
#     - img_path: flickr/full_images/
#       json_file: flickr/annotations/final_flickr_separateGT_train_segm.json
#     - img_path: mixed_grounding/gqa/images
#       json_file: mixed_grounding/annotations/final_mixed_train_no_coco_segm.json
# val:
#   yolo_data:
#     - lvis.yaml

model = YOLOWorld("yolov8s-worldv2.yaml")
model.train(
    data=data,  # or data="yolo_world_data.yaml" if using YAML file
    batch=128,
    epochs=100,
    trainer=WorldTrainerFromScratch,
)

Citazioni e ringraziamenti#

Esprimiamo la nostra sincera gratitudine al Tencent AILab Computer Vision Center per il suo lavoro pionieristico nel rilevamento di oggetti a vocabolario aperto in tempo reale con YOLO-World:

@article{cheng2024yolow,
title={YOLO-World: Real-Time Open-Vocabulary Object Detection},
author={Cheng, Tianheng and Song, Lin and Ge, Yixiao and Liu, Wenyu and Wang, Xinggang and Shan, Ying},
journal={arXiv preprint arXiv:2401.17270},
year={2024}
}

Per approfondire, il paper originale di YOLO-World è disponibile su arXiv. Il codice sorgente del progetto e ulteriori risorse sono disponibili tramite il relativo repository GitHub. Apprezziamo il loro impegno nel promuovere il settore e nel condividere preziose conoscenze con la comunità.

FAQ#