Skip to content

YOLO-Modèle mondial

Le modèle YOLO-World introduit un modèle avancé en temps réel. Ultralytics YOLOv8-en temps réel pour les tâches de détection de vocabulaire ouvert. Cette innovation permet de détecter n'importe quel objet dans une image en se basant sur des textes descriptifs. En réduisant considérablement les exigences de calcul tout en préservant des performances compétitives, YOLO-World apparaît comme un outil polyvalent pour de nombreuses applications basées sur la vision.

YOLO-Aperçu de l'architecture du modèle mondial

Vue d'ensemble

YOLO-World relève les défis auxquels sont confrontés les modèles traditionnels de détection du vocabulaire ouvert, qui s'appuient souvent sur des modèles de transformateurs encombrants nécessitant des ressources informatiques considérables. La dépendance de ces modèles à l'égard de catégories d'objets prédéfinies limite également leur utilité dans les scénarios dynamiques. YOLO-World revitalise le cadre YOLOv8 avec des capacités de détection de vocabulaire ouvert, en employant la modélisation du langage visuel et le pré-entraînement sur de vastes ensembles de données pour exceller dans l'identification d'un large éventail d'objets dans des scénarios sans prise de vue avec une efficacité inégalée.

Caractéristiques principales

  1. Solution en temps réel : En exploitant la vitesse de calcul des CNN, YOLO-World offre une solution rapide de détection de vocabulaire ouvert, destinée aux industries qui ont besoin de résultats immédiats.

  2. Efficacité et performance : YOLO-World réduit les exigences en matière de calcul et de ressources sans sacrifier la performance, offrant une alternative solide aux modèles tels que SAM mais à une fraction du coût de calcul, permettant des applications en temps réel.

  3. Inférence avec un vocabulaire hors ligne : YOLO-World introduit une stratégie "inviter puis détecter", en employant un vocabulaire hors ligne pour améliorer encore l'efficacité. Cette approche permet d'utiliser des invites personnalisées calculées a priori, y compris des légendes ou des catégories, qui peuvent être encodées et stockées sous forme d'enchâssements de vocabulaire hors ligne, ce qui simplifie le processus de détection.

  4. Propulsé par YOLOv8: Construit sur Ultralytics YOLOv8YOLO-World s'appuie sur les dernières avancées en matière de détection d'objets en temps réel pour faciliter la détection de vocabulaires ouverts avec une précision et une rapidité inégalées.

  5. Excellence en matière de tests : YOLO World surpasse les détecteurs de vocabulaires ouverts existants, y compris les séries MDETR et GLIP, en termes de vitesse et d'efficacité dans les tests de référence standard, démontrant la capacité supérieure de YOLOv8 sur un seul GPU NVIDIA V100.

  6. Applications polyvalentes : YOLO-L'approche innovante de World ouvre de nouvelles possibilités pour une multitude de tâches de vision, offrant des améliorations de vitesse de plusieurs ordres de grandeur par rapport aux méthodes existantes.

Modèles disponibles, tâches prises en charge et modes de fonctionnement

Cette section détaille les modèles disponibles avec leurs poids pré-entraînés spécifiques, les tâches qu'ils prennent en charge et leur compatibilité avec les différents modes de fonctionnement tels que l'Inférence, la Validation, l'Entraînement et l'Exportation, notés par ✅ pour les modes pris en charge et ❌ pour les modes non pris en charge.

Note

Tous les poids de YOLOv8-World ont été directement migrés depuis le dépôt officiel YOLO-World, soulignant ainsi leurs excellentes contributions.

Type de modèle Poids pré-entraînés Tâches prises en charge Inférence Validation Formation Exporter
YOLOv8s-Monde yolov8s-monde.pt Détection d'objets ✅ ✅ ❌ ❌
YOLOv8s-mondev2 yolov8s-mondev2.pt Détection d'objets ✅ ✅ ❌ ✅
YOLOv8m-Monde yolov8m-monde.pt Détection d'objets ✅ ✅ ❌ ❌
YOLOv8m-mondev2 yolov8m-mondev2.pt Détection d'objets ✅ ✅ ❌ ✅
YOLOv8l-Monde yolov8l-monde.pt Détection d'objets ✅ ✅ ❌ ❌
YOLOv8l-mondev2 yolov8l-mondev2.pt Détection d'objets ✅ ✅ ❌ ✅
YOLOv8x-Monde yolov8x-monde.pt Détection d'objets ✅ ✅ ❌ ❌
YOLOv8x-mondev2 yolov8x-mondev2.pt Détection d'objets ✅ ✅ ❌ ✅

Transfert de zéro sur l'ensemble de données COCO

Type de modèle mAP mAP50 mAP75
yolov8s-Monde 37.4 52.0 40.6
yolov8s-mondev2 37.7 52.2 41.0
yolov8m-Monde 42.0 57.0 45.6
yolov8m-mondev2 43.0 58.4 46.8
yolov8l-Monde 45.7 61.3 49.8
yolov8l-mondev2 45.8 61.3 49.8
yolov8x-Monde 47.0 63.0 51.2
yolov8x-mondev2 47.1 62.8 51.4

Exemples d'utilisation

Les modèles YOLO-World sont faciles à intégrer dans tes applications Python . Ultralytics fournit une API Python et des commandes CLI conviviales pour rationaliser le développement.

Utilisation du train

Astuce

Nous recommandons fortement d'utiliser yolov8-worldv2 pour la formation personnalisée, parce qu'il prend en charge la formation déterministe et qu'il est également facile d'exporter d'autres formats, par exemple onnx/tensorrt.

La détection des objets est simple grâce à la fonction train comme illustré ci-dessous :

Exemple

PyTorch préformé *.pt ainsi que la configuration *.yaml peuvent être transmis à l'outil YOLOWorld() pour créer une instance de modèle dans python:

from ultralytics import YOLOWorld

# Load a pretrained YOLOv8s-worldv2 model
model = YOLOWorld('yolov8s-worldv2.pt')

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data='coco8.yaml', epochs=100, imgsz=640)

# Run inference with the YOLOv8n model on the 'bus.jpg' image
results = model('path/to/bus.jpg')
# Load a pretrained YOLOv8s-worldv2 model and train it on the COCO8 example dataset for 100 epochs
yolo train model=yolov8s-worldv2.yaml data=coco8.yaml epochs=100 imgsz=640

Prévoir l'utilisation

La détection des objets est simple grâce à la fonction predict comme illustré ci-dessous :

Exemple

from ultralytics import YOLOWorld

# Initialize a YOLO-World model
model = YOLOWorld('yolov8s-world.pt')  # or select yolov8m/l-world.pt for different sizes

# Execute inference with the YOLOv8s-world model on the specified image
results = model.predict('path/to/image.jpg')

# Show results
results[0].show()
# Perform object detection using a YOLO-World model
yolo predict model=yolov8s-world.pt source=path/to/image.jpg imgsz=640

Cet extrait démontre la simplicité du chargement d'un modèle pré-entraîné et de l'exécution d'une prédiction sur une image.

Utilisation du val

La validation d'un modèle sur un ensemble de données est simplifiée comme suit :

Exemple

from ultralytics import YOLO

# Create a YOLO-World model
model = YOLO('yolov8s-world.pt')  # or select yolov8m/l-world.pt for different sizes

# Conduct model validation on the COCO8 example dataset
metrics = model.val(data='coco8.yaml')
# Validate a YOLO-World model on the COCO8 dataset with a specified image size
yolo val model=yolov8s-world.pt data=coco8.yaml imgsz=640

Note

Les modèles YOLO-World fournis par Ultralytics sont préconfigurés avec les catégories de l'ensemble de données COCO dans le cadre de leur vocabulaire hors ligne, ce qui améliore l'efficacité pour une application immédiate. Cette intégration permet aux modèles YOLOv8-World de reconnaître et de prédire directement les 80 catégories standard définies dans l'ensemble de données COCO sans nécessiter de configuration ou de personnalisation supplémentaire.

Définir les messages-guides

YOLO-Vue d'ensemble des noms de classe de l'invite mondiale

Le cadre YOLO-World permet la spécification dynamique des classes par le biais d'invites personnalisées, ce qui permet aux utilisateurs d'adapter le modèle à leurs besoins spécifiques sans avoir à suivre une nouvelle formation. Cette fonction est particulièrement utile pour adapter le modèle à de nouveaux domaines ou à des tâches spécifiques qui ne faisaient pas partie à l'origine des données de formation. En définissant des invites personnalisées, les utilisateurs peuvent essentiellement guider l'attention du modèle vers des objets intéressants, ce qui améliore la pertinence et la précision des résultats de la détection.

Par exemple, si ton application ne nécessite que la détection des objets "personne" et "bus", tu peux spécifier ces classes directement :

Exemple

from ultralytics import YOLO

# Initialize a YOLO-World model
model = YOLO('yolov8s-world.pt')  # or choose yolov8m/l-world.pt

# Define custom classes
model.set_classes(["person", "bus"])

# Execute prediction for specified categories on an image
results = model.predict('path/to/image.jpg')

# Show results
results[0].show()

Tu peux aussi enregistrer un modèle après avoir défini des classes personnalisées. Tu peux ainsi créer une version du modèle YOLO-World spécialisée pour ton cas d'utilisation spécifique. Ce processus incorpore les définitions de tes classes personnalisées directement dans le fichier du modèle, ce qui rend le modèle prêt à être utilisé avec les classes que tu as spécifiées sans autre ajustement. Suis les étapes suivantes pour enregistrer et charger ton modèle personnalisé YOLOv8 :

Exemple

Charge d'abord un modèle YOLO-World, définis des classes personnalisées et enregistre-le :

from ultralytics import YOLO

# Initialize a YOLO-World model
model = YOLO('yolov8s-world.pt')  # or select yolov8m/l-world.pt

# Define custom classes
model.set_classes(["person", "bus"])

# Save the model with the defined offline vocabulary
model.save("custom_yolov8s.pt")

Après l'enregistrement, le modèle custom_yolov8s.pt se comporte comme n'importe quel autre modèle YOLOv8 pré-entraîné, mais avec une différence essentielle : il est désormais optimisé pour détecter uniquement les classes que tu as définies. Cette personnalisation peut améliorer considérablement les performances et l'efficacité de la détection pour tes scénarios d'application spécifiques.

from ultralytics import YOLO

# Load your custom model
model = YOLO('custom_yolov8s.pt')

# Run inference to detect your custom classes
results = model.predict('path/to/image.jpg')

# Show results
results[0].show()

Avantages de la sauvegarde avec le vocabulaire personnalisé

  • Efficacité: Rationalise le processus de détection en se concentrant sur les objets pertinents, en réduisant les frais généraux de calcul et en accélérant l'inférence.
  • Flexibilité: Permet d'adapter facilement le modèle à des tâches de détection nouvelles ou de niche, sans qu'il soit nécessaire de procéder à un recyclage ou à une collecte de données importants.
  • Simplicité: Simplifie le déploiement en éliminant le besoin de spécifier à plusieurs reprises des classes personnalisées au moment de l'exécution, ce qui rend le modèle directement utilisable avec son vocabulaire intégré.
  • Performance: Améliore la précision de la détection pour les classes spécifiées en concentrant l'attention et les ressources du modèle sur la reconnaissance des objets définis.

Cette approche fournit un moyen puissant de personnaliser les modèles de détection d'objets de pointe pour des tâches spécifiques, ce qui rend l'IA avancée plus accessible et applicable à un plus grand nombre d'applications pratiques.

Reproduire les résultats officiels à partir de zéro(Expérimental)

Préparer les ensembles de données

  • Données du train
Ensemble de données Type Échantillons Boîtes Fichiers d'annotation
Objets365v1 Détection 609k 9621k objets365_train.json
GQA Mise à la terre 621k 3681k final_mixed_train_no_coco.json
Flickr30k Mise à la terre 149k 641k final_flickr_separateGT_train.json
  • Données de valeur
Ensemble de données Type Fichiers d'annotation
LVIS minival Détection minival.txt

Lancer une formation à partir de zéro

Note

WorldTrainerFromScratch est hautement personnalisé pour permettre l'entraînement des modèles yolo-world sur les ensembles de données de détection et les ensembles de données de mise à la terre simultanément. Pour plus de détails, consulte le site ultralytics.model.yolo.world.train_world.py.

Exemple

from ultralytics.models.yolo.world.train_world import WorldTrainerFromScratch
from ultralytics import YOLOWorld

data = dict(
    train=dict(
        yolo_data=["Objects365.yaml"],
        grounding_data=[
            dict(
                img_path="../datasets/flickr30k/images",
                json_file="../datasets/flickr30k/final_flickr_separateGT_train.json",
            ),
            dict(
                img_path="../datasets/GQA/images",
                json_file="../datasets/GQA/final_mixed_train_no_coco.json",
            ),
        ],
    ),
    val=dict(yolo_data=["lvis.yaml"]),
)
model = YOLOWorld("yolov8s-worldv2.yaml")
model.train(data=data, batch=128, epochs=100, trainer=WorldTrainerFromScratch)

Citations et remerciements

Nous exprimons notre gratitude au Tencent AILab Computer Vision Center pour son travail de pionnier dans la détection d'objets à vocabulaire ouvert en temps réel avec YOLO-World :

@article{cheng2024yolow,
title={YOLO-World: Real-Time Open-Vocabulary Object Detection},
author={Cheng, Tianheng and Song, Lin and Ge, Yixiao and Liu, Wenyu and Wang, Xinggang and Shan, Ying},
journal={arXiv preprint arXiv:2401.17270},
year={2024}
}

Pour une lecture plus approfondie, l'article original YOLO-World est disponible sur arXiv. Le code source du projet et des ressources supplémentaires sont accessibles via leur dépôt GitHub. Nous apprécions leur engagement à faire progresser le domaine et à partager leurs précieuses connaissances avec la communauté.



Créé le 2024-02-14, Mis à jour le 2024-04-02
Auteurs : Burhan-Q (1), Laughing-q (4), glenn-jocher (1)

Commentaires