YOLO-World-Modell#

Das YOLO-World-Modell stellt einen fortschrittlichen Echtzeitansatz auf Basis von Ultralytics YOLOv8 für Aufgaben der Erkennung mit offenem Vokabular vor. Diese Innovation ermöglicht die Erkennung beliebiger Objekte in einem Bild anhand beschreibender Texte. Da der Rechenaufwand deutlich gesenkt wird, während die Wettbewerbsfähigkeit erhalten bleibt, ist YOLO-World ein vielseitiges Werkzeug für zahlreiche bildverarbeitungsbasierte Anwendungen.

Übersicht#

YOLO-World begegnet den Herausforderungen herkömmlicher Modelle zur Erkennung mit offenem Vokabular, die häufig auf aufwendige Transformer-Modelle mit hohem Rechenbedarf angewiesen sind. Die Abhängigkeit dieser Modelle von vordefinierten Objektkategorien schränkt ihren Nutzen in dynamischen Szenarien ebenfalls ein. YOLO-World erweitert das YOLOv8-Framework um Funktionen zur Erkennung mit offenem Vokabular und nutzt dafür die Bild-Sprachmodellierung sowie das Vortraining auf umfangreichen Datensätzen. So kann es in Zero-Shot-Szenarien mit unübertroffener Effizienz eine große Bandbreite von Objekten erkennen.

Für Aufgaben mit offenem Vokabular, bei denen auch Instanzmasken, visuelle Prompts oder ein Modus ohne Prompts benötigt werden, findest du unter YOLOE eine Lösung mit derselben set_classes()-API.

Wichtige Funktionen#

1. Echtzeitlösung: YOLO-World nutzt die Rechengeschwindigkeit von CNNs und bietet eine schnelle Erkennung mit offenem Vokabular für Branchen, die unmittelbare Ergebnisse benötigen.

2. Effizienz und Leistung: YOLO-World verringert den Rechen- und Ressourcenbedarf, ohne Abstriche bei der Leistung zu machen. Es bietet eine leistungsfähige Alternative zu Modellen wie SAM, benötigt aber nur einen Bruchteil der Rechenleistung und ermöglicht so Echtzeitanwendungen.

3. Inferenz mit Offline-Vokabular: YOLO-World führt eine Strategie nach dem Prinzip „Prompt, dann Erkennung“ ein, bei der ein Offline-Vokabular die Effizienz weiter steigert. Mit diesem Ansatz lassen sich zuvor berechnete benutzerdefinierte Prompts, darunter Bildbeschreibungen oder Kategorien, als Einbettungen des Offline-Vokabulars kodieren und speichern, wodurch der Erkennungsprozess optimiert wird.

4. Auf YOLOv8 aufgebaut: YOLO-World basiert auf Ultralytics YOLOv8 und nutzt die neuesten Fortschritte bei der Echtzeit-Objekterkennung, um die Erkennung mit offenem Vokabular mit beispielloser Genauigkeit und Geschwindigkeit zu ermöglichen.

5. Hervorragende Benchmark-Ergebnisse: YOLO-World übertrifft bestehende Detektoren mit offenem Vokabular, darunter MDETR und die GLIP-Reihe, bei Geschwindigkeit und Effizienz in Standard-Benchmarks. Das demonstriert die überlegene Leistungsfähigkeit von YOLOv8 auf einer einzelnen NVIDIA V100-GPU.

6. Vielseitige Anwendungen: Der innovative Ansatz von YOLO-World eröffnet neue Möglichkeiten für zahlreiche Bildverarbeitungsaufgaben und sorgt im Vergleich zu bestehenden Methoden für eine um Größenordnungen höhere Geschwindigkeit.

Verfügbare Modelle, unterstützte Aufgaben und Betriebsmodi#

In diesem Abschnitt werden die verfügbaren Modelle und ihre jeweiligen vortrainierten Gewichte, die unterstützten Aufgaben und ihre Kompatibilität mit verschiedenen Betriebsmodi wie Inferenz, Validierung, Training und Export beschrieben. Unterstützte Modi sind mit ✅ und nicht unterstützte Modi mit ❌ gekennzeichnet.

Zero-Shot-Transfer auf dem COCO-Datensatz#

Anwendungsbeispiele#

Die YOLO-World-Modelle lassen sich leicht in deine Python-Anwendungen integrieren. Ultralytics stellt eine benutzerfreundliche Python-API und CLI-Befehle bereit, um die Entwicklung zu vereinfachen.

Training verwenden#

Die Objekterkennung ist mit der Methode train unkompliziert, wie unten gezeigt:

from ultralytics import YOLOWorld

# Ein vortrainiertes YOLOv8s-worldv2-Modell laden
model = YOLOWorld("yolov8s-worldv2.pt")

# Das Modell 100 Epochen lang mit dem COCO8-Beispieldatensatz trainieren
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Mit dem YOLO-World-Modell eine Inferenz auf dem Bild „bus.jpg“ ausführen
results = model("path/to/bus.jpg")

Verwendung für Vorhersagen#

Die Objekterkennung ist mit der Methode predict unkompliziert, wie unten gezeigt:

from ultralytics import YOLOWorld

# Ein YOLO-World-Modell initialisieren
model = YOLOWorld("yolov8s-world.pt")  # oder yolov8m/l-world.pt für andere Größen auswählen

# Mit dem YOLOv8s-world-Modell eine Inferenz für das angegebene Bild ausführen
results = model.predict("path/to/image.jpg")

# Ergebnisse anzeigen
results[0].show()

Dieses Codebeispiel zeigt, wie einfach es ist, ein vortrainiertes Modell zu laden und eine Vorhersage für ein Bild auszuführen.

Verwendung zur Validierung#

Die Modellvalidierung auf einem Datensatz lässt sich wie folgt vereinfachen:

from ultralytics import YOLO

# Ein YOLO-World-Modell erstellen
model = YOLO("yolov8s-world.pt")  # oder yolov8m/l-world.pt für andere Größen auswählen

# Die Modellvalidierung auf dem COCO8-Beispieldatensatz durchführen
metrics = model.val(data="coco8.yaml")

Tracking-Nutzung#

Objektverfolgung mit dem YOLO-World-Modell in einem Video oder mit Bildern lässt sich wie folgt vereinfachen:

from ultralytics import YOLO

# Ein YOLO-World-Modell erstellen
model = YOLO("yolov8s-world.pt")  # oder yolov8m/l-world.pt für andere Größen auswählen

# Mit einem YOLO-World-Modell ein Video verfolgen
results = model.track(source="path/to/video.mp4")

Prompts festlegen#

Das YOLO-World-Framework ermöglicht die dynamische Festlegung von Klassen über benutzerdefinierte Prompts. So kannst du das Modell ohne erneutes Training an deine spezifischen Anforderungen anpassen. Diese Funktion ist besonders nützlich, um das Modell auf neue Bereiche oder bestimmte Aufgaben auszurichten, die ursprünglich nicht Teil der Trainingsdaten waren. Mit benutzerdefinierten Prompts kannst du das Modell gezielt auf relevante Objekte lenken und so die Relevanz und Genauigkeit der Erkennungsergebnisse verbessern.

Wenn deine Anwendung beispielsweise nur die Objekte „person“ und „bus“ erkennen muss, kannst du diese Klassen direkt angeben:

from ultralytics import YOLO

# Ein YOLO-World-Modell initialisieren
model = YOLO("yolov8s-world.pt")  # oder yolov8m/l-world.pt auswählen

# Benutzerdefinierte Klassen definieren
model.set_classes(["person", "bus"])

# Vorhersage für die angegebenen Kategorien in einem Bild ausführen
results = model.predict("path/to/image.jpg")

# Ergebnisse anzeigen
results[0].show()

model.set_classes(["person", "bus", ""])

Du kannst ein Modell auch speichern, nachdem du benutzerdefinierte Klassen festgelegt hast. Dadurch erstellst du eine Version des YOLO-World-Modells, die auf deinen konkreten Anwendungsfall spezialisiert ist. Dabei werden deine benutzerdefinierten Klassendefinitionen direkt in die Modelldatei eingebettet. Das Modell ist dadurch sofort mit den angegebenen Klassen einsatzbereit und muss nicht weiter angepasst werden. So speicherst und lädst du dein benutzerdefiniertes YOLO-World-Modell:

from ultralytics import YOLO

# Ein YOLO-World-Modell initialisieren
model = YOLO("yolov8s-world.pt")  # oder yolov8m/l-world.pt auswählen

# Benutzerdefinierte Klassen definieren
model.set_classes(["person", "bus"])

# Das Modell mit dem festgelegten Offline-Vokabular speichern
model.save("custom_yolov8s.pt")

from ultralytics import YOLO

# Dein benutzerdefiniertes Modell laden
model = YOLO("custom_yolov8s.pt")

# Eine Inferenz ausführen, um deine benutzerdefinierten Klassen zu erkennen
results = model.predict("path/to/image.jpg")

# Ergebnisse anzeigen
results[0].show()

Vorteile des Speicherns mit benutzerdefiniertem Vokabular#

• Effizienz: Der Erkennungsprozess konzentriert sich auf relevante Objekte, wodurch der Rechenaufwand sinkt und die Inferenz schneller wird.
• Flexibilität: Das Modell lässt sich leicht an neue oder spezielle Erkennungsaufgaben anpassen, ohne dass umfangreiches erneutes Training oder die Erfassung weiterer Daten erforderlich ist.
• Einfachheit: Die Bereitstellung wird vereinfacht, da benutzerdefinierte Klassen nicht bei jeder Ausführung erneut angegeben werden müssen. Das Modell kann direkt mit seinem eingebetteten Vokabular verwendet werden.
• Leistung: Die Erkennungsgenauigkeit für festgelegte Klassen steigt, da die Aufmerksamkeit und Ressourcen des Modells auf die Erkennung der definierten Objekte ausgerichtet werden.

Dieser Ansatz ermöglicht es, hochmoderne Objekterkennungsmodelle gezielt für bestimmte Aufgaben anzupassen und fortschrittliche KI für ein breiteres Spektrum praktischer Anwendungen zugänglicher und nutzbarer zu machen.

Offizielle Ergebnisse von Grund auf reproduzieren (experimentell)#

Datensätze vorbereiten#

• Trainingsdaten

• Validierungsdaten

Training von Grund auf starten#

from ultralytics import YOLOWorld
from ultralytics.models.yolo.world.train_world import WorldTrainerFromScratch

# Option 1: Python-Wörterbuch verwenden
data = {
    "train": {
        "yolo_data": ["Objects365.yaml"],
        "grounding_data": [
            {
                "img_path": "flickr30k/images",
                "json_file": "flickr30k/final_flickr_separateGT_train.json",
            },
            {
                "img_path": "GQA/images",
                "json_file": "GQA/final_mixed_train_no_coco.json",
            },
        ],
    },
    "val": {"yolo_data": ["lvis.yaml"]},
}

# Option 2: YAML-Datei verwenden (yolo_world_data.yaml)
# train:
#   yolo_data:
#     - Objects365.yaml
#   grounding_data:
#     - img_path: flickr/full_images/
# json_file: flickr/annotations/final_flickr_separateGT_train_segm.json
# - img_path: mixed_grounding/gqa/images
# json_file: mixed_grounding/annotations/final_mixed_train_no_coco_segm.json
# val:
#   yolo_data:
# - lvis.yaml

model = YOLOWorld("yolov8s-worldv2.yaml")
model.train(
    data=data,  # oder data="yolo_world_data.yaml" verwenden, wenn du eine YAML-Datei nutzt
    batch=128,
    epochs=100,
    trainer=WorldTrainerFromScratch,
)

Zitate und Danksagungen#

Wir danken dem Tencent AILab Computer Vision Center herzlich für seine Pionierarbeit bei der echtzeitfähigen Objekterkennung mit offenem Vokabular und YOLO-World:

@article{cheng2024yolow,
title={YOLO-World: Real-Time Open-Vocabulary Object Detection},
author={Cheng, Tianheng and Song, Lin and Ge, Yixiao and Liu, Wenyu and Wang, Xinggang and Shan, Ying},
journal={arXiv preprint arXiv:2401.17270},
year={2024}
}

Das Originalpapier zu YOLO-World findest du auf arXiv. Der Quellcode und weitere Ressourcen des Projekts sind über das GitHub-Repository verfügbar. Wir schätzen das Engagement des Teams, dieses Fachgebiet voranzubringen und wertvolle Erkenntnisse mit der Community zu teilen.

Häufig gestellte Fragen#