YOLO-World-Modell#

Das YOLO-World-Modell führt einen fortschrittlichen Echtzeitansatz auf Basis von Ultralytics YOLOv8 für Aufgaben der Erkennung mit offenem Vokabular ein. Diese Innovation ermöglicht die Erkennung beliebiger Objekte in einem Bild anhand beschreibender Texte. Durch die deutliche Senkung des Rechenaufwands bei gleichzeitig wettbewerbsfähiger Leistung erweist sich YOLO-World als vielseitiges Werkzeug für zahlreiche bildverarbeitungsbasierte Anwendungen.

Übersicht#

YOLO-World bewältigt die Herausforderungen herkömmlicher Modelle zur Erkennung mit offenem Vokabular, die häufig auf umfangreichen Transformer-Modellen basieren und erhebliche Rechenressourcen erfordern. Die Abhängigkeit dieser Modelle von vordefinierten Objektkategorien schränkt ihre Einsatzmöglichkeiten in dynamischen Szenarien zusätzlich ein. YOLO-World erweitert das YOLOv8-Framework um Fähigkeiten zur Erkennung mit offenem Vokabular und nutzt Vision-Language Modeling sowie das Vortraining auf umfangreichen Datensätzen, um in Zero-Shot-Szenarien eine breite Palette von Objekten mit beispielloser Effizienz zu erkennen.

Wenn du für Aufgaben mit offenem Vokabular außerdem Instanzmasken, visuelle Prompts oder einen promptfreien Modus benötigst, sieh dir YOLOE an, das dieselbe set_classes()-API verwendet.

Wichtige Funktionen#

1. Echtzeitlösung: YOLO-World nutzt die Rechengeschwindigkeit von CNNs und liefert eine schnelle Lösung zur Erkennung mit offenem Vokabular für Branchen, die sofortige Ergebnisse benötigen.

2. Effizienz und Leistung: YOLO-World reduziert den Rechen- und Ressourcenbedarf erheblich, ohne die Leistung zu beeinträchtigen. Dadurch bietet es eine robuste Alternative zu Modellen wie SAM – bei einem Bruchteil des Rechenaufwands und mit Unterstützung von Echtzeitanwendungen.

3. Inferenz mit Offline-Vokabular: YOLO-World führt eine Strategie nach dem Muster „Prompt, dann erkennen“ ein und verwendet ein Offline-Vokabular, um die Effizienz weiter zu steigern. Dieser Ansatz ermöglicht die Verwendung vorab berechneter benutzerdefinierter Prompts, darunter Bildunterschriften oder Kategorien, die als Einbettungen des Offline-Vokabulars kodiert und gespeichert werden, wodurch der Erkennungsprozess optimiert wird.

4. Basiert auf YOLOv8: YOLO-World basiert auf Ultralytics YOLOv8 und nutzt die neuesten Fortschritte bei der Objekterkennung in Echtzeit, um die Erkennung mit offenem Vokabular mit beispielloser Genauigkeit und Geschwindigkeit zu ermöglichen.

5. Hervorragende Benchmark-Ergebnisse: YOLO-World übertrifft bestehende Detektoren mit offenem Vokabular, darunter die MDETR- und GLIP-Reihen, bei Geschwindigkeit und Effizienz auf Standardbenchmarks und demonstriert die überlegenen Fähigkeiten von YOLOv8 auf einer einzelnen NVIDIA V100 GPU.

6. Vielseitige Anwendungen: Der innovative Ansatz von YOLO-World eröffnet neue Möglichkeiten für zahlreiche Bildverarbeitungsaufgaben und bietet gegenüber bestehenden Methoden Geschwindigkeitssteigerungen um Größenordnungen.

Verfügbare Modelle, unterstützte Aufgaben und Betriebsmodi#

In diesem Abschnitt werden die verfügbaren Modelle mit ihren jeweiligen vortrainierten Gewichten, den von ihnen unterstützten Aufgaben und ihrer Kompatibilität mit verschiedenen Betriebsmodi wie Inferenz, Validierung, Training und Export beschrieben. ✅ kennzeichnet unterstützte Modi, ❌ nicht unterstützte Modi.

Zero-Shot-Transfer auf dem COCO-Datensatz#

Verwendungsbeispiele#

Die YOLO-World-Modelle lassen sich einfach in deine Python-Anwendungen integrieren. Ultralytics stellt eine benutzerfreundliche Python-API und CLI-Befehle bereit, um die Entwicklung zu optimieren.

Trainingsverwendung#

Die Objekterkennung ist mit der Methode train unkompliziert, wie unten gezeigt:

from ultralytics import YOLOWorld

# Load a pretrained YOLOv8s-worldv2 model
model = YOLOWorld("yolov8s-worldv2.pt")

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the YOLO-World model on the 'bus.jpg' image
results = model("path/to/bus.jpg")

Verwendung für Vorhersagen#

Die Objekterkennung ist mit der Methode predict unkompliziert, wie unten gezeigt:

from ultralytics import YOLOWorld

# Initialize a YOLO-World model
model = YOLOWorld("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Execute inference with the YOLOv8s-world model on the specified image
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

Dieses Beispiel zeigt, wie einfach sich ein vortrainiertes Modell laden und eine Vorhersage für ein Bild ausführen lässt.

Verwendung für die Validierung#

Die Validierung eines Modells auf einem Datensatz läuft wie folgt ab:

from ultralytics import YOLO

# Create a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Conduct model validation on the COCO8 example dataset
metrics = model.val(data="coco8.yaml")

Verwendung für die Verfolgung#

Das Objekt-Tracking mit dem YOLO-World-Modell auf einem Video oder Bildern läuft wie folgt ab:

from ultralytics import YOLO

# Create a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Track with a YOLO-World model on a video
results = model.track(source="path/to/video.mp4")

Prompts festlegen#

Das YOLO-World-Framework ermöglicht die dynamische Festlegung von Klassen durch benutzerdefinierte Prompts und gibt dir die Möglichkeit, das Modell ohne erneutes Training an deine spezifischen Anforderungen anzupassen. Diese Funktion ist besonders nützlich, um das Modell an neue Domänen oder spezifische Aufgaben anzupassen, die ursprünglich nicht Teil der Trainingsdaten waren. Durch das Festlegen benutzerdefinierter Prompts kannst du den Fokus des Modells gezielt auf relevante Objekte lenken und so die Relevanz und Genauigkeit der Erkennungsergebnisse erhöhen.

Wenn deine Anwendung beispielsweise nur die Objekte „person“ und „bus“ erkennen muss, kannst du diese Klassen direkt angeben:

from ultralytics import YOLO

# Initialize a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or choose yolov8m/l-world.pt

# Define custom classes
model.set_classes(["person", "bus"])

# Execute prediction for specified categories on an image
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

model.set_classes(["person", "bus", ""])

Du kannst ein Modell auch nach dem Festlegen benutzerdefinierter Klassen speichern. Dadurch erstellst du eine Version des YOLO-World-Modells, die auf deinen spezifischen Anwendungsfall spezialisiert ist. Bei diesem Vorgang werden deine benutzerdefinierten Klassendefinitionen direkt in die Modelldatei eingebettet, sodass das Modell ohne weitere Anpassungen mit den von dir festgelegten Klassen verwendet werden kann. Führe die folgenden Schritte aus, um dein benutzerdefiniertes YOLO-World-Modell zu speichern und zu laden:

from ultralytics import YOLO

# Initialize a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt

# Define custom classes
model.set_classes(["person", "bus"])

# Save the model with the defined offline vocabulary
model.save("custom_yolov8s.pt")

from ultralytics import YOLO

# Load your custom model
model = YOLO("custom_yolov8s.pt")

# Run inference to detect your custom classes
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

Vorteile des Speicherns mit benutzerdefiniertem Vokabular#

• Effizienz: Optimiert den Erkennungsprozess, indem der Fokus auf relevante Objekte gelegt, der Rechenaufwand reduziert und die Inferenz beschleunigt wird.
• Flexibilität: Ermöglicht die einfache Anpassung des Modells an neue oder spezielle Erkennungsaufgaben, ohne umfangreiches erneutes Training oder das Sammeln zusätzlicher Daten.
• Einfachheit: Vereinfacht die Bereitstellung, da benutzerdefinierte Klassen nicht bei jeder Ausführung erneut angegeben werden müssen. Dadurch kann das Modell direkt mit seinem eingebetteten Vokabular verwendet werden.
• Leistung: Erhöht die Erkennungsgenauigkeit für die festgelegten Klassen, indem die Aufmerksamkeit und Ressourcen des Modells auf die Erkennung der definierten Objekte konzentriert werden.

Dieser Ansatz bietet eine leistungsstarke Möglichkeit, hochmoderne Objekterkennungsmodelle für spezifische Aufgaben anzupassen und fortschrittliche KI für ein breiteres Spektrum praktischer Anwendungen zugänglicher und nutzbarer zu machen.

Offizielle Ergebnisse von Grund auf reproduzieren (experimentell)#

Datensätze vorbereiten#

• Trainingsdaten

• Validierungsdaten

Training von Grund auf starten#

from ultralytics import YOLOWorld
from ultralytics.models.yolo.world.train_world import WorldTrainerFromScratch

# Option 1: Use Python dictionary
data = {
    "train": {
        "yolo_data": ["Objects365.yaml"],
        "grounding_data": [
            {
                "img_path": "flickr30k/images",
                "json_file": "flickr30k/final_flickr_separateGT_train.json",
            },
            {
                "img_path": "GQA/images",
                "json_file": "GQA/final_mixed_train_no_coco.json",
            },
        ],
    },
    "val": {"yolo_data": ["lvis.yaml"]},
}

# Option 2: Use YAML file (yolo_world_data.yaml)
# train:
#   yolo_data:
#     - Objects365.yaml
#   grounding_data:
#     - img_path: flickr/full_images/
#       json_file: flickr/annotations/final_flickr_separateGT_train_segm.json
#     - img_path: mixed_grounding/gqa/images
#       json_file: mixed_grounding/annotations/final_mixed_train_no_coco_segm.json
# val:
#   yolo_data:
#     - lvis.yaml

model = YOLOWorld("yolov8s-worldv2.yaml")
model.train(
    data=data,  # or data="yolo_world_data.yaml" if using YAML file
    batch=128,
    epochs=100,
    trainer=WorldTrainerFromScratch,
)

Zitate und Danksagungen#

Wir danken dem Tencent AILab Computer Vision Center herzlich für seine wegweisende Arbeit zur Echtzeit-Objekterkennung mit offenem Vokabular mit YOLO-World:

@article{cheng2024yolow,
title={YOLO-World: Real-Time Open-Vocabulary Object Detection},
author={Cheng, Tianheng and Song, Lin and Ge, Yixiao and Liu, Wenyu and Wang, Xinggang and Shan, Ying},
journal={arXiv preprint arXiv:2401.17270},
year={2024}
}

Weitere Informationen findest du im Originalartikel zu YOLO-World auf arXiv. Der Quellcode des Projekts und zusätzliche Ressourcen sind über das zugehörige GitHub-Repository verfügbar. Wir schätzen das Engagement des Teams, dieses Gebiet voranzubringen und der Community wertvolle Erkenntnisse zur Verfügung zu stellen.

FAQ#