YOLOv10: Echtzeit-Objekterkennung von Anfang bis Ende#

YOLOv10 wurde im Mai 2024 veröffentlicht und basiert auf dem Ultralytics-Python-Paket, das von Forschenden der Tsinghua University entwickelt wurde. Das Modell führt einen neuen Ansatz für die Echtzeit-Objekterkennung ein und behebt sowohl Schwächen bei der Nachverarbeitung als auch bei der Modellarchitektur früherer YOLO-Versionen. Durch den Verzicht auf die nichtmaximale Unterdrückung (NMS) und die Optimierung verschiedener Modellkomponenten erzielte YOLOv10 zum Zeitpunkt seiner Veröffentlichung hervorragende Leistung bei deutlich geringerem Rechenaufwand. Sein NMS-freies End-to-End-Design ebnete den Weg für einen Ansatz, der in YOLO26 weiterentwickelt wurde.

Übersicht#

Echtzeit-Objekterkennung zielt darauf ab, Objektklassen und -positionen in Bildern präzise und mit geringer Latenz vorherzusagen. Die YOLO-Serie steht dank ihres ausgewogenen Verhältnisses von Leistung und Effizienz an der Spitze dieser Forschung. Die Abhängigkeit von NMS und Ineffizienzen in der Architektur haben jedoch eine optimale Leistung verhindert. YOLOv10 begegnet diesen Problemen mit konsistenten dualen Zuordnungen für NMS-freies Training und einer ganzheitlichen Strategie für ein modellseitiges Gleichgewicht zwischen Effizienz und Genauigkeit.

Architektur#

Die Architektur von YOLOv10 baut auf den Stärken früherer YOLO-Modelle auf und führt zugleich mehrere wichtige Neuerungen ein. Die Modellarchitektur besteht aus folgenden Komponenten:

1. Backbone: Das Backbone von YOLOv10 ist für die Merkmalsextraktion zuständig und verwendet eine verbesserte Version von CSPNet (Cross-Stage-Partial-Netzwerk), um den Gradientenfluss zu verbessern und rechnerische Redundanzen zu verringern.
2. Neck: Der Neck fasst Merkmale aus verschiedenen Skalen zusammen und leitet sie an den Head weiter. Er umfasst PAN-Schichten (Path-Aggregation-Netzwerk) für eine effektive Fusion von Merkmalen aus mehreren Skalen.
3. One-to-Many-Head: Erzeugt während des Trainings mehrere Vorhersagen pro Objekt, um reichhaltige Lernsignale bereitzustellen und die Lernpräzision zu verbessern.
4. One-to-One-Kopf: Erzeugt während der Inferenz für jedes Objekt genau eine beste Vorhersage. Dadurch entfällt NMS, was die Latenz verringert und die Effizienz verbessert.

Wichtige Funktionen#

1. NMS-freies Training: Verwendet konsistente doppelte Zuweisungen, um NMS überflüssig zu machen und die Inferenzlatenz zu verringern.
2. Ganzheitliches Modelldesign: Umfassende Optimierung verschiedener Komponenten im Hinblick auf Effizienz und Genauigkeit, darunter leichte Klassifizierungsköpfe, räumlich-kanalweise entkoppeltes Downsampling und ein ranggesteuertes Blockdesign.
3. Erweiterte Modellfunktionen: Integriert Faltungen mit großen Kerneln und partielle Self-Attention-Module, um die Leistung ohne nennenswerten Rechenaufwand zu verbessern.

Modellvarianten#

YOLOv10 ist in verschiedenen Modellgrößen erhältlich, um unterschiedlichen Anwendungsanforderungen gerecht zu werden:

• YOLOv10n: Nano-Version für Umgebungen mit äußerst begrenzten Ressourcen.
• YOLOv10s: Small-Version als ausgewogene Kombination aus Geschwindigkeit und Genauigkeit.
• YOLOv10m: Medium-Version für den allgemeinen Einsatz.
• YOLOv10b: Ausgewogene Version mit größerer Breite für höhere Genauigkeit.
• YOLOv10l: Large-Version für höhere Genauigkeit bei entsprechend höherem Rechenaufwand.
• YOLOv10x: Extra-Large-Version für maximale Genauigkeit und Leistung.

Leistung#

YOLOv10 übertrifft frühere YOLO-Versionen und andere hochmoderne Modelle hinsichtlich Genauigkeit und Effizienz. So ist YOLOv10s beispielsweise 1,8-mal schneller als RT-DETR-R18 und erzielt eine ähnliche AP auf dem COCO-Datensatz. YOLOv10b weist bei gleicher Leistung eine um 46 % geringere Latenz und 25 % weniger Parameter auf als YOLOv9-C.

Methodik#

Konsistente doppelte Zuweisungen für NMS-freies Training#

YOLOv10 verwendet beim Training doppelte Label-Zuweisungen und kombiniert One-to-Many- und One-to-One-Strategien, um eine umfassende Überwachung und eine effiziente End-to-End-Bereitstellung zu gewährleisten. Bei Vorhersagen und der Validierung mit Ultralytics wird standardmäßig der One-to-Many-Kopf mit NMS verwendet; setze nms=False, um den NMS-freien Kopf auszuwählen. Die konsistente Zuordnungsmetrik stimmt die Überwachung beider Strategien aufeinander ab und verbessert so die Qualität der Vorhersagen während der Inferenz.

Ganzheitliches Modelldesign mit Fokus auf Effizienz und Genauigkeit#

Effizienzsteigerungen#

1. Leichter Klassifizierungskopf: Verringert den Rechenaufwand des Klassifizierungskopfs durch tiefenweise separierbare Faltungen.
2. Entkoppeltes räumliches und kanalbezogenes Downsampling: Entkoppelt die räumliche Verkleinerung und die Kanalmodulation, um Informationsverlust und Rechenaufwand zu minimieren.
3. Ranggesteuertes Blockdesign: Passt das Blockdesign an die intrinsische Redundanz der jeweiligen Stufe an, um eine optimale Parameternutzung sicherzustellen.

Genauigkeitssteigerungen#

1. Faltung mit großem Kernel: Vergrößert das rezeptive Feld, um die Fähigkeit zur Merkmalsextraktion zu verbessern.
2. Partielle Self-Attention (PSA): Verwendet Self-Attention-Module, um das Lernen globaler Repräsentationen mit minimalem Mehraufwand zu verbessern.

Experimente und Ergebnisse#

YOLOv10 wurde umfassend auf Standard-Benchmarks wie COCO getestet und zeigt dabei überlegene Leistung und Effizienz. Das Modell erzielt bei verschiedenen Varianten Ergebnisse auf dem neuesten Stand der Technik und weist gegenüber früheren Versionen und anderen aktuellen Detektoren deutliche Verbesserungen bei Latenz und Genauigkeit auf.

Vergleiche#

Im Vergleich zu anderen hochmodernen Detektoren:

• YOLOv10s / x sind 1,8× / 1,3× schneller als RT-DETR-R18 / R101 und erzielen eine ähnliche Genauigkeit
• YOLOv10b hat bei gleicher Genauigkeit 25 % weniger Parameter und eine um 46 % geringere Latenz als YOLOv9-C
• YOLOv10l / x übertreffen YOLOv8l / x um 0,3 AP / 0,5 AP und benötigen 1,8× / 2,3× weniger Parameter

Die Werte für Parameter und FLOPs beziehen sich auf das zusammengeführte Modell nach model.fuse(). Dabei werden Conv- und BatchNorm-Schichten zusammengeführt und der zusätzliche One-to-Many-Erkennungskopf entfernt. Vortrainierte Checkpoints behalten die vollständige Trainingsarchitektur bei und können daher höhere Werte aufweisen.

Anwendungsbeispiele#

Modelle können auch auf Cloud-GPUs über die Ultralytics Platform trainiert werden. So führst du mit YOLOv10 Vorhersagen für neue Bilder aus:

from ultralytics import YOLO

# Ein vortrainiertes YOLOv10n-Modell laden
model = YOLO("yolov10n.pt")

# Objekterkennung in einem Bild durchführen
results = model("image.jpg")

# Ergebnisse anzeigen
results[0].show()

So trainierst du YOLOv10 mit einem benutzerdefinierten Datensatz:

from ultralytics import YOLO

# YOLOv10n-Modell von Grund auf laden
model = YOLO("yolov10n.yaml")

# Das Modell trainieren
model.train(data="coco8.yaml", epochs=100, imgsz=640)

Unterstützte Aufgaben und Modi#

Die YOLOv10-Modellreihe umfasst verschiedene Modelle, die jeweils für leistungsstarke Objekterkennung optimiert sind. Die Modelle eignen sich für unterschiedliche Rechenkapazitäten und Genauigkeitsanforderungen und sind dadurch vielseitig für zahlreiche Anwendungsbereiche einsetzbar.

YOLOv10 exportieren#

Aufgrund der mit YOLOv10 eingeführten neuen Operationen werden derzeit nicht alle von Ultralytics bereitgestellten Exportformate unterstützt. Die folgende Tabelle zeigt, welche Formate sich mit Ultralytics erfolgreich für YOLOv10 konvertieren lassen. Erstelle gern einen Pull Request, wenn du einen Beitrag zur Unterstützung zusätzlicher Exportformate für YOLOv10 leisten kannst.

Fazit#

YOLOv10 setzte bei seiner Veröffentlichung einen neuen Maßstab für die Objekterkennung in Echtzeit, indem es die Schwächen früherer YOLO-Versionen behob und innovative Designstrategien einführte. Der NMS-freie Ansatz ebnete innerhalb der YOLO-Familie den Weg für die End-to-End-Objekterkennung. Das neueste Ultralytics-Modell mit verbesserter Leistung und NMS-freier Inferenz findest du unter YOLO26.

Zitate und Danksagungen#

Wir möchten den YOLOv10-Autoren der Tsinghua-Universität für ihre umfangreiche Forschungsarbeit und bedeutenden Beiträge zum Ultralytics-Framework danken:

@inproceedings{wang2024yolov10,
  title={YOLOv10: Real-Time End-to-End Object Detection},
  author={Wang, Ao and Chen, Hui and Liu, Lihao and Chen, Kai and Lin, Zijia and Han, Jungong and Ding, Guiguang},
  booktitle={Advances in Neural Information Processing Systems},
  doi = {10.52202/079017-3429},
  url = {https://proceedings.neurips.cc/paper_files/paper/2024/file/c34ddd05eb089991f06f3c5dc36836e0-Paper-Conference.pdf},
  volume={37},
  pages={107984--108011},
  year={2024}
}

Ausführliche Informationen zur Implementierung, zu architektonischen Neuerungen und zu den Versuchsergebnissen findest du in der Forschungsarbeit zu YOLOv10 und im GitHub-Repository des Teams der Tsinghua-Universität.

Häufig gestellte Fragen#