YOLOv10: Echtzeit-End-to-End-Objekterkennung

YOLOv10, basierend auf dem UltralyticsPython-Paket von Forschern der Tsinghua University, führt einen neuen Ansatz zur Echtzeit-Objekterkennung ein, der sowohl die Defizite in der Nachbearbeitung als auch in der Modellarchitektur früherer YOLO-Versionen adressiert. Durch die Eliminierung der Non-Maximum Suppression (NMS) und die Optimierung verschiedener Modellkomponenten erreicht YOLOv10 eine hochmoderne Leistung mit deutlich reduziertem Rechenaufwand. Umfassende Experimente belegen seine überlegenen Genauigkeits-Latenz-Kompromisse über mehrere Modellskalen hinweg.

Ansehen: Wie man YOLOv10 auf dem SKU-110k-Datensatz mit Ultralytics trainiert | Einzelhandelsdatensatz

Überblick

Die Echtzeit-Objektdetektion zielt darauf ab, Objektkategorien und -positionen in Bildern mit geringer Latenz genau vorherzusagen. Die YOLO-Serie steht aufgrund ihres Gleichgewichts zwischen Leistung und Effizienz an vorderster Front dieser Forschung. Die Abhängigkeit von NMS und architektonische Ineffizienzen haben jedoch die optimale Leistung beeinträchtigt. YOLOv10 begegnet diesen Problemen durch die Einführung von konsistenten Dual-Assignments für NMS-freies Training und eine ganzheitliche, auf Effizienz und Genauigkeit ausgerichtete Modellentwicklungsstrategie.

Architektur

Die Architektur von YOLOv10 baut auf den Stärken früherer YOLO-Modelle auf und führt gleichzeitig mehrere Schlüsselinnovationen ein. Die Modellarchitektur besteht aus den folgenden Komponenten:

1. Backbone: Verantwortlich für die Merkmalsextraktion. Die Backbone in YOLOv10 verwendet eine verbesserte Version von CSPNet (Cross Stage Partial Network), um den Gradientenfluss zu verbessern und die Rechenredundanz zu reduzieren.
2. Neck: Der Neck dient dazu, Features aus verschiedenen Skalen zu aggregieren und an den Head weiterzuleiten. Er enthält PAN-Layer (Path Aggregation Network) für eine effektive multiskalige Feature-Fusion.
3. One-to-Many Head: Generiert während des Trainings mehrere Vorhersagen pro Objekt, um reichhaltige Überwachungssignale bereitzustellen und die Lerngenauigkeit zu verbessern.
4. Eins-zu-Eins-Head: Generiert eine einzige beste Vorhersage pro Objekt während der Inferenz, um die Notwendigkeit von NMS zu eliminieren, wodurch die Latenz reduziert und die Effizienz verbessert wird.

Hauptmerkmale

1. NMS-freies Training: Nutzt konsistente Dual-Zuweisungen, um die Notwendigkeit von NMS zu eliminieren, wodurch die Inferenzlatenz reduziert wird.
2. Holistic Model Design: Umfassende Optimierung verschiedener Komponenten sowohl aus Effizienz- als auch aus Genauigkeitsperspektive, einschließlich Lightweight Classification Heads, Spatial-Channel Decoupled Downsampling und Rank-Guided Block Design.
3. Verbesserte Modellfähigkeiten: Integriert großkernige Faltungen und partielle Selbstaufmerksamkeitsmodule, um die Leistung ohne signifikante Rechenkosten zu verbessern.

Modellvarianten

YOLOv10 ist in verschiedenen Modellskalierungen erhältlich, um unterschiedlichen Anwendungsanforderungen gerecht zu werden:

• YOLOv10n: Nano-Version für extrem ressourcenbeschränkte Umgebungen.
• YOLOv10s: Kleine Version, die Geschwindigkeit und Genauigkeit ausbalanciert.
• YOLOv10m: Mittlere Version für den allgemeinen Gebrauch.
• YOLOv10b: Ausgewogene Version mit erhöhter Breite für höhere Genauigkeit.
• YOLOv10l: Große Version für höhere Genauigkeit auf Kosten erhöhter Rechenressourcen.
• YOLOv10x: Extra-große Version für maximale Genauigkeit und Leistung.

Performance

YOLOv10 übertrifft frühere YOLO-Versionen und andere hochmoderne Modelle in Bezug auf Genauigkeit und Effizienz. Zum Beispiel ist YOLOv10s 1,8-mal schneller als RT-DETR-R18 mit ähnlicher AP auf dem COCO-Datensatz, und YOLOv10b weist 46 % weniger Latenz und 25 % weniger Parameter auf als YOLOv9-C bei gleicher Leistung.

Methodik

Konsistente Dual-Zuweisungen für NMS-freies Training

YOLOv10 verwendet duale Label-Zuweisungen, die One-to-Many- und One-to-One-Strategien während des Trainings kombinieren, um eine umfassende Supervision und eine effiziente End-to-End-Bereitstellung zu gewährleisten. Die konsistente Matching-Metrik gleicht die Supervision zwischen beiden Strategien ab und verbessert die Qualität der Vorhersagen während der Inferenz.

Ganzheitliches, von Effizienz und Genauigkeit getriebenes Modelldesign

Effizienzsteigerungen

1. Lightweight Classification Head: Reduziert den Rechenaufwand des Klassifikations-Heads durch die Verwendung von Depth-Wise Separable Convolutions.
2. Spatial-Channel Decoupled Downsampling: Entkoppelt die räumliche Reduktion und die Kanalmodulation, um Informationsverluste und Rechenkosten zu minimieren.
3. Rank-Guided Block Design: Passt das Blockdesign basierend auf der intrinsischen Stufenredundanz an, um eine optimale Parameternutzung zu gewährleisten.

Genauigkeitsverbesserungen

1. Large-Kernel Convolution: Vergrößert das rezeptive Feld, um die Fähigkeit zur Merkmalsextraktion zu verbessern.
2. Partial Self-Attention (PSA): Integriert Self-Attention-Module, um das globale Repräsentationslernen mit minimalem Overhead zu verbessern.

Experimente und Ergebnisse

YOLOv10 wurde ausgiebig auf Standard-Benchmarks wie COCO getestet und demonstriert überlegene Leistung und Effizienz. Das Modell erzielt in verschiedenen Varianten State-of-the-Art-Ergebnisse und zeigt signifikante Verbesserungen bei Latenz und Genauigkeit im Vergleich zu früheren Versionen und anderen zeitgenössischen Detektoren.

Vergleiche

Verglichen mit anderen State-of-the-Art-Detektoren:

• YOLOv10s / x sind 1,8× / 1,3× schneller als RT-DETR-R18 / R101 mit ähnlicher Genauigkeit
• YOLOv10b hat 25 % weniger Parameter und eine 46 % geringere Latenz als YOLOv9-C bei gleicher Genauigkeit.
• YOLOv10l / x übertreffen YOLOv8l / x um 0,3 AP / 0,5 AP mit 1,8-fach / 2,3-fach weniger Parametern.

Anwendungsbeispiele

Für die Vorhersage neuer Bilder mit YOLOv10:

from ultralytics import YOLO

# Load a pretrained YOLOv10n model
model = YOLO("yolov10n.pt")

# Perform object detection on an image
results = model("image.jpg")

# Display the results
results[0].show()

# Load a COCO-pretrained YOLOv10n model and run inference on the 'bus.jpg' image
yolo detect predict model=yolov10n.pt source=path/to/bus.jpg

Für das Training von YOLOv10 auf einem benutzerdefinierten Datensatz:

from ultralytics import YOLO

# Load YOLOv10n model from scratch
model = YOLO("yolov10n.yaml")

# Train the model
model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Build a YOLOv10n model from scratch and train it on the COCO8 example dataset for 100 epochs
yolo train model=yolov10n.yaml data=coco8.yaml epochs=100 imgsz=640

# Build a YOLOv10n model from scratch and run inference on the 'bus.jpg' image
yolo predict model=yolov10n.yaml source=path/to/bus.jpg

Unterstützte Aufgaben und Modi

Die YOLOv10-Modellreihe bietet eine Reihe von Modellen, die jeweils für hochleistungsfähige Objekterkennung optimiert sind. Diese Modelle decken unterschiedliche Rechenanforderungen und Genauigkeitsbedürfnisse ab, was sie vielseitig für eine Vielzahl von Anwendungen macht.

Export von YOLOv10

Aufgrund der mit YOLOv10 eingeführten neuen Operationen werden derzeit nicht alle von Ultralytics bereitgestellten Exportformate unterstützt. Die folgende Tabelle zeigt auf, welche Formate mit Ultralytics für YOLOv10 erfolgreich konvertiert wurden. Gerne können Sie einen Pull Request öffnen, wenn Sie in der Lage sind, einen Beitrag zu leisten, um die Exportunterstützung für zusätzliche Formate für YOLOv10 hinzuzufügen.

Fazit

YOLOv10 setzt einen neuen Standard in der Echtzeit-Objekterkennung, indem es die Mängel früherer YOLO-Versionen behebt und innovative Designstrategien integriert. Seine Fähigkeit, hohe Genauigkeit bei geringen Rechenkosten zu liefern, macht es zu einer idealen Wahl für eine Vielzahl von realen Anwendungen, einschließlich Fertigung, Einzelhandel und autonomen Fahrzeugen.

Zitate und Danksagungen

Wir möchten den YOLOv10-Autoren der Tsinghua University für ihre umfassende Forschung und ihre bedeutenden Beiträge zum Ultralytics-Framework danken:

@article{THU-MIGyolov10,
  title={YOLOv10: Real-Time End-to-End Object Detection},
  author={Ao Wang, Hui Chen, Lihao Liu, et al.},
  journal={arXiv preprint arXiv:2405.14458},
  year={2024},
  institution={Tsinghua University},
  license = {AGPL-3.0}
}

Für detaillierte Implementierungen, architektonische Innovationen und experimentelle Ergebnisse verweisen wir auf das YOLOv10 Forschungspapier und das GitHub-Repository des Teams der Tsinghua-Universität.

FAQ

Was ist YOLOv10 und wie unterscheidet es sich von früheren YOLO-Versionen?

YOLOv10, entwickelt von Forschern der Tsinghua University, führt mehrere Schlüssel-Innovationen in die Echtzeit-Objekterkennung ein. Es eliminiert die Notwendigkeit der Non-Maximum Suppression (NMS) durch den Einsatz konsistenter Dual-Assignments während des Trainings und optimierte Modellkomponenten für überlegene Leistung bei reduziertem Rechenaufwand. Weitere Details zu seiner Architektur und den wichtigsten Funktionen finden Sie im Abschnitt YOLOv10-Übersicht.

Wie fange ich mit der Inferenz mit YOLOv10 an?

Für eine einfache Inferenz können Sie die Ultralytics YOLO Python-Bibliothek oder die Befehlszeilenschnittstelle (CLI) verwenden. Nachfolgend finden Sie Beispiele für die Vorhersage neuer Bilder mit YOLOv10:

from ultralytics import YOLO

# Load the pretrained YOLOv10n model
model = YOLO("yolov10n.pt")
results = model("image.jpg")
results[0].show()

yolo detect predict model=yolov10n.pt source=path/to/image.jpg

Weitere Anwendungsbeispiele finden Sie in unserem Abschnitt Anwendungsbeispiele.

Welche Modellvarianten bietet YOLOv10 und welche Anwendungsfälle gibt es dafür?

YOLOv10 bietet mehrere Modellvarianten für unterschiedliche Anwendungsfälle an:

• YOLOv10n: Geeignet für extrem ressourcenbeschränkte Umgebungen
• YOLOv10s: Balanciert Geschwindigkeit und Genauigkeit
• YOLOv10m: Universell einsetzbar
• YOLOv10b: Höhere Genauigkeit durch erhöhte Breite
• YOLOv10l: Hohe Genauigkeit auf Kosten von Rechenressourcen
• YOLOv10x: Maximale Genauigkeit und Leistung

Jede Variante ist auf unterschiedliche Rechenanforderungen und Genauigkeitsanforderungen zugeschnitten, wodurch sie vielseitig für eine Vielzahl von Anwendungen einsetzbar sind. Weitere Informationen finden Sie im Abschnitt Modellvarianten.

Wie verbessert der NMS-freie Ansatz in YOLOv10 die Leistung?

YOLOv10 eliminiert die Notwendigkeit der Non-Maximum Suppression (NMS) während der Inferenz durch den Einsatz konsistenter dualer Zuweisungen für das Training. Dieser Ansatz reduziert die Inferenzlatenz und verbessert die Vorhersageeffizienz. Die Architektur umfasst zudem einen One-to-One-Head für die Inferenz, der sicherstellt, dass jedes Objekt eine einzige beste Vorhersage erhält. Für eine detaillierte Erklärung siehe den Abschnitt „Consistent Dual Assignments for NMS-Free Training“.

Wo finde ich die Exportoptionen für YOLOv10-Modelle?

YOLOv10 unterstützt mehrere Exportformate, darunter TorchScript, ONNX, OpenVINO und TensorRT. Allerdings werden aufgrund seiner neuen Operationen derzeit nicht alle von Ultralytics bereitgestellten Exportformate für YOLOv10 unterstützt. Details zu den unterstützten Formaten und Anweisungen zum Export finden Sie im Abschnitt Exportieren von YOLOv10.

Welche Leistungsbenchmarks gibt es für YOLOv10-Modelle?

YOLOv10 übertrifft frühere YOLO-Versionen und andere hochmoderne Modelle sowohl in Bezug auf Genauigkeit als auch Effizienz. Zum Beispiel ist YOLOv10s 1,8-mal schneller als RT-DETR-R18 mit einer ähnlichen AP auf dem COCO-Datensatz. YOLOv10b weist 46 % weniger Latenz und 25 % weniger Parameter auf als YOLOv9-C bei gleicher Leistung. Detaillierte Benchmarks finden Sie im Abschnitt Vergleiche.

📅 Vor 1 Jahr erstellt ✏️ Vor 20 Tagen aktualisiert

Kommentare