YOLOv10: End-to-end objectdetectie in realtime

YOLOv10, gebouwd op het Ultralytics Python pakket door onderzoekers van de Tsinghua Universiteit, introduceert een nieuwe benadering van realtime objectdetectie, waarbij zowel de tekortkomingen in de nabewerking als de modelarchitectuur van eerdere YOLO versies worden aangepakt. Door het elimineren van niet-maximale onderdrukking (NMS) en het optimaliseren van verschillende modelcomponenten, bereikt YOLOv10 state-of-the-art prestaties met aanzienlijk minder rekenoverhead. Uitgebreide experimenten tonen de superieure afweging tussen nauwkeurigheid en latentie aan op meerdere modelschalen.

Overzicht

Real-time objectdetectie is gericht op het nauwkeurig voorspellen van objectcategorieën en -posities in afbeeldingen met een lage latentie. De YOLO serie heeft voorop gelopen in dit onderzoek vanwege de balans tussen prestaties en efficiëntie. De afhankelijkheid van NMS en architectonische inefficiënties hebben optimale prestaties echter in de weg gestaan. YOLOv10 pakt deze problemen aan door consistente dubbele toewijzingen te introduceren voor NMS-vrije training en een holistische efficiëntie-nauwkeurigheidsgedreven modelontwerpstrategie.

Architectuur

De architectuur van YOLOv10 bouwt voort op de sterke punten van eerdere YOLO modellen en introduceert tegelijkertijd een aantal belangrijke innovaties. De architectuur van het model bestaat uit de volgende componenten:

1. Ruggengraat: De backbone in YOLOv10, die verantwoordelijk is voor de extractie van eigenschappen, gebruikt een verbeterde versie van CSPNet (Cross Stage Partial Network) om de gradiëntstroom te verbeteren en redundantie in de berekening te verminderen.
2. Neck: The neck is designed to aggregate features from different scales and passes them to the head. It includes PAN (Path Aggregation Network) layers for effective multi-scale feature fusion.
3. One-to-Many Head: Genereert meerdere voorspellingen per object tijdens de training om rijke toezichtsignalen te leveren en de leernauwkeurigheid te verbeteren.
4. One-to-One Head: Genereert een enkele beste voorspelling per object tijdens de inferentie om de noodzaak voor NMS te elimineren, waardoor de latentie wordt verminderd en de efficiëntie wordt verbeterd.

Belangrijkste kenmerken

1. NMS-vrije training: Maakt gebruik van consistente dubbele toewijzingen om de noodzaak voor NMS te elimineren, waardoor de inferentie latentie wordt verminderd.
2. Holistisch modelontwerp: Uitgebreide optimalisatie van verschillende componenten vanuit zowel efficiëntie- als nauwkeurigheidsperspectief, waaronder lichtgewicht classificatiekoppen, ruimtelijk-kanaal ontkoppelde downsampling en blokontwerp met rangschikking.
3. Verbeterde modelmogelijkheden: Bevat grote-kernelconvoluties en gedeeltelijke zelfattentiemodules om de prestaties te verbeteren zonder aanzienlijke rekenkosten.

Modelvarianten

De YOLOv10 is verkrijgbaar in verschillende schalen voor verschillende toepassingen:

• YOLOv10-N: Nano-versie voor omgevingen met extreem beperkte bronnen.
• YOLOv10-S: Kleine versie met balans tussen snelheid en nauwkeurigheid.
• YOLOv10-M: Middelgrote versie voor algemeen gebruik.
• YOLOv10-B: Gebalanceerde versie met grotere breedte voor hogere nauwkeurigheid.
• YOLOv10-L: Grote versie voor hogere nauwkeurigheid ten koste van meer rekenkracht.
• YOLOv10-X: Extra grote versie voor maximale nauwkeurigheid en prestaties.

Prestaties

YOLOv10 presteert beter dan eerdere YOLO versies en andere geavanceerde modellen in termen van nauwkeurigheid en efficiëntie. YOLOv10-S is bijvoorbeeld 1,8x sneller dan RT-DETR-R18 met vergelijkbare AP op de COCO dataset, en YOLOv10-B heeft 46% minder latentie en 25% minder parameters dan YOLOv9-C met dezelfde prestaties.

Latency gemeten met TensorRT FP16 op T4 GPU.

Methodologie

Consistente dubbele toewijzingen voor NMS-vrije training

YOLOv10 maakt gebruik van dubbele labeltoewijzingen, waarbij één-op-veel en één-op-één strategieën worden gecombineerd tijdens de training om een uitgebreide supervisie en efficiënte end-to-end inzet te garanderen. De consistente matching metric stemt de supervisie tussen beide strategieën op elkaar af, waardoor de kwaliteit van de voorspellingen tijdens de inferentie wordt verbeterd.

Holistisch, op efficiëntie en nauwkeurigheid gebaseerd modelontwerp

Efficiëntieverbeteringen

1. Lichtgewicht classificatiekop: Vermindert de computationele overhead van de classificatiekop door gebruik te maken van dieptescheidende convoluties.
2. Ruimtelijk-kanaal ontkoppelde Down sampling: Ontkoppelt ruimtelijke reductie en kanaalmodulatie om informatieverlies en rekenkosten te minimaliseren.
3. Ranggestuurd blokontwerp: Past het blokontwerp aan op basis van intrinsieke stage redundantie, zodat parameters optimaal worden gebruikt.

Nauwkeurigheidsverbeteringen

1. Convolutie met grote kern: Vergroot het receptieve veld om het vermogen om eigenschappen te extraheren te vergroten.
2. Partial Self-Attention (PSA): Bevat zelf-attentie modules om het leren van de globale representatie te verbeteren met minimale overhead.

Experimenten en resultaten

YOLOv10 is uitgebreid getest op standaard benchmarks zoals COCO en heeft superieure prestaties en efficiëntie laten zien. Het model behaalt state-of-the-art resultaten in verschillende varianten en laat aanzienlijke verbeteringen zien in latentie en nauwkeurigheid in vergelijking met eerdere versies en andere hedendaagse detectoren.

Vergelijkingen

Vergeleken met andere geavanceerde detectoren:

• YOLOv10-S / X zijn 1,8× / 1,3× sneller dan RT-DETR-R18 / R101 met vergelijkbare nauwkeurigheid.
• YOLOv10-B heeft 25% minder parameters en 46% lagere latentie dan YOLOv9-C bij dezelfde nauwkeurigheid
• YOLOv10-L / X presteert 0,3 AP / 0,5 AP beter dan YOLOv8-L / X met 1,8× / 2,3× minder parameters.

Hier volgt een gedetailleerde vergelijking van de YOLOv10-varianten met andere geavanceerde modellen:

Voorbeelden

Voor het voorspellen van nieuwe afbeeldingen met YOLOv10:

from ultralytics import YOLO

# Load a pre-trained YOLOv10n model
model = YOLO("yolov10n.pt")

# Perform object detection on an image
results = model("image.jpg")

# Display the results
results[0].show()

# Load a COCO-pretrained YOLOv10n model and run inference on the 'bus.jpg' image
yolo detect predict model=yolov10n.pt source=path/to/bus.jpg

Voor het trainen van YOLOv10 op een aangepaste dataset:

from ultralytics import YOLO

# Load YOLOv10n model from scratch
model = YOLO("yolov10n.yaml")

# Train the model
model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Build a YOLOv10n model from scratch and train it on the COCO8 example dataset for 100 epochs
yolo train model=yolov10n.yaml data=coco8.yaml epochs=100 imgsz=640

# Build a YOLOv10n model from scratch and run inference on the 'bus.jpg' image
yolo predict model=yolov10n.yaml source=path/to/bus.jpg

Ondersteunde taken en modi

The YOLOv10 models series offers a range of models, each optimized for high-performance Object Detection. These models cater to varying computational needs and accuracy requirements, making them versatile for a wide array of applications.

Exporting YOLOv10

Due to the new operations introduced with YOLOv10, not all export formats provided by Ultralytics are currently supported. The following table outlines which formats have been successfully converted using Ultralytics for YOLOv10. Feel free to open a pull request if you're able to provide a contribution change for adding export support of additional formats for YOLOv10.

Conclusie

YOLOv10 stelt een nieuwe norm in realtime objectdetectie door de tekortkomingen van eerdere YOLO versies aan te pakken en innovatieve ontwerpstrategieën toe te passen. Het vermogen om hoge nauwkeurigheid te leveren tegen lage rekenkosten maakt het een ideale keuze voor een breed scala aan toepassingen in de echte wereld.

Citaten en Erkenningen

We willen de YOLOv10 auteurs van de Tsinghua Universiteit bedanken voor hun uitgebreide onderzoek en belangrijke bijdragen aan het Ultralytics raamwerk:

@article{THU-MIGyolov10,
  title={YOLOv10: Real-Time End-to-End Object Detection},
  author={Ao Wang, Hui Chen, Lihao Liu, et al.},
  journal={arXiv preprint arXiv:2405.14458},
  year={2024},
  institution={Tsinghua University},
  license = {AGPL-3.0}
}

Voor een gedetailleerde implementatie, architectonische innovaties en experimentele resultaten verwijzen we naar het YOLOv10 onderzoeksartikel en de GitHub repository van het Tsinghua University team.

Reacties