YOLOv10: rilevamento di oggetti end-to-end in tempo reale

YOLOv10, costruito sul pacchetto Ultralytics Python dai ricercatori della Tsinghua University, introduce un nuovo approccio al rilevamento degli oggetti in tempo reale, risolvendo le carenze di post-processing e di architettura del modello riscontrate nelle precedenti versioni di YOLO . Eliminando la soppressione non massima (NMS) e ottimizzando vari componenti del modello, YOLOv10 raggiunge prestazioni all'avanguardia con un overhead computazionale significativamente ridotto. Ampi esperimenti dimostrano il superiore compromesso accuratezza-latenza su più scale di modelli.

Guarda: Come addestrare YOLOv10 sul dataset SKU-110k utilizzando Ultralytics | Dataset Retail

Panoramica

Il rilevamento degli oggetti in tempo reale mira a prevedere con precisione le categorie e le posizioni degli oggetti nelle immagini con una bassa latenza. La serie YOLO è stata all'avanguardia in questa ricerca grazie al suo equilibrio tra prestazioni ed efficienza. Tuttavia, la dipendenza da NMS e le inefficienze architettoniche hanno ostacolato le prestazioni ottimali. YOLOv10 affronta questi problemi introducendo assegnazioni doppie coerenti per l'addestramento senza NMS e una strategia olistica di progettazione del modello orientata all'efficienza e alla precisione.

Architettura

L'architettura di YOLOv10 si basa sui punti di forza dei precedenti modelli YOLO , introducendo al contempo diverse innovazioni chiave. L'architettura del modello è costituita dai seguenti componenti:

1. Backbone: Responsabile dell'estrazione delle caratteristiche, il backbone di YOLOv10 utilizza una versione migliorata di CSPNet (Cross Stage Partial Network) per migliorare il flusso di gradienti e ridurre la ridondanza computazionale.
2. Collo: Il collo è progettato per aggregare le caratteristiche da diverse scale e passarle alla testa. Include strati PAN (Path Aggregation Network) per un'efficace fusione di caratteristiche multiscala.
3. One-to-Many Head: genera previsioni multiple per oggetto durante l'addestramento, per fornire ricchi segnali di supervisione e migliorare l'accuratezza dell'apprendimento.
4. One-to-One Head: genera una singola previsione migliore per ogni oggetto durante l'inferenza per eliminare la necessità di NMS, riducendo così la latenza e migliorando l'efficienza.

Caratteristiche principali

1. Formazione senza NMS: Utilizza assegnazioni duali coerenti per eliminare la necessità di NMS, riducendo la latenza di inferenza.
2. Progettazione olistica del modello: Ottimizzazione completa di vari componenti sia dal punto di vista dell'efficienza che dell'accuratezza, comprese le teste di classificazione leggere, il campionamento disaccoppiato dei canali spaziali e la progettazione di blocchi guidati da ranghi.
3. Capacità di modello migliorate: Incorpora convoluzioni di grandi kernel e moduli di autoattenzione parziale per migliorare le prestazioni senza costi computazionali significativi.

Varianti di modello

YOLOv10 è disponibile in varie scale di modelli per soddisfare le diverse esigenze applicative:

• YOLOv10-N: versione nano per ambienti con risorse estremamente limitate.
• YOLOv10-S: versione piccola che bilancia velocità e precisione.
• YOLOv10-M: versione media per uso generale.
• YOLOv10-B: versione bilanciata con larghezza maggiore per una maggiore precisione.
• YOLOv10-L: Versione grande per una maggiore precisione al costo di maggiori risorse computazionali.
• YOLOv10-X: Versione extra-large per la massima precisione e prestazioni.

Prestazioni

YOLOv10 supera le precedenti versioni di YOLO e altri modelli all'avanguardia in termini di accuratezza ed efficienza. Ad esempio, YOLOv10-S è 1,8 volte più veloce di RT-DETR-R18 con un AP simile sul dataset COCO, e YOLOv10-B ha il 46% di latenza in meno e il 25% di parametri in meno rispetto a YOLOv9-C a parità di prestazioni.

Latenza misurata con TensorRT FP16 su T4 GPU.

Metodologia

Assegnazioni doppie coerenti per una formazione senza NMS

YOLOv10 impiega una doppia assegnazione di etichette, combinando strategie uno-a-molti e uno-a-uno durante l'addestramento per garantire una supervisione ricca e un'efficiente distribuzione end-to-end. La metrica di corrispondenza coerente allinea la supervisione tra le due strategie, migliorando la qualità delle previsioni durante l'inferenza.

Progettazione olistica del modello orientata all'efficienza e all'accuratezza

Miglioramenti dell'efficienza

1. Testa di classificazione leggera: Riduce l'overhead computazionale della testa di classificazione utilizzando convoluzioni separabili in profondità.
2. Down sampling disaccoppiato spazio-canale: Disaccoppia la riduzione spaziale e la modulazione del canale per minimizzare la perdita di informazioni e il costo computazionale.
3. Progettazione dei blocchi guidata dalle classifiche: Adatta la progettazione dei blocchi in base alla ridondanza intrinseca degli stadi, garantendo un utilizzo ottimale dei parametri.

Miglioramenti della precisione

1. Convoluzione a kernel largo: Allarga il campo recettivo per migliorare la capacità di estrazione delle caratteristiche.
2. Partial Self-Attention (PSA): incorpora moduli di autoattenzione per migliorare l'apprendimento della rappresentazione globale con un overhead minimo.

Esperimenti e risultati

YOLOv10 è stato ampiamente testato su benchmark standard come COCO, dimostrando prestazioni ed efficienza superiori. Il modello raggiunge risultati all'avanguardia in diverse varianti, mostrando miglioramenti significativi in termini di latenza e precisione rispetto alle versioni precedenti e ad altri rilevatori contemporanei.

Confronti

Rispetto ad altri rivelatori all'avanguardia:

• YOLOv10-S / X sono 1,8× / 1,3× più veloci di RT-DETR-R18 / R101 con una precisione simile.
• YOLOv10-B ha il 25% di parametri in meno e una latenza inferiore del 46% rispetto a YOLOv9-C a parità di accuratezza
• YOLOv10-L / X supera YOLOv8-L / X di 0,3 AP / 0,5 AP con un numero di parametri inferiore di 1,8× / 2,3×.

Ecco un confronto dettagliato delle varianti di YOLOv10 con altri modelli all'avanguardia:

Esempi di utilizzo

Per prevedere nuove immagini con YOLOv10:

from ultralytics import YOLO

# Load a pre-trained YOLOv10n model
model = YOLO("yolov10n.pt")

# Perform object detection on an image
results = model("image.jpg")

# Display the results
results[0].show()

# Load a COCO-pretrained YOLOv10n model and run inference on the 'bus.jpg' image
yolo detect predict model=yolov10n.pt source=path/to/bus.jpg

Per l'addestramento di YOLOv10 su un set di dati personalizzato:

from ultralytics import YOLO

# Load YOLOv10n model from scratch
model = YOLO("yolov10n.yaml")

# Train the model
model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Build a YOLOv10n model from scratch and train it on the COCO8 example dataset for 100 epochs
yolo train model=yolov10n.yaml data=coco8.yaml epochs=100 imgsz=640

# Build a YOLOv10n model from scratch and run inference on the 'bus.jpg' image
yolo predict model=yolov10n.yaml source=path/to/bus.jpg

Attività e modalità supportate

La serie di modelli YOLOv10 offre una gamma di modelli, ciascuno ottimizzato per il rilevamento di oggetti ad alte prestazioni. Questi modelli soddisfano le diverse esigenze di calcolo e i requisiti di precisione, rendendoli versatili per un'ampia gamma di applicazioni.

Esportazione di YOLOv10

A causa delle nuove operazioni introdotte con YOLOv10, non tutti i formati di esportazione forniti da Ultralytics sono attualmente supportati. La tabella seguente indica i formati che sono stati convertiti con successo utilizzando Ultralytics per YOLOv10. Se siete in grado di fornire un contributo di modifica per aggiungere il supporto all'esportazione di altri formati per YOLOv10, aprite pure una richiesta di pull.

Conclusione

YOLOv10 stabilisce un nuovo standard nel rilevamento degli oggetti in tempo reale, risolvendo le carenze delle precedenti versioni di YOLO e incorporando strategie di progettazione innovative. La sua capacità di fornire un'elevata accuratezza con un basso costo computazionale lo rende una scelta ideale per un'ampia gamma di applicazioni reali.

Citazioni e ringraziamenti

Desideriamo ringraziare gli autori di YOLOv10 dell'Università Tsinghua per le loro ricerche approfondite e i loro contributi significativi al framework. Ultralytics struttura:

@article{THU-MIGyolov10,
  title={YOLOv10: Real-Time End-to-End Object Detection},
  author={Ao Wang, Hui Chen, Lihao Liu, et al.},
  journal={arXiv preprint arXiv:2405.14458},
  year={2024},
  institution={Tsinghua University},
  license = {AGPL-3.0}
}

Per l'implementazione dettagliata, le innovazioni architettoniche e i risultati sperimentali, si rimanda al documento di ricerca YOLOv10 e al repository GitHub del team della Tsinghua University.

FAQ

Cos'è YOLOv10 e come si differenzia dalle precedenti versioni di YOLO ?

YOLOv10, sviluppato dai ricercatori della Tsinghua University, introduce diverse innovazioni chiave per il rilevamento degli oggetti in tempo reale. Elimina la necessità di soppressione non massimale (NMS) utilizzando assegnazioni duali coerenti durante l'addestramento e componenti del modello ottimizzati per ottenere prestazioni superiori con un ridotto overhead computazionale. Per maggiori dettagli sull'architettura e sulle caratteristiche principali, consultare la sezione panoramica di YOLOv10.

Come posso iniziare a eseguire l'inferenza con YOLOv10?

Per facilitare l'inferenza, è possibile utilizzare la libreria Ultralytics YOLO Python o l'interfaccia a riga di comando (CLI). Di seguito sono riportati alcuni esempi di previsione di nuove immagini utilizzando YOLOv10:

from ultralytics import YOLO

# Load the pre-trained YOLOv10-N model
model = YOLO("yolov10n.pt")
results = model("image.jpg")
results[0].show()

yolo detect predict model=yolov10n.pt source=path/to/image.jpg

Per ulteriori esempi d'uso, visitate la nostra sezione Esempi d'uso.

Quali varianti di modello offre YOLOv10 e quali sono i loro casi d'uso?

YOLOv10 offre diverse varianti di modello per soddisfare diversi casi d'uso:

• YOLOv10-N: adatto ad ambienti con risorse estremamente limitate
• YOLOv10-S: equilibrio tra velocità e precisione
• YOLOv10-M: Uso generale
• YOLOv10-B: maggiore precisione con un'ampiezza maggiore
• YOLOv10-L: elevata precisione al costo delle risorse computazionali
• YOLOv10-X: Massima precisione e prestazioni

Ogni variante è progettata per esigenze di calcolo e requisiti di precisione diversi, rendendole versatili per una varietà di applicazioni. Per ulteriori informazioni, consultate la sezione Varianti del modello.

In che modo l'approccio senza NMS di YOLOv10 migliora le prestazioni?

YOLOv10 elimina la necessità di soppressione non massimale (NMS) durante l'inferenza, impiegando assegnazioni duali coerenti per l'addestramento. Questo approccio riduce la latenza dell'inferenza e migliora l'efficienza della predizione. L'architettura include anche una testa uno-a-uno per l'inferenza, assicurando che ogni oggetto riceva una singola previsione migliore. Per una spiegazione dettagliata, si veda la sezione Assegnazioni duali coerenti per l'addestramento senza NMS.

Dove posso trovare le opzioni di esportazione per i modelli YOLOv10?

YOLOv10 supporta diversi formati di esportazione, tra cui TorchScript, ONNX, OpenVINO e TensorRT. Tuttavia, non tutti i formati di esportazione forniti da Ultralytics sono attualmente supportati da YOLOv10 a causa delle sue nuove operazioni. Per i dettagli sui formati supportati e le istruzioni per l'esportazione, visitare la sezione Esportazione di YOLOv10.

Quali sono le prestazioni di riferimento dei modelli YOLOv10?

YOLOv10 supera le precedenti versioni di YOLO e altri modelli all'avanguardia sia in termini di accuratezza che di efficienza. Ad esempio, YOLOv10-S è 1,8 volte più veloce di RT-DETR-R18 con un AP simile sul dataset COCO. YOLOv10-B mostra il 46% di latenza in meno e il 25% di parametri in meno rispetto a YOLOv9-C a parità di prestazioni. I benchmark dettagliati sono disponibili nella sezione Confronti.

📅C reato 6 mesi fa ✏️ Aggiornato 2 mesi fa

Commenti