YOLOv10: Rilevamento di oggetti end-to-end in tempo reale

YOLOv10, costruito sul pacchetto Ultralytics Python dai ricercatori della Tsinghua University, introduce un nuovo approccio al rilevamento degli oggetti in tempo reale, risolvendo le carenze di post-elaborazione e di architettura del modello riscontrate nelle precedenti versioni di YOLO . Eliminando la soppressione non massima (NMS) e ottimizzando vari componenti del modello, YOLOv10 raggiunge prestazioni all'avanguardia con un overhead computazionale significativamente ridotto. Ampi esperimenti dimostrano la superiorità del compromesso accuratezza-latenza su diverse scale di modelli.

Panoramica

Il rilevamento degli oggetti in tempo reale mira a prevedere con precisione le categorie e le posizioni degli oggetti nelle immagini con una bassa latenza. La serie YOLO è stata all'avanguardia in questa ricerca grazie al suo equilibrio tra prestazioni ed efficienza. Tuttavia, la dipendenza da NMS e le inefficienze architettoniche hanno ostacolato le prestazioni ottimali. YOLOv10 affronta questi problemi introducendo assegnazioni duali coerenti per un addestramento senza NMS e una strategia olistica di progettazione del modello orientata all'efficienza e alla precisione.

Architettura

L'architettura di YOLOv10 si basa sui punti di forza dei precedenti modelli YOLO , introducendo al contempo diverse innovazioni chiave. L'architettura del modello è composta dai seguenti componenti:

1. Backbone: Responsabile dell'estrazione delle caratteristiche, il backbone di YOLOv10 utilizza una versione migliorata di CSPNet (Cross Stage Partial Network) per migliorare il flusso di gradienti e ridurre la ridondanza computazionale.
2. Collo: Il collo è progettato per aggregare le caratteristiche da diverse scale e passarle alla testa. Include strati PAN (Path Aggregation Network) per un'efficace fusione di caratteristiche multiscala.
3. One-to-Many Head: genera previsioni multiple per oggetto durante l'addestramento per fornire ricchi segnali di supervisione e migliorare l'accuratezza dell'apprendimento.
4. One-to-One Head: genera una singola previsione migliore per ogni oggetto durante l'inferenza per eliminare la necessità di NMS, riducendo così la latenza e migliorando l'efficienza.

Caratteristiche principali

1. Formazione senza NMS: Utilizza assegnazioni duali coerenti per eliminare la necessità di NMS, riducendo la latenza dell'inferenza.
2. Progettazione olistica del modello: Ottimizzazione completa di vari componenti sia dal punto di vista dell'efficienza che dell'accuratezza, comprese le teste di classificazione leggere, il campionamento disaccoppiato dei canali spaziali e la progettazione di blocchi guidati da ranghi.
3. Capacità di modello migliorate: Incorpora convoluzioni a kernel ampio e moduli di autoattenzione parziale per migliorare le prestazioni senza costi computazionali significativi.

Varianti del modello

YOLOv10 è disponibile in varie scale di modelli per soddisfare le diverse esigenze di applicazione:

• YOLOv10-N: versione nano per ambienti con risorse estremamente limitate.
• YOLOv10-S: versione piccola che bilancia velocità e precisione.
• YOLOv10-M: versione media per uso generale.
• YOLOv10-B: versione bilanciata con larghezza maggiore per una maggiore precisione.
• YOLOv10-L: Versione grande per una maggiore precisione al costo di maggiori risorse di calcolo.
• YOLOv10-X: Versione extra-large per la massima precisione e performance.

Prestazioni

YOLOv10 supera le precedenti versioni di YOLO e altri modelli all'avanguardia in termini di accuratezza ed efficienza. Ad esempio, YOLOv10-S è 1,8 volte più veloce di RT-DETR-R18 con un AP simile sul dataset COCO, e YOLOv10-B ha una latenza inferiore del 46% e il 25% di parametri in meno rispetto a YOLOv9-C con le stesse prestazioni.

Latenza misurata con TensorRT FP16 su T4 GPU.

Metodologia

Assegnazioni doppie coerenti per una formazione senza NMS

YOLOv10 impiega una doppia assegnazione di etichette, combinando strategie uno-a-molti e uno-a-uno durante l'addestramento per garantire una supervisione ricca e un'efficiente distribuzione end-to-end. La metrica di corrispondenza coerente allinea la supervisione tra le due strategie, migliorando la qualità delle previsioni durante l'inferenza.

Progettazione olistica del modello orientata all'efficienza e alla precisione

Miglioramenti dell'efficienza

1. Testata di classificazione leggera: Riduce l'overhead computazionale della testa di classificazione utilizzando convoluzioni separabili in profondità.
2. Down sampling disaccoppiato spazio-canale: Disaccoppia la riduzione spaziale e la modulazione del canale per minimizzare la perdita di informazioni e il costo computazionale.
3. Progettazione a blocchi guidata dal ranking: Adatta la progettazione dei blocchi in base alla ridondanza intrinseca degli stadi, garantendo un utilizzo ottimale dei parametri.

Miglioramenti della precisione

1. Convoluzione a kernel largo: Allarga il campo recettivo per migliorare la capacità di estrazione delle caratteristiche.
2. Partial Self-Attention (PSA): incorpora moduli di auto-attenzione per migliorare l'apprendimento della rappresentazione globale con un overhead minimo.

Esperimenti e risultati

YOLOv10 è stato ampiamente testato su benchmark standard come COCO, dimostrando prestazioni ed efficienza superiori. Il modello raggiunge risultati all'avanguardia in diverse varianti, mostrando miglioramenti significativi nella latenza e nell'accuratezza rispetto alle versioni precedenti e ad altri rilevatori contemporanei.

Confronti

Rispetto ad altri rilevatori all'avanguardia:

• YOLOv10-S / X sono 1,8× / 1,3× più veloci di RT-DETR-R18 / R101 con una precisione simile.
• YOLOv10-B ha il 25% di parametri in meno e una latenza inferiore del 46% rispetto a YOLOv9-C a parità di accuratezza
• YOLOv10-L / X supera YOLOv8-L / X di 0,3 AP / 0,5 AP con un numero di parametri inferiore di 1,8× / 2,3×.

Ecco un confronto dettagliato delle varianti di YOLOv10 con altri modelli all'avanguardia:

Esempi di utilizzo

Per prevedere nuove immagini con YOLOv10:

from ultralytics import YOLO

# Load a pre-trained YOLOv10n model
model = YOLO("yolov10n.pt")

# Perform object detection on an image
results = model("image.jpg")

# Display the results
results[0].show()

# Load a COCO-pretrained YOLOv10n model and run inference on the 'bus.jpg' image
yolo detect predict model=yolov10n.pt source=path/to/bus.jpg

Per addestrare YOLOv10 su un set di dati personalizzato:

from ultralytics import YOLO

# Load YOLOv10n model from scratch
model = YOLO("yolov10n.yaml")

# Train the model
model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Build a YOLOv10n model from scratch and train it on the COCO8 example dataset for 100 epochs
yolo train model=yolov10n.yaml data=coco8.yaml epochs=100 imgsz=640

# Build a YOLOv10n model from scratch and run inference on the 'bus.jpg' image
yolo predict model=yolov10n.yaml source=path/to/bus.jpg

Attività e modalità supportate

La serie di modelli YOLOv10 offre una serie di modelli, ognuno ottimizzato per il rilevamento di oggetti ad alte prestazioni. Questi modelli soddisfano le diverse esigenze di calcolo e i requisiti di precisione, rendendoli versatili per un'ampia gamma di applicazioni.

Esportazione di YOLOv10

A causa delle nuove operazioni introdotte con YOLOv10, non tutti i formati di esportazione forniti da Ultralytics sono attualmente supportati. La seguente tabella indica quali formati sono stati convertiti con successo utilizzando Ultralytics per YOLOv10. Non esitare ad aprire una richiesta di pull se sei in grado di fornire un contributo di modifica per aggiungere il supporto all'esportazione di altri formati per YOLOv10.

Conclusione

YOLOv10 stabilisce un nuovo standard nel rilevamento degli oggetti in tempo reale, risolvendo le carenze delle precedenti versioni di YOLO e incorporando strategie di progettazione innovative. La sua capacità di offrire un'elevata precisione con un basso costo computazionale lo rende la scelta ideale per un'ampia gamma di applicazioni reali.

Citazioni e ringraziamenti

Desideriamo ringraziare gli autori di YOLOv10 dell'Università Tsinghua per le loro ricerche approfondite e i loro contributi significativi al framework. Ultralytics struttura:

@article{THU-MIGyolov10,
  title={YOLOv10: Real-Time End-to-End Object Detection},
  author={Ao Wang, Hui Chen, Lihao Liu, et al.},
  journal={arXiv preprint arXiv:2405.14458},
  year={2024},
  institution={Tsinghua University},
  license = {AGPL-3.0}
}

Per l'implementazione dettagliata, le innovazioni architettoniche e i risultati sperimentali, consulta il documento di ricerca YOLOv10 e il repository GitHub del team della Tsinghua University.

DOMANDE FREQUENTI

Cos'è YOLOv10 e in cosa si differenzia dalle precedenti versioni di YOLO ?

YOLOv10, sviluppato dai ricercatori della Tsinghua University, introduce diverse innovazioni chiave per il rilevamento degli oggetti in tempo reale. Elimina la necessità di soppressione non massimale (NMS) utilizzando assegnazioni duali coerenti durante l'addestramento e componenti del modello ottimizzati per ottenere prestazioni superiori con un ridotto overhead computazionale. Per maggiori dettagli sulla sua architettura e sulle sue caratteristiche principali, consulta la sezione panoramica di YOLOv10.

Come posso iniziare a fare inferenza con YOLOv10?

Per facilitare l'inferenza, puoi utilizzare la libreria Ultralytics YOLO Python o l'interfaccia a riga di comando (CLI). Di seguito sono riportati alcuni esempi di previsione di nuove immagini utilizzando YOLOv10:

from ultralytics import YOLO

# Load the pre-trained YOLOv10-N model
model = YOLO("yolov10n.pt")
results = model("image.jpg")
results[0].show()

yolo detect predict model=yolov10n.pt source=path/to/image.jpg

Per altri esempi di utilizzo, visita la nostra sezione Esempi di utilizzo.

Quali varianti di modello offre YOLOv10 e quali sono i loro casi d'uso?

YOLOv10 offre diverse varianti di modelli per soddisfare diversi casi d'uso:

• YOLOv10-N: adatto ad ambienti con risorse estremamente limitate
• YOLOv10-S: bilancia velocità e precisione
• YOLOv10-M: Uso generale
• YOLOv10-B: maggiore precisione con una larghezza maggiore
• YOLOv10-L: alta precisione al costo delle risorse computazionali
• YOLOv10-X: Massima precisione e prestazioni

Ogni variante è stata progettata per soddisfare diverse esigenze di calcolo e di precisione, rendendole versatili per un'ampia gamma di applicazioni. Per maggiori informazioni, esplora la sezione Varianti del modello.

In che modo l'approccio senza NMS di YOLOv10 migliora le prestazioni?

YOLOv10 elimina la necessità di soppressione non massimale (NMS) durante l'inferenza utilizzando assegnazioni duali coerenti per la formazione. Questo approccio riduce la latenza dell'inferenza e migliora l'efficienza della previsione. L'architettura include anche una testa uno-a-uno per l'inferenza, assicurando che ogni oggetto riceva una singola previsione migliore. Per una spiegazione dettagliata, consulta la sezione Assegnazioni doppie coerenti per una formazione senza NMS.

Dove posso trovare le opzioni di esportazione per i modelli YOLOv10?

YOLOv10 supporta diversi formati di esportazione, tra cui TorchScript, ONNX, OpenVINO e TensorRT. Tuttavia, non tutti i formati di esportazione forniti da Ultralytics sono attualmente supportati da YOLOv10 a causa delle sue nuove operazioni. Per maggiori dettagli sui formati supportati e le istruzioni per l'esportazione, visita la sezione Esportare YOLOv10.

Quali sono le prestazioni di riferimento dei modelli YOLOv10?

YOLOv10 supera le precedenti versioni di YOLO e altri modelli all'avanguardia sia in termini di accuratezza che di efficienza. Ad esempio, YOLOv10-S è 1,8 volte più veloce di RT-DETR-R18 con un AP simile sul dataset COCO. YOLOv10-B mostra il 46% di latenza in meno e il 25% di parametri in meno rispetto a YOLOv9-C a parità di prestazioni. I benchmark dettagliati sono disponibili nella sezione Confronti.

Commenti