Come eseguire Ultralytics YOLO26 su un Raspberry Pi con un Coral Edge TPU#

Un Raspberry Pi è una piattaforma conveniente ed efficiente dal punto di vista energetico per eseguire la computer vision all'edge, ma l'inferenza sul dispositivo è lenta anche con formati ottimizzati come ONNX o OpenVINO. Collegando il Pi a un coprocessore Coral Edge TPU, l'inferenza viene demandata a un hardware dedicato e la velocità aumenta notevolmente. Questa guida ti mostra come installare il runtime, esportare un modello Ultralytics YOLO26 nel formato Edge TPU ed eseguire l'inferenza accelerata.

Perché usare un Coral Edge TPU?#

Coral Edge TPU è un dispositivo compatto che aggiunge al sistema un coprocessore Edge TPU, consentendo l'inferenza ML a basso consumo e alte prestazioni per i modelli TensorFlow Lite. È ideale per le distribuzioni embedded e mobili, in cui una CPU da sola non è sufficiente:

• Inferenza più veloce — Edge TPU accelera i modelli quantizzati molto più di quanto riesca a fare da solo il processore del Raspberry Pi.
• Basso consumo energetico — offre un throughput elevato per watt ed è ideale per le distribuzioni alimentate a batteria o a energia solare.
• Plug-and-play — USB Accelerator si collega tramite USB 3.0, quindi non è necessaria alcuna integrazione hardware aggiuntiva.

Prerequisiti#

• Raspberry Pi 4B (consigliati 2 GB o più) oppure Raspberry Pi 5 (consigliato)
• Raspberry Pi OS Bullseye/Bookworm (64 bit) con desktop (consigliato)
• Coral USB Accelerator
• Una piattaforma Linux x86_64 (Google Colab, una macchina Linux x86_64 o il contenitore Docker di Ultralytics su un host x86_64) per esportare il modello, poiché il compilatore Edge TPU è disponibile solo su Linux x86_64

Questa guida presuppone che tu abbia già un'installazione funzionante di Raspberry Pi OS con ultralytics e le relative dipendenze installate. In caso contrario, segui prima la guida rapida.

Con i prerequisiti pronti, il flusso di lavoro prevede tre passaggi: installare il runtime Edge TPU sul Pi, esportare il modello su una macchina Linux x86_64 e eseguire l'inferenza sul Pi.

Installare il runtime Edge TPU#

Il runtime è disponibile in diverse build: scegli quella compatibile con il tuo sistema operativo. La build ad alta frequenza fa funzionare Edge TPU a una frequenza di clock maggiore per ottenere prestazioni migliori, ma può causare throttling termico: se la scegli, usa un sistema di raffreddamento.

Scarica qui l'ultima versione, quindi installa il pacchetto .deb:

sudo dpkg -i path/to/package.deb

Dopo aver installato il runtime, collega Coral Edge TPU a una porta USB 3.0 del Raspberry Pi affinché la nuova regola udev possa entrare in vigore.

# If you installed the standard version
sudo apt remove libedgetpu1-std

# If you installed the high-frequency version
sudo apt remove libedgetpu1-max

Esportare il modello nel formato Edge TPU#

Per usare Edge TPU, converti il modello in un formato compatibile. Esegui l'esportazione su Linux x86_64 — Google Colab, una macchina Linux x86_64, il contenitore Docker ufficiale di Ultralytics su un host x86_64 oppure Ultralytics Platform — poiché il compilatore Edge TPU è disponibile solo su Linux x86_64. Consulta la pagina Modalità di esportazione per gli argomenti disponibili.

from ultralytics import YOLO

# Carica un modello
model = YOLO("path/to/model.pt")  # Carica un modello ufficiale o un modello personalizzato

# Esporta il modello
model.export(format="edgetpu")

Il modello esportato viene salvato nella cartella <model_name>_saved_model/ come <model_name>_full_integer_quant_edgetpu.tflite.

Eseguire l'inferenza su Edge TPU#

Prima di eseguire il modello, installa le librerie corrette sul Raspberry Pi. Se TensorFlow è già installato, disinstallalo prima:

pip uninstall tensorflow tensorflow-aarch64

Quindi installa o aggiorna tflite-runtime:

pip install -U tflite-runtime

Ora puoi eseguire l'inferenza:

from ultralytics import YOLO

# Carica un modello
model = YOLO("path/to/yolo26n_full_integer_quant_edgetpu.tflite")  # Carica un modello ufficiale o un modello personalizzato

# Esegui la predizione
model.predict("path/to/source.png")

Trovi tutti i dettagli sulla modalità di predizione nella pagina Predizione.

from ultralytics import YOLO

# Carica un modello
model = YOLO("path/to/yolo26n_full_integer_quant_edgetpu.tflite")  # Carica un modello ufficiale o un modello personalizzato

# Esegui la predizione
model.predict("path/to/source.png")  # Per impostazione predefinita, l'inferenza usa la prima TPU

model.predict("path/to/source.png", device="tpu:0")  # Seleziona la prima TPU

model.predict("path/to/source.png", device="tpu:1")  # Seleziona la seconda TPU

Benchmark#

Le misurazioni seguenti sono state effettuate con Raspberry Pi OS Bookworm a 64 bit e un Coral Edge TPU USB. Indicano solo il tempo di inferenza (escludendo pre e post-elaborazione) e forniscono un riferimento relativo all'accelerazione offerta da Edge TPU sui vari modelli di Pi e modalità.

In media:

• Con la modalità standard, Raspberry Pi 5 è più veloce del 22% rispetto a Raspberry Pi 4B.
• Con la modalità ad alta frequenza, Raspberry Pi 5 è più veloce del 30,2% rispetto a Raspberry Pi 4B.
• La modalità ad alta frequenza è più veloce del 28,4% rispetto alla modalità standard.

Conclusione#

Coral Edge TPU trasforma un Raspberry Pi in un dispositivo di inferenza efficiente dal punto di vista energetico e performante per Ultralytics YOLO26. Esporta il modello su una macchina Linux x86_64, mantieni il suffisso _edgetpu.tflite ed eseguilo con tflite-runtime sul Pi per ottenere un'inferenza edge accelerata. Per ulteriori opzioni di distribuzione, consulta la guida Raspberry Pi.

Domande frequenti#