Come eseguire Ultralytics YOLO26 su un Raspberry Pi con un Coral Edge TPU#

Un Raspberry Pi è una piattaforma efficiente dal punto di vista energetico ed economica per eseguire la computer vision all'edge, ma l'inferenza sul dispositivo è lenta anche con formati ottimizzati come ONNX o OpenVINO. Abbinando il Pi a un coprocessore Coral Edge TPU, l'inferenza viene trasferita a un hardware dedicato e risulta notevolmente più veloce. Questa guida mostra come installare il runtime, esportare un modello Ultralytics YOLO26 nel formato Edge TPU ed eseguire l'inferenza accelerata.

Perché usare un Coral Edge TPU?#

Il Coral Edge TPU è un dispositivo compatto che aggiunge un coprocessore Edge TPU al sistema, consentendo un'inferenza ML a basso consumo e ad alte prestazioni per i modelli TensorFlow Lite. È ideale per le implementazioni embedded e mobili in cui una CPU da sola non riesce a tenere il passo:

• Inferenza più veloce — l'Edge TPU accelera i modelli quantizzati molto più di quanto riesca a fare da solo il processore del Raspberry Pi.
• Basso consumo energetico — offre un throughput elevato per watt, ideale per implementazioni alimentate a batteria o a energia solare.
• Plug-and-play — l'USB Accelerator si collega tramite USB 3.0, quindi non è necessaria alcuna integrazione hardware aggiuntiva.

Prerequisiti#

• Raspberry Pi 4B (consigliati 2 GB o più) oppure Raspberry Pi 5 (consigliato)
• Raspberry Pi OS Bullseye/Bookworm (64 bit) con desktop (consigliato)
• Coral USB Accelerator
• Una piattaforma non ARM (Google Colab, una macchina Linux x86_64 o il container Docker di Ultralytics) per esportare il modello, poiché il compilatore Edge TPU non è disponibile su ARM

Questa guida presuppone che tu disponga già di un'installazione funzionante di Raspberry Pi OS con ultralytics e le relative dipendenze installate. In caso contrario, segui prima la guida rapida.

Con i prerequisiti pronti, il flusso di lavoro prevede tre passaggi: installare il runtime Edge TPU sul Pi, esportare il modello su una macchina non ARM ed eseguire l'inferenza nuovamente sul Pi.

Installare il runtime Edge TPU#

Il runtime è disponibile in diverse build, quindi scegli quella compatibile con il tuo sistema operativo. La build ad alta frequenza esegue l'Edge TPU a una velocità di clock superiore per ottenere prestazioni migliori, ma può causare throttling termico: se la scegli, utilizza una qualche forma di raffreddamento.

Scarica qui l'ultima versione, quindi installa il pacchetto .deb:

sudo dpkg -i path/to/package.deb

Dopo aver installato il runtime, collega il Coral Edge TPU a una porta USB 3.0 del Raspberry Pi, in modo che la nuova regola udev possa diventare effettiva.

# If you installed the standard version
sudo apt remove libedgetpu1-std

# If you installed the high-frequency version
sudo apt remove libedgetpu1-max

Esportare il modello nel formato Edge TPU#

Per utilizzare l'Edge TPU, converti il modello in un formato compatibile. Esegui l'esportazione su una piattaforma non ARM — Google Colab, una macchina Linux x86_64, il container Docker ufficiale di Ultralytics o Ultralytics Platform — poiché il compilatore Edge TPU non è disponibile su ARM. Consulta la pagina Modalità Esporta per gli argomenti disponibili.

from ultralytics import YOLO

# Load a model
model = YOLO("path/to/model.pt")  # Load an official model or custom model

# Export the model
model.export(format="edgetpu")

Il modello esportato viene salvato nella cartella <model_name>_saved_model/ come <model_name>_full_integer_quant_edgetpu.tflite.

Eseguire l'inferenza sull'Edge TPU#

Prima di eseguire il modello, installa le librerie corrette sul Raspberry Pi. Se TensorFlow è già installato, disinstallalo prima:

pip uninstall tensorflow tensorflow-aarch64

Quindi installa o aggiorna tflite-runtime:

pip install -U tflite-runtime

Ora puoi eseguire l'inferenza:

from ultralytics import YOLO

# Load a model
model = YOLO("path/to/yolo26n_full_integer_quant_edgetpu.tflite")  # Load an official model or custom model

# Run Prediction
model.predict("path/to/source.png")

Trovi tutti i dettagli sulla modalità di predizione nella pagina Predict.

from ultralytics import YOLO

# Load a model
model = YOLO("path/to/yolo26n_full_integer_quant_edgetpu.tflite")  # Load an official model or custom model

# Run Prediction
model.predict("path/to/source.png")  # Inference defaults to the first TPU

model.predict("path/to/source.png", device="tpu:0")  # Select the first TPU

model.predict("path/to/source.png", device="tpu:1")  # Select the second TPU

Benchmark#

Le figure seguenti sono state misurate con Raspberry Pi OS Bookworm a 64 bit e un Coral Edge TPU USB. Mostrano solo il tempo di inferenza (pre e post-processing esclusi) e fungono da riferimento relativo per l'accelerazione fornita dall'Edge TPU nei diversi modelli e nelle diverse modalità del Pi.

In media:

• Il Raspberry Pi 5 è il 22% più veloce in modalità standard rispetto al Raspberry Pi 4B.
• Il Raspberry Pi 5 è il 30,2% più veloce in modalità ad alta frequenza rispetto al Raspberry Pi 4B.
• La modalità ad alta frequenza è il 28,4% più veloce della modalità standard.

Conclusioni#

Un Coral Edge TPU trasforma un Raspberry Pi in un dispositivo di inferenza efficiente e a basso consumo per Ultralytics YOLO26. Esporta il modello su una macchina non ARM, mantieni il suffisso _edgetpu.tflite ed eseguilo con tflite-runtime sul Pi per ottenere un'inferenza edge accelerata. Per ulteriori opzioni di deployment, consulta la guida Raspberry Pi.

FAQ#