Riferimento per ultralytics/utils/triton.py
Nota
Questo file è disponibile all'indirizzo https://github.com/ultralytics/ ultralytics/blob/main/ ultralytics/utils/ triton.py. Se riscontri un problema, contribuisci a risolverlo inviando una Pull Request 🛠️. Grazie 🙏!
ultralytics.utils.triton.TritonRemoteModel
Client per interagire con un modello di Triton Inference Server remoto.
Attributi:
Nome | Tipo | Descrizione |
---|---|---|
endpoint |
str
|
Il nome del modello sul server Triton . |
url |
str
|
L'URL del server Triton . |
triton_client |
Il client Triton (HTTP o gRPC). |
|
InferInput |
La classe di input per il client Triton . |
|
InferRequestedOutput |
La classe di richiesta di output per il client Triton . |
|
input_formats |
List[str]
|
I tipi di dati degli input del modello. |
np_input_formats |
List[type]
|
I tipi di dati numpy degli input del modello. |
input_names |
List[str]
|
I nomi degli input del modello. |
output_names |
List[str]
|
I nomi degli output del modello. |
Codice sorgente in ultralytics/utils/triton.py
__call__(*inputs)
Richiama il modello con gli input dati.
Parametri:
Nome | Tipo | Descrizione | Predefinito |
---|---|---|---|
*inputs |
List[ndarray]
|
Dati di ingresso al modello. |
()
|
Restituzione:
Tipo | Descrizione |
---|---|
List[ndarray]
|
Uscite del modello. |
Codice sorgente in ultralytics/utils/triton.py
__init__(url, endpoint='', scheme='')
Inizializza il modello TritonRemoteModel.
Gli argomenti possono essere forniti singolarmente o analizzati da un argomento collettivo 'url' del tipo
Parametri:
Nome | Tipo | Descrizione | Predefinito |
---|---|---|---|
url |
str
|
L'URL del server Triton . |
richiesto |
endpoint |
str
|
Il nome del modello sul server Triton . |
''
|
scheme |
str
|
Lo schema di comunicazione ("http" o "grpc"). |
''
|