Referenz für ultralytics/utils/triton.py
Hinweis
Diese Datei ist verfügbar unter https://github.com/ultralytics/ ultralytics/blob/main/ ultralytics/utils/ triton.py. Wenn du ein Problem entdeckst, hilf bitte mit, es zu beheben, indem du einen Pull Request 🛠️ einreichst. Vielen Dank 🙏!
ultralytics.utils.triton.TritonRemoteModel
Client für die Interaktion mit einem entfernten Triton Inference Server-Modell.
Attribute:
Name | Typ | Beschreibung |
---|---|---|
endpoint |
str
|
Der Name des Modells auf dem Triton Server. |
url |
str
|
Die URL des Triton Servers. |
triton_client |
Der Triton Client (entweder HTTP oder gRPC). |
|
InferInput |
Die Eingabeklasse für den Triton Client. |
|
InferRequestedOutput |
Die Klasse der Ausgabeanforderung für den Triton Client. |
|
input_formats |
List[str]
|
Die Datentypen der Modelleingaben. |
np_input_formats |
List[type]
|
Die Numpy-Datentypen der Modelleingaben. |
input_names |
List[str]
|
Die Namen der Modelleingaben. |
output_names |
List[str]
|
Die Namen der Modellausgaben. |
Quellcode in ultralytics/utils/triton.py
__call__(*inputs)
Rufe das Modell mit den gegebenen Eingaben auf.
Parameter:
Name | Typ | Beschreibung | Standard |
---|---|---|---|
*inputs |
List[ndarray]
|
Eingangsdaten für das Modell. |
()
|
Retouren:
Typ | Beschreibung |
---|---|
List[ndarray]
|
Modellausgaben. |
Quellcode in ultralytics/utils/triton.py
__init__(url, endpoint='', scheme='')
Initialisiere das TritonRemoteModel.
Die Argumente können einzeln angegeben werden oder aus einem kollektiven "url"-Argument der folgenden Form geparst werden
Parameter:
Name | Typ | Beschreibung | Standard |
---|---|---|---|
url |
str
|
Die URL des Triton Servers. |
erforderlich |
endpoint |
str
|
Der Name des Modells auf dem Triton Server. |
''
|
scheme |
str
|
Das Kommunikationsschema ("http" oder "grpc"). |
''
|