Referentie voor ultralytics/utils/triton.py
Opmerking
Dit bestand is beschikbaar op https://github.com/ultralytics/ ultralytics/blob/main/ ultralytics/utils/ triton.py. Als je een probleem ziet, help het dan oplossen door een Pull Request 🛠️ bij te dragen. Bedankt 🙏!
ultralytics.utils.triton.TritonRemoteModel
Client voor interactie met een extern Triton Inference Server model.
Kenmerken:
Naam | Type | Beschrijving |
---|---|---|
endpoint |
str
|
De naam van het model op de Triton server. |
url |
str
|
De URL van de Triton server. |
triton_client |
De Triton client (HTTP of gRPC). |
|
InferInput |
De invoerklasse voor de Triton client. |
|
InferRequestedOutput |
De uitvoervraagklasse voor de Triton client. |
|
input_formats |
List[str]
|
De gegevenstypen van de modelinputs. |
np_input_formats |
List[type]
|
De numpy datatypes van de invoer van het model. |
input_names |
List[str]
|
De namen van de invoergegevens van het model. |
output_names |
List[str]
|
De namen van de modeluitgangen. |
Broncode in ultralytics/utils/triton.py
__call__(*inputs)
Roep het model op met de gegeven invoer.
Parameters:
Naam | Type | Beschrijving | Standaard |
---|---|---|---|
*inputs |
List[ndarray]
|
Invoergegevens voor het model. |
()
|
Retourneert:
Type | Beschrijving |
---|---|
List[ndarray]
|
Modeluitvoer. |
Broncode in ultralytics/utils/triton.py
__init__(url, endpoint='', scheme='')
Initialiseer het TritonRemoteModel.
Argumenten kunnen afzonderlijk worden gegeven of worden ontleend aan een collectief 'url'-argument van de vorm
Parameters:
Naam | Type | Beschrijving | Standaard |
---|---|---|---|
url |
str
|
De URL van de Triton server. |
vereist |
endpoint |
str
|
De naam van het model op de Triton server. |
''
|
scheme |
str
|
Het communicatieschema ('http' of 'grpc'). |
''
|