参考资料 ultralytics/utils/triton.py
备注
该文件可从https://github.com/ultralytics/ultralytics/blob/main/ ultralytics/utils/ triton.py 获取。如果您发现问题,请通过提交 Pull Request🛠️ 帮助修复。谢谢🙏!
ultralytics.utils.triton.TritonRemoteModel
与远程Triton Inference Server 模型交互的客户端。
属性
名称 | 类型 | 说明 |
---|---|---|
endpoint |
str
|
Triton 服务器上的型号名称。 |
url |
str
|
Triton 服务器的 URL。 |
triton_client |
Triton 客户端(HTTP 或 gRPC)。 |
|
InferInput |
Triton 客户端的输入类。 |
|
InferRequestedOutput |
Triton 客户端的输出请求类。 |
|
input_formats |
List[str]
|
模型输入的数据类型。 |
np_input_formats |
List[type]
|
模型输入的 numpy 数据类型。 |
input_names |
List[str]
|
模型输入的名称。 |
output_names |
List[str]
|
模型输出的名称。 |
源代码 ultralytics/utils/triton.py
__call__(*inputs)
使用给定的输入调用模型。
参数
名称 | 类型 | 说明 | 默认值 |
---|---|---|---|
*inputs |
List[ndarray]
|
模型的输入数据。 |
()
|
返回:
类型 | 说明 |
---|---|
List[ndarray]
|
模型输出。 |
源代码 ultralytics/utils/triton.py
__init__(url, endpoint='', scheme='')
初始化 TritonRemoteModel。
参数可以单独提供,也可以从形式为 "url "的集合参数中解析出来。
参数
名称 | 类型 | 说明 | 默认值 |
---|---|---|---|
url |
str
|
Triton 服务器的 URL。 |
所需 |
endpoint |
str
|
Triton 服务器上的型号名称。 |
''
|
scheme |
str
|
通信方案("http "或 "grpc")。 |
''
|