Ссылка для ultralytics/utils/triton.py
Примечание
Этот файл доступен по адресу https://github.com/ultralytics/ ultralytics/blob/main/ ultralytics/utils/ triton.py. Если ты обнаружил проблему, пожалуйста, помоги исправить ее, создав Pull Request 🛠️. Спасибо 🙏!
ultralytics.utils.triton.TritonRemoteModel
Клиент для взаимодействия с удаленной моделью Triton Inference Server.
Атрибуты:
Имя | Тип | Описание |
---|---|---|
endpoint |
str
|
Название модели на сервере Triton . |
url |
str
|
URL-адрес сервера Triton . |
triton_client |
Клиент Triton (либо HTTP, либо gRPC). |
|
InferInput |
Класс ввода для клиента Triton . |
|
InferRequestedOutput |
Класс выходного запроса для клиента Triton . |
|
input_formats |
List[str]
|
Типы данных входных данных модели. |
np_input_formats |
List[type]
|
Типы данных numpy для входных данных модели. |
input_names |
List[str]
|
Названия входов модели. |
output_names |
List[str]
|
Названия выходов модели. |
Исходный код в ultralytics/utils/triton.py
__call__(*inputs)
Вызови модель с заданными входными данными.
Параметры:
Имя | Тип | Описание | По умолчанию |
---|---|---|---|
*inputs |
List[ndarray]
|
Входные данные для модели. |
()
|
Возвращается:
Тип | Описание |
---|---|
List[ndarray]
|
Выходные данные модели. |
Исходный код в ultralytics/utils/triton.py
__init__(url, endpoint='', scheme='')
Инициализируй модель TritonRemoteModel.
Аргументы могут быть предоставлены по отдельности или разобраны из коллективного аргумента 'url' вида
Параметры:
Имя | Тип | Описание | По умолчанию |
---|---|---|---|
url |
str
|
URL-адрес сервера Triton . |
требуется |
endpoint |
str
|
Название модели на сервере Triton . |
''
|
scheme |
str
|
Схема связи ("http" или "grpc"). |
''
|