Tài liệu tham khảo cho ultralytics/utils/triton.py
Ghi
Tệp này có sẵn tại https://github.com/ultralytics/ultralytics/blob/main/ultralytics/tiện ích/triton.py. Nếu bạn phát hiện ra một vấn đề, vui lòng giúp khắc phục nó bằng cách đóng góp Yêu cầu 🛠️ kéo. Cảm ơn bạn 🙏 !
ultralytics.utils.triton.TritonRemoteModel
Ứng dụng khách để tương tác với điều khiển từ xa Triton Mô hình Máy chủ suy luận.
Thuộc tính:
Tên | Kiểu | Sự miêu tả |
---|---|---|
endpoint |
str
|
Tên của mô hình trên Triton máy chủ. |
url |
str
|
URL của Triton máy chủ. |
triton_client |
Các Triton máy khách (HTTP hoặc gRPC). |
|
InferInput |
Lớp đầu vào cho Triton khách hàng. |
|
InferRequestedOutput |
Lớp yêu cầu đầu ra cho Triton khách hàng. |
|
input_formats |
List[str]
|
Các kiểu dữ liệu của mô hình đầu vào. |
np_input_formats |
List[type]
|
Các kiểu dữ liệu numpy của đầu vào mô hình. |
input_names |
List[str]
|
Tên của các đầu vào mô hình. |
output_names |
List[str]
|
Tên của mô hình đầu ra. |
Mã nguồn trong ultralytics/utils/triton.py
__call__(*inputs)
Gọi mô hình với các đầu vào đã cho.
Thông số:
Tên | Kiểu | Sự miêu tả | Mặc định |
---|---|---|---|
*inputs |
List[ndarray]
|
Nhập dữ liệu vào mô hình. |
()
|
Trở lại:
Kiểu | Sự miêu tả |
---|---|
List[ndarray]
|
Đầu ra mô hình. |
Mã nguồn trong ultralytics/utils/triton.py
__init__(url, endpoint='', scheme='')
Khởi tạo TritonRemoteModel.
Các đối số có thể được cung cấp riêng lẻ hoặc phân tích cú pháp từ một đối số 'url' tập thể của biểu mẫu
Thông số:
Tên | Kiểu | Sự miêu tả | Mặc định |
---|---|---|---|
url |
str
|
URL của Triton máy chủ. |
bắt buộc |
endpoint |
str
|
Tên của mô hình trên Triton máy chủ. |
''
|
scheme |
str
|
Lược đồ giao tiếp ('http' hoặc 'grpc'). |
''
|