Endpoint chuyên dụng#

Ultralytics Platform cho phép triển khai model YOLO lên các endpoint chuyên dụng tại 42 khu vực trên toàn cầu. Mỗi endpoint là một dịch vụ dành riêng cho một tenant, có URL endpoint riêng và cơ chế giám sát độc lập. Tài nguyên mặc định sẽ thu nhỏ về 0 khi không hoạt động; các kích thước tùy chỉnh duy trì một phiên bản luôn sẵn sàng và được tính phí theo thời gian hoạt động.

Tạo endpoint#

Từ tab Deploy#

Triển khai model từ tab Deploy của model đó:

1. Điều hướng đến model của bạn
2. Nhấp vào tab Deploy
3. Xem bản đồ thế giới và bảng khu vực, được sắp xếp theo độ trễ đo được từ vị trí của bạn
4. Nhấp vào Deploy trong hàng khu vực bạn muốn sử dụng
5. Trong hộp thoại, xem lại CPU, bộ nhớ, giá và tên triển khai, sau đó nhấp vào Create Deployment

Tên được đề xuất ghép tên model với thành phố của khu vực (ví dụ: yolo26n-iowa) và có thể chỉnh sửa trước khi triển khai. Model phải có weights; nếu không, tab sẽ hiển thị trạng thái trống thay vì bảng khu vực.

Từ tab Deployments#

Tạo một bản triển khai từ tab Deployments trên hồ sơ của bạn hoặc từ thanh bên:

1. Nhấp vào New Deployment trong tab Deployments, hoặc nhấp vào + bên cạnh Deployments trong thanh bên
2. Chọn một model từ bộ chọn model, nơi liệt kê các model đã hoàn tất của bạn
3. Chọn một khu vực từ bản đồ thu nhỏ hoặc bảng độ trễ
4. Chọn CPU và bộ nhớ, xem lại giá, rồi chỉnh sửa tên triển khai được đề xuất nếu cần
5. Nhấp vào Create Deployment

Vòng đời triển khai#

stateDiagram-v2
    [*] --> Creating: Deploy
    Creating --> Deploying: Service starting
    Deploying --> Ready: Service URL published
    Ready --> Stopping: Stop
    Ready --> Deploying: Replace model or resize
    Stopping --> Stopped: Stopped
    Stopped --> Deploying: Start
    Deploying --> Stopped: Start failed
    Ready --> [*]: Delete
    Stopped --> [*]: Delete
    Creating --> Failed: Error
    Deploying --> Failed: Error
    Failed --> [*]: Delete

    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff
    classDef error fill:#F44336,color:#fff
    classDef extern fill:#607D8B,color:#fff
    class Creating,Deploying,Stopping proc
    class Ready out
    class Failed error
    class Stopped extern

Kết nối cảnh báo Slack để nhận thông báo khi một bản triển khai sẵn sàng hoặc không khởi động được.

Chọn vùng#

Chọn trong số 42 khu vực trên toàn thế giới. Bản đồ khu vực tương tác và bảng hiển thị:

• Các ghim khu vực: Được mã hóa màu theo độ trễ trên dải màu từ xanh lá đến đỏ (khu vực nhanh hơn có màu xanh hơn, khu vực chậm hơn có màu đỏ hơn)
• Các khu vực đã triển khai: Được đánh dấu bằng nhãn "Deployed" trong bảng
• Các khu vực đang triển khai: Ghim và hàng trong bảng có chỉ báo nhấp nháy động
• Đánh dấu hai chiều: Di chuột lên bản đồ sẽ làm nổi bật hàng tương ứng trong bảng và ngược lại

Bảng khu vực trong tab Deploy của model bao gồm:

Có thể tìm kiếm trong bảng theo thành phố, quốc gia và zone; theo mặc định, bảng được sắp xếp theo độ trễ.

Các khu vực khả dụng#

Cấu hình endpoint#

Hộp thoại triển khai mới#

Hộp thoại New Deployment cho phép bạn chọn model, khu vực, tài nguyên và tên triển khai:

Chọn kích thước CPU và bộ nhớ trong phần điều khiển tài nguyên, đồng thời xem lại mức giá được hiển thị trước khi tạo triển khai. Các tùy chọn CPU là 1, 2, 4, 6 hoặc 8 vCPU; các tùy chọn bộ nhớ từ 2 đến 32 GiB. Kích thước bộ nhớ lớn hơn cần nhiều vCPU hơn (ví dụ: 16 GiB cần tối thiểu 4 vCPU), và hộp thoại sẽ giải thích mọi tổ hợp không hợp lệ. Kích thước mặc định (1 vCPU, 2 GiB) miễn phí và tự động giảm về 0 khi không hoạt động. Kích thước tùy chỉnh duy trì một instance luôn sẵn sàng và được tính phí theo mức giá theo giờ tại khu vực hiển thị, kể từ khi sẵn sàng cho đến khi bạn dừng endpoint, bao gồm cả thời gian không hoạt động. Để tạo, khởi động hoặc đổi kích thước sang cấu hình tùy chỉnh, cần có credit khả dụng; các endpoint dùng kích thước tùy chỉnh sẽ tự động dừng khi workspace hết credit. Agents sử dụng lại hộp thoại này khi bạn chọn Triển khai mới….

Tab Triển khai (Triển khai nhanh)#

Triển khai từ tab Deploy của model sẽ mở cùng hộp thoại với model và khu vực được chọn sẵn. Xem lại kích thước tài nguyên, giá và tên được tạo tự động trước khi tạo endpoint. Trong quá trình tạo, triển khai sẽ xuất hiện trong danh sách triển khai của model bên dưới bảng khu vực.

Quản lý endpoint#

Chế độ xem#

Danh sách triển khai hỗ trợ ba chế độ xem:

Trang triển khai#

Mỗi triển khai có trang riêng tại /{username}/deploy/{deployment}, hiển thị:

• Phần đầu trang: Cờ khu vực, tên hiển thị (nhấp vào tên để đổi; URL trang và đường dẫn API sẽ đổi thành slug của tên mới, còn URL endpoint không đổi), huy hiệu trạng thái, vị trí và kích thước CPU cùng bộ nhớ
• Thao tác: Cập nhật cấu hình, Thay thế model và Dừng triển khai khi ở trạng thái Sẵn sàng; Khởi động triển khai khi ở trạng thái Đã dừng; cùng menu Thao tác khác (…) gồm Thông tin, Làm mới và Xóa triển khai
• Chỉ số: Yêu cầu HTTP, Tỷ lệ lỗi HTTP và Độ trễ HTTP P95 trong 24 giờ, kèm biểu đồ sparkline, cùng thẻ liên kết đến model đã triển khai
• Các tab: Overview, Monitoring, Predict và Logs
• Thông báo trạng thái: Lý do thất bại khi triển khai không thành công

Tab Overview hiển thị bản đồ vị trí, thẻ Endpoint với URL endpoint có thể sao chép, liên kết Tài liệu API và kiểm tra tình trạng hoạt động, cùng thẻ Thông tin triển khai có giá, khu vực, CPU và bộ nhớ. Tab Logs hiển thị các mục nhật ký gần đây với bộ lọc mức độ nghiêm trọng (Tất cả / Lỗi). Tab Predict cung cấp bảng dự đoán nội tuyến để kiểm thử trực tiếp trên triển khai; tab kết quả Tài liệu có sẵn các ví dụ mã trong Python, JavaScript và cURL, được điền sẵn URL endpoint và, đối với chủ sở hữu workspace, API key được liên kết (xem Giám sát). Hộp thoại Thông tin liệt kê các thuộc tính của triển khai và cho phép bạn chỉnh sửa metadata tùy chỉnh.

Cập nhật CPU và bộ nhớ#

1. Mở trang triển khai của một endpoint ở trạng thái Sẵn sàng.
2. Nhấp vào Cập nhật cấu hình.
3. Chọn CPU và Bộ nhớ, rồi xem lại chi phí theo giờ được hiển thị.
4. Nhấp vào Cập nhật cấu hình. Cấu hình hiện tại tiếp tục phục vụ cho đến khi cấu hình mới sẵn sàng.

Tài nguyên tùy chỉnh sử dụng cơ chế tính phí theo thời gian hoạt động và giữ instance luôn sẵn sàng; nhờ đó, camera IP cũng có thể chạy liên tục mà không mất thêm phí (xem Camera chạy nền). Trở về tài nguyên mặc định sẽ khôi phục cơ chế scale-to-zero và xóa camera chạy nền.

Thay thế model#

Thay thế model đứng sau một endpoint đang sẵn sàng mà không thay đổi URL của endpoint:

1. Mở trang triển khai
2. Nhấp vào Thay thế model
3. Chọn một model đã hoàn tất khác trong cùng workspace
4. Có thể chỉnh sửa tên triển khai nếu muốn
5. Nhấp vào Thay thế model

Model hiện tại tiếp tục phục vụ trong khi model thay thế khởi động. Khi model thay thế sẵn sàng, lưu lượng sẽ chuyển sang model mới. ID triển khai, URL, khu vực và API key không thay đổi; tên hiển thị chỉ thay đổi khi bạn nhập tên mới. Nếu quá trình thay thế thất bại, model và tên trước đó vẫn hoạt động.

Quá trình thay thế cần đáp ứng tất cả các điều kiện sau; nếu không, yêu cầu sẽ bị từ chối:

• Triển khai đang ở trạng thái Ready và không có thao tác vòng đời nào khác đang diễn ra
• Model thay thế có weights và thuộc cùng workspace với deployment
• Model thay thế không phải là model hiện đang được triển khai

Trạng thái deployment#

Trong deployment ở trạng thái Ready, huy hiệu trên trang hiển thị Starting cho đến khi endpoint phản hồi lần đầu với kiểm tra tình trạng, và hiển thị Not responding nếu lần kiểm tra thất bại.

URL endpoint#

Mỗi endpoint có một URL riêng, ví dụ:

https://predict-<deployment-id>-<hash>-<region>.a.run.app

Nhấp vào nút sao chép để sao chép URL. Nhấp vào Tài liệu API để mở tài liệu tham khảo API riêng của endpoint. Endpoint phục vụ các đường dẫn sau:

Quản lý vòng đời#

Điều khiển trạng thái endpoint:

graph LR
    R[Ready]:::out -->|Stop| S[Stopped]:::extern
    S -->|Start| R
    R -->|Delete| D[Deleted]:::error
    S -->|Delete| D

    classDef out fill:#9C27B0,color:#fff
    classDef error fill:#F44336,color:#fff
    classDef extern fill:#607D8B,color:#fff

Dừng endpoint#

Dừng endpoint khi bạn không muốn endpoint chấp nhận request:

1. Nhấp vào Dừng deployment trên trang deployment
2. Trạng thái endpoint chuyển thành "Stopping", sau đó là "Stopped"

Endpoint đã dừng:

• Không chấp nhận request và không báo cáo số liệu trực tiếp hoặc trạng thái tình trạng
• Ngừng phát sinh phí thời gian hoạt động
• Mất số liệu thống kê giám sát tạm thời và hình ảnh ví dụ khi instance phục vụ tắt
• Giữ nguyên URL, region và API key được liên kết; có thể khởi động lại bất cứ lúc nào
• Vẫn được tính vào hạn mức deployment của gói — hãy xóa endpoint để giải phóng một suất

Xóa endpoint#

Gỡ endpoint vĩnh viễn:

1. Mở Thao tác khác (…) trên trang deployment rồi nhấp vào Xóa deployment, hoặc nhấp vào biểu tượng thùng rác cạnh deployment trong thanh bên
2. Xác nhận bằng cách nhấp vào Xóa

Deployment cũng bị xóa khi model hoặc project bị xóa vĩnh viễn, hoặc khi model hay project trong thùng rác hết thời hạn lưu giữ.

Sử dụng endpoint#

Xác thực#

Mỗi deployment được liên kết với một API key duy nhất từ workspace sở hữu model. Đưa API key vào request:

Authorization: Bearer YOUR_API_KEY

Endpoint chỉ chấp nhận key được liên kết khi tạo, vì vậy không key nào khác có thể truy cập endpoint — kể cả key khác đang hoạt động trong cùng workspace. Để kiểm soát key được liên kết, hãy triển khai qua API đã xác thực bằng key của chủ sở hữu workspace: chính key đó sẽ được liên kết và bạn đã có key này. Các deployment được tạo theo cách khác (qua giao diện Platform hoặc lời gọi API được xác thực với tư cách thành viên nhóm) sẽ tự động liên kết với một trong các key đang hoạt động của workspace sở hữu — hãy hỏi chủ sở hữu workspace để nhận giá trị key, vì chỉ chủ sở hữu mới có thể xem giá trị key (xem API Keys). Thành viên nhóm không có key được liên kết vẫn có thể chạy inference thông qua proxy predict của Platform trên trình duyệt.

Request trực tiếp đến endpoint#

Gửi request production trực tiếp đến URL hiển thị trên trang deployment. Các request này không đi qua bộ giới hạn tốc độ của API Platform, nên giới hạn predict 20 request/phút không áp dụng. Endpoint vẫn có giới hạn công suất riêng:

• Mỗi endpoint được phục vụ bởi một instance duy nhất, xử lý số lượng request đồng thời có giới hạn
• Các request không thể được xử lý kịp thời sẽ trả về 429 cùng header Retry-After
• Một request có thể chạy tối đa 1 giờ, cho phép hoàn tất inference video
• Kích thước body của request được giới hạn ở 32 MB; các nội dung tải lên lớn hơn sẽ bị từ chối với 413
• Response lớn hơn 1 KB được nén bằng gzip và các request trình duyệt cross-origin được cho phép

Ví dụ request#

import requests

# Endpoint deployment
url = "https://YOUR_DEPLOYMENT_URL.run.app/predict"

# Header chứa API key của deployment
headers = {"Authorization": "Bearer YOUR_API_KEY"}

# Tham số inference
data = {"conf": 0.25, "iou": 0.7, "imgsz": 640}

# Gửi hình ảnh để inference
with open("image.jpg", "rb") as f:
    response = requests.post(url, headers=headers, data=data, files={"file": f})

print(response.json())

Tham số yêu cầu#

Endpoint giữ lại runtime inference từ lần rollout gần nhất, vì vậy các hành vi mới hơn như giá trị mặc định của kích thước huấn luyện imgsz hoặc vid_stride ở trên sẽ có hiệu lực khi có revision mới được rollout, chẳng hạn sau khi bạn thay model hoặc thay đổi CPU hay bộ nhớ. Hãy truyền rõ ràng imgsz để cố định kích thước đầu vào.

Xem Response độ sâu để biết bits thay đổi depth map được trả về như thế nào và cách giải mã depth map.

Định dạng response#

Tương tự inference dùng chung, kèm các trường dành riêng cho từng tác vụ.

Câu hỏi thường gặp#