Dedicated Endpoints#

Ultralytics Platform cho phép triển khai model YOLO tới các endpoint chuyên dụng tại 42 khu vực toàn cầu. Mỗi endpoint là một dịch vụ đơn thuê bao với một URL endpoint duy nhất và tính năng giám sát độc lập. Kích thước tài nguyên mặc định sẽ tự động giảm về 0 khi không hoạt động; các kích thước tùy chỉnh duy trì một instance ở trạng thái sẵn sàng và được tính phí theo thời gian hoạt động.

Tạo Endpoint#

Từ Tab Deploy#

Triển khai một model từ tab Deploy của model đó:

1. Đi đến model của bạn
2. Nhấp vào tab Deploy
3. Xem lại bản đồ thế giới và bảng khu vực, được sắp xếp theo độ trễ đo được từ vị trí của bạn
4. Nhấp vào Deploy trong hàng của khu vực bạn muốn sử dụng
5. Trong hộp thoại, hãy xem xét CPU, bộ nhớ, giá cả và tên triển khai, sau đó nhấp vào Create Deployment

Tên được đề xuất kết hợp tên model và thành phố khu vực (ví dụ: yolo26n-iowa) và có thể được chỉnh sửa trước khi triển khai. Model phải có trọng số, nếu không tab sẽ hiển thị trạng thái trống thay vì bảng khu vực.

Từ Trang Deployments#

Tạo một deployment từ trang toàn cục Deploy trong sidebar:

1. Nhấp vào New Deployment
2. Chọn một model từ bộ chọn model, trong đó liệt kê các model đã hoàn tất của bạn
3. Chọn một khu vực từ bản đồ thu nhỏ hoặc bảng độ trễ
4. Chọn CPU và bộ nhớ, xem xét giá cả và chỉnh sửa tên triển khai được đề xuất nếu cần
5. Nhấp vào Create Deployment

Vòng đời Deployment#

stateDiagram-v2
    [*] --> Creating: Deploy
    Creating --> Deploying: Service starting
    Deploying --> Ready: Service URL published
    Ready --> Stopping: Stop
    Ready --> Deploying: Replace model
    Stopping --> Stopped: Stopped
    Stopped --> Deploying: Start
    Deploying --> Stopped: Start failed
    Ready --> [*]: Delete
    Stopped --> [*]: Delete
    Creating --> Failed: Error
    Deploying --> Failed: Error
    Failed --> [*]: Delete

    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff
    classDef error fill:#F44336,color:#fff
    classDef extern fill:#607D8B,color:#fff
    class Creating,Deploying,Stopping proc
    class Ready out
    class Failed error
    class Stopped extern

Kết nối cảnh báo Slack để nhận thông báo khi deployment sẵn sàng hoặc không thể khởi động.

Chọn khu vực#

Chọn từ 42 khu vực trên toàn thế giới. Bản đồ khu vực tương tác và bảng hiển thị:

• Các điểm khu vực: Được mã hóa màu theo độ trễ trên dải màu từ xanh lá đến đỏ (khu vực nhanh hơn có màu xanh hơn, khu vực chậm hơn có màu đỏ hơn)
• Các khu vực đã triển khai: Được đánh dấu bằng huy hiệu "Deployed" trong bảng
• Các khu vực đang triển khai: Chỉ báo nhấp nháy trên điểm bản đồ và hàng trong bảng
• Làm nổi bật hai chiều: Di chuột trên bản đồ sẽ làm nổi bật hàng tương ứng trong bảng và ngược lại

Bảng vùng trên tab model Deploy bao gồm:

Bảng có thể tìm kiếm theo thành phố, quốc gia và zone, đồng thời được sắp xếp theo độ trễ theo mặc định.

Các khu vực khả dụng#

Cấu hình Endpoint#

Dialog New Deployment#

Hộp thoại New Deployment cho phép bạn chọn một model, khu vực, tài nguyên và tên triển khai:

Chọn kích thước CPU và bộ nhớ trong các điều khiển tài nguyên và xem lại mức giá được hiển thị trước khi tạo triển khai. Kích thước mặc định có thể sử dụng hạn mức triển khai miễn phí khả dụng; các kích thước tùy chỉnh sử dụng định giá theo mức sử dụng. Kích thước mặc định sẽ tự động giảm về 0 khi không hoạt động. Các kích thước tùy chỉnh duy trì một instance ở trạng thái sẵn sàng và bị tính phí từ thời điểm sẵn sàng cho đến khi bạn dừng endpoint, bao gồm cả thời gian không hoạt động. Agents sử dụng lại hộp thoại này khi bạn chọn New deployment….

Tab Deploy (Triển khai nhanh)#

Việc triển khai từ tab Deploy của model sẽ mở ra hộp thoại tương tự với model và khu vực đã được chọn trước. Xem lại kích thước tài nguyên, giá cả và tên được tự động tạo trước khi tạo endpoint. Triển khai xuất hiện trong danh sách Active Deployments trong khi triển khai đang được tạo.

Quản lý Endpoint#

Chế độ xem#

Danh sách deployment hỗ trợ ba chế độ xem:

Deployment Card (Chế độ xem Cards)#

Mỗi deployment card trong chế độ xem cards hiển thị:

• Phần đầu: Tên, cờ khu vực, huy hiệu trạng thái và các nút hành động khả dụng cho trạng thái hiện tại — cập nhật cấu hình, thay thế và dừng khi Sẵn sàng, bắt đầu khi Đã dừng, xóa bất kỳ lúc nào
• Endpoint URL: URL có thể sao chép kèm liên kết đến tài liệu tham khảo API riêng của endpoint
• Metrics: Số lượng request (24 giờ), độ trễ P95, tỷ lệ lỗi hoặc "Chưa có traffic"
• Health check: Chỉ báo tình trạng hoạt động theo thời gian thực kèm độ trễ và chức năng làm mới thủ công
• Tab: Logs, Code và Predict; các endpoint trả phí cũng hiển thị Monitoring
• Footer: Tiền tố API key được liên kết với deployment và ngày deployment chuyển sang trạng thái sẵn sàng
• Status message: Lý do lỗi khi deployment thất bại

URL, metrics, health check và tabs chỉ xuất hiện khi deployment ở trạng thái Ready. Tab Logs hiển thị các mục log gần đây với bộ lọc mức độ nghiêm trọng (All / Errors). Tab Code hiển thị các ví dụ code sẵn sàng sử dụng bằng Python, JavaScript, và cURL cùng URL endpoint, kèm API key được liên kết dành cho chủ sở hữu workspace (xem Monitoring). Tab Predict cung cấp panel dự đoán trực tiếp để kiểm thử ngay trên deployment.

Cập nhật CPU và Bộ nhớ#

1. Mở một endpoint Sẵn sàng ở chế độ xem Thẻ.
2. Nhấp vào Cập nhật cấu hình triển khai.
3. Chọn CPU và Bộ nhớ, sau đó xem lại chi phí hàng giờ được hiển thị.
4. Nhấp vào Cập nhật Cấu hình. Cấu hình hiện tại tiếp tục phục vụ cho đến khi cấu hình mới sẵn sàng.

Tài nguyên tùy chỉnh sử dụng tính năng thanh toán theo thời gian hoạt động và giữ cho instance luôn hoạt động. Quay lại tài nguyên mặc định sẽ khôi phục hành vi thu nhỏ về 0 và xóa tab Giám sát trả phí.

Thay thế Model#

Thay thế model phía sau một endpoint sẵn sàng mà không thay đổi URL của endpoint:

1. Mở deployment trong chế độ xem Cards
2. Nhấp vào Replace model
3. Chọn một model đã hoàn tất khác từ cùng workspace
4. Tùy chọn chỉnh sửa tên deployment
5. Nhấp vào Replace Model

Model hiện tại tiếp tục phục vụ trong khi model thay thế khởi động. Khi model thay thế sẵn sàng, traffic được chuyển sang model mới. Deployment ID, URL, region và API key không thay đổi; tên hiển thị chỉ thay đổi khi bạn nhập tên mới. Nếu việc thay thế thất bại, model và tên trước đó vẫn hoạt động.

Việc thay thế yêu cầu tất cả điều kiện sau đây; nếu không, yêu cầu sẽ bị từ chối:

• Deployment ở trạng thái Ready và không có thao tác vòng đời nào khác đang thực hiện
• Model thay thế có weights và thuộc cùng workspace với deployment
• Model thay thế không phải là model đã được triển khai

Trạng thái Deployment#

Endpoint URL#

Mỗi endpoint có một URL duy nhất, ví dụ:

https://predict-<deployment-id>-<hash>-<region>.a.run.app

Nhấp vào nút sao chép để sao chép URL. Nhấp vào biểu tượng tài liệu để mở tài liệu tham khảo API của riêng endpoint. Endpoint phục vụ các đường dẫn sau:

Quản lý Vòng đời#

Điều khiển trạng thái endpoint của bạn:

graph LR
    R[Ready]:::out -->|Stop| S[Stopped]:::extern
    S -->|Start| R
    R -->|Delete| D[Deleted]:::error
    S -->|Delete| D

    classDef out fill:#9C27B0,color:#fff
    classDef error fill:#F44336,color:#fff
    classDef extern fill:#607D8B,color:#fff

Dừng Endpoint#

Dừng endpoint khi bạn không muốn endpoint đó tiếp nhận các request:

1. Nhấp vào biểu tượng tạm dừng trên thẻ deployment
2. Trạng thái endpoint chuyển thành "Stopping", sau đó là "Stopped"

Các endpoint đã dừng:

• Không chấp nhận yêu cầu và không báo cáo số liệu trực tiếp hoặc trạng thái sức khỏe
• Ngừng tích lũy phí thời gian hoạt động
• Mất số liệu thống kê giám sát tạm thời và hình ảnh ví dụ khi instance phục vụ tắt
• Giữ nguyên URL, region và API key được liên kết, đồng thời có thể được khởi động lại bất cứ lúc nào
• Vẫn được tính vào hạn mức deployment của gói — hãy xóa một endpoint để giải phóng vị trí

Xóa Endpoint#

Xóa vĩnh viễn một endpoint:

1. Nhấp vào biểu tượng xóa (thùng rác) trên thẻ deployment
2. Xác nhận việc xóa trong hộp thoại

Các deployment cũng bị xóa khi model hoặc project của chúng bị xóa vĩnh viễn, hoặc khi model hay project trong thùng rác kết thúc thời hạn lưu giữ.

Sử dụng Endpoint#

Xác thực#

Mỗi deployment được liên kết với một API key duy nhất từ workspace sở hữu model. Hãy đưa key đó vào các request:

Authorization: Bearer YOUR_API_KEY

Endpoint chỉ chấp nhận key được liên kết tại thời điểm tạo, vì vậy không có key nào khác mở được endpoint — kể cả một key khác đang hoạt động trong cùng workspace. Để kiểm soát key nào được liên kết, hãy deploy qua API được xác thực bằng key của chủ sở hữu workspace: key chính xác đó sẽ được liên kết và bạn đã có key này. Các deployment được tạo theo bất kỳ cách nào khác (Platform UI hoặc một API call được xác thực với tư cách thành viên nhóm) sẽ tự động liên kết với một trong các key đang hoạt động của workspace sở hữu — hãy xác định key đó qua prefix của key hiển thị ở chân thẻ deployment và yêu cầu chủ sở hữu workspace cung cấp giá trị, vì chỉ chủ sở hữu mới có thể xem giá trị key (xem API Keys). Thành viên nhóm không có key được liên kết vẫn có thể chạy inference thông qua proxy predict của Platform trong trình duyệt.

Request Trực Tiếp Đến Endpoint#

Gửi các request production trực tiếp đến URL hiển thị trên thẻ deployment. Các request này không đi qua bộ giới hạn tốc độ của Platform API, vì vậy giới hạn predict 20 request/phút không áp dụng. Endpoint vẫn có giới hạn capacity riêng:

• Một instance duy nhất phục vụ mỗi endpoint và xử lý một số lượng request giới hạn cùng lúc
• Các request không thể được phục vụ kịp thời sẽ trả về 429 cùng với header Retry-After
• Một request duy nhất có thể chạy tối đa 1 giờ, cho phép hoàn tất inference video
• Các response lớn hơn 1 KB được nén bằng gzip và các request từ trình duyệt cross-origin được cho phép

Ví dụ Request#

import requests

# Deployment endpoint
url = "https://YOUR_DEPLOYMENT_URL.run.app/predict"

# Headers with your deployment API key
headers = {"Authorization": "Bearer YOUR_API_KEY"}

# Inference parameters
data = {"conf": 0.25, "iou": 0.7, "imgsz": 640}

# Send image for inference
with open("image.jpg", "rb") as f:
    response = requests.post(url, headers=headers, data=data, files={"file": f})

print(response.json())

Tham số request#

Xem Depth responses để biết cách bits thay đổi depth map được trả về và cách giải mã map đó.

Định dạng Response#

Giống như shared inference với các field dành riêng cho từng task.

FAQ#