Dedicated Endpoints#

Ultralytics Platform cho phép triển khai các model YOLO tới các endpoint chuyên dụng tại 42 khu vực trên toàn cầu. Mỗi endpoint là một dịch vụ single-tenant với cơ chế scale-to-zero, một URL endpoint duy nhất và khả năng giám sát độc lập.

Tạo Endpoint#

Từ Tab Triển Khai (Deploy)#

Triển khai model từ tab Deploy của nó:

1. Điều hướng đến model của bạn
2. Nhấp vào tab Deploy
3. Xem bản đồ thế giới và bảng khu vực, được sắp xếp theo độ trễ được đo lường từ vị trí của bạn
4. Nhấp vào Deploy trong hàng khu vực bạn muốn sử dụng

Tên triển khai được tự động tạo từ tên model và thành phố khu vực (ví dụ: yolo26n-iowa).

Từ Trang Triển Khai (Deployments)#

Tạo một triển khai từ trang Deploy chung trong thanh bên:

1. Nhấp New Deployment
2. Chọn một model từ bộ chọn model
3. Chọn một khu vực từ bản đồ hoặc bảng
4. Xem lại tên triển khai có thể chỉnh sửa, được tạo tự động và các giá trị tài nguyên mặc định cố định
5. Nhấp Deploy Model

Vòng đời Triển khai#

stateDiagram-v2
    [*] --> Creating: Deploy
    Creating --> Deploying: Container starting
    Deploying --> Ready: Health check passed
    Ready --> Stopping: Stop
    Stopping --> Stopped: Stopped
    Stopped --> Ready: Start
    Ready --> [*]: Delete
    Stopped --> [*]: Delete
    Creating --> Failed: Error
    Deploying --> Failed: Error
    Failed --> [*]: Delete

    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff
    classDef error fill:#F44336,color:#fff
    classDef extern fill:#607D8B,color:#fff
    class Creating,Deploying,Stopping proc
    class Ready out
    class Failed error
    class Stopped extern

Kết nối cảnh báo Slack để nhận thông báo khi một quá trình triển khai sẵn sàng hoặc không thể khởi chạy.

Chọn khu vực#

Lựa chọn từ 42 khu vực trên toàn thế giới. Bản đồ khu vực tương tác và bảng dữ liệu hiển thị:

• Ghim khu vực: Được mã màu theo độ trễ trên dải màu từ xanh lá cây sang đỏ (khu vực nhanh hơn có màu xanh hơn, khu vực chậm hơn có màu đỏ hơn)
• Khu vực đã triển khai: Được làm nổi bật với huy hiệu "Deployed"
• Khu vực đang triển khai: Chỉ báo dạng xung nhịp
• Làm nổi bật hai chiều: Di chuột trên bản đồ làm nổi bật hàng bảng và ngược lại

Bảng khu vực trên tab Deploy của model bao gồm:

Các Khu Vực Khả Dụng#

Cấu hình Endpoint#

Hộp Thoại Triển Khai Mới#

Hộp thoại New Deployment cung cấp:

Bảng điều khiển Resources bị vô hiệu hóa được đánh dấu là Coming Soon và hiện không thể mở rộng hoặc tùy chỉnh. Các triển khai sử dụng 1 CPU, 2 GiB bộ nhớ, minInstances = 0 và maxInstances = 1.

Tab Deploy (Triển khai nhanh)#

Khi triển khai từ tab Deploy của model, các endpoint được tạo với tài nguyên mặc định (1 CPU, 2 GB bộ nhớ) với tính năng co giãn về 0 được bật. Tên triển khai được tạo tự động.

Quản lý Endpoint#

Chế độ xem#

Danh sách triển khai hỗ trợ ba chế độ xem:

Thẻ triển khai (Chế độ xem thẻ)#

Mỗi thẻ triển khai trong chế độ xem thẻ hiển thị:

• Header: Tên, cờ region, trạng thái, các nút start/stop/delete
• Endpoint URL: URL có thể sao chép với liên kết đến tài liệu API
• Metrics: Số lượng yêu cầu (24h), độ trễ P95, tỷ lệ lỗi
• Health check: Chỉ báo trạng thái trực tiếp với độ trễ và làm mới thủ công
• Tabs: Logs, Code, và Predict

Tab Logs hiển thị các mục nhật ký gần đây với bộ lọc mức độ nghiêm trọng (Tất cả / Lỗi). Tab Code hiển thị các ví dụ mã sẵn sàng sử dụng bằng Python, JavaScript và cURL với URL endpoint và API key thực tế của bạn. Tab Predict cung cấp bảng dự đoán nội dòng để kiểm thử trực tiếp trên triển khai.

Trạng thái triển khai#

Endpoint URL#

Mỗi endpoint có một URL duy nhất, ví dụ:

https://predict-abc123.run.app

Nhấp vào nút sao chép để sao chép URL. Nhấp vào biểu tượng tài liệu để xem tài liệu API được tạo tự động cho endpoint.

Quản lý vòng đời#

Kiểm soát trạng thái endpoint của bạn:

graph LR
    R[Ready]:::out -->|Stop| S[Stopped]:::extern
    S -->|Start| R
    R -->|Delete| D[Deleted]:::error
    S -->|Delete| D

    classDef out fill:#9C27B0,color:#fff
    classDef error fill:#F44336,color:#fff
    classDef extern fill:#607D8B,color:#fff

Dừng Endpoint#

Dừng một endpoint khi bạn không muốn nó chấp nhận yêu cầu:

1. Nhấp vào biểu tượng tạm dừng trên thẻ triển khai
2. Trạng thái endpoint chuyển sang "Stopping" sau đó là "Stopped"

Các endpoint đã dừng:

• Không chấp nhận yêu cầu
• Có thể được khởi động lại bất cứ lúc nào

Xóa Endpoint#

Xóa vĩnh viễn một endpoint:

1. Nhấp vào biểu tượng xóa (thùng rác) trên thẻ triển khai
2. Xác nhận xóa trong hộp thoại

Sử dụng Endpoint#

Xác thực#

Mỗi triển khai được tạo với một API key từ tài khoản của bạn. Hãy bao gồm nó trong các yêu cầu:

Authorization: Bearer YOUR_API_KEY

Tiền tố API key được hiển thị ở phần chân trang của thẻ triển khai để nhận diện. Tạo key từ API Keys.

Yêu cầu Endpoint Trực tiếp#

Gửi các yêu cầu production trực tiếp đến URL hiển thị trên thẻ triển khai. Các yêu cầu này không đi qua bộ giới hạn tốc độ Platform API. Endpoint hiện đang chạy một instance với các tài nguyên cố định được mô tả ở trên.

Ví dụ về yêu cầu#

import requests

# Deployment endpoint
url = "https://predict-abc123.run.app/predict"

# Headers with your deployment API key
headers = {"Authorization": "Bearer YOUR_API_KEY"}

# Inference parameters
data = {"conf": 0.25, "iou": 0.7, "imgsz": 640}

# Send image for inference
with open("image.jpg", "rb") as f:
    response = requests.post(url, headers=headers, data=data, files={"file": f})

print(response.json())

Tham số yêu cầu#

Định dạng phản hồi#

Tương tự như inference chia sẻ với các trường cụ thể theo tác vụ.

Câu hỏi thường gặp#

Tôi có thể tạo bao nhiêu endpoint?#

Giới hạn endpoint phụ thuộc vào gói của bạn:

• Free: Tối đa 3 lần triển khai
• Pro: Tối đa 10 lần triển khai
• Enterprise: Triển khai không giới hạn

Mỗi model vẫn có thể được triển khai tới nhiều khu vực trong hạn mức gói của bạn.

Tôi có thể thay đổi khu vực sau khi triển khai không?#

Không, các khu vực là cố định. Để thay đổi khu vực:

1. Xóa endpoint hiện tại
2. Tạo một endpoint mới trong khu vực mong muốn

Làm thế nào để xử lý việc triển khai đa khu vực?#

Để phủ sóng toàn cầu:

1. Triển khai tới nhiều khu vực
2. Sử dụng bộ cân bằng tải hoặc định tuyến DNS
3. Định tuyến người dùng đến endpoint gần nhất

Thời gian cold start là bao lâu?#

Thời gian khởi động lạnh phụ thuộc vào model và việc endpoint đã thu nhỏ về 0 hay chưa. Yêu cầu kiểm tra trạng thái của Platform cho phép tối đa 55 giây để một endpoint ở trạng thái nhàn rỗi có thời gian khởi động.

Mỗi triển khai hiện sử dụng URL endpoint được tạo hiển thị trên thẻ triển khai của nó.