Giám sát#

Ultralytics Platform cung cấp khả năng giám sát cho các endpoint đã triển khai. Theo dõi các metric yêu cầu, xem nhật ký và kiểm tra trạng thái sức khỏe với cơ chế polling tự động.

Bảng điều khiển triển khai#

Trang Deploy trong thanh bên đóng vai trò là bảng điều khiển giám sát cho tất cả các bản triển khai của bạn. Nó kết hợp bản đồ thế giới, các metric tổng quan và quản lý triển khai trong một giao diện duy nhất. Xem phần Dedicated Endpoints để tạo và quản lý các bản triển khai.

graph TB
    subgraph Dashboard
        Map[World Map]:::proc --- Cards[Overview Cards]:::proc
        Cards --- List[Deployments List]:::decide
    end
    subgraph "Per Ready Deployment"
        Metrics[Metrics Row]:::out
        Health[Health Check]:::out
        Logs[Logs Tab]:::out
        Code[Code Tab]:::out
        Predict[Predict Tab]:::out
    end
    List --> Metrics
    List --> Health
    List --> Logs
    List --> Code
    List --> Predict

    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Thẻ tổng quan#

Bốn thẻ tóm tắt ở đầu trang hiển thị:

Độ trễ P95 thay vì độ trễ trung bình (median) được báo cáo vì các kiểm tra sức khỏe phản hồi trong vài mili-giây và nếu không sẽ làm lu mờ bức tranh tổng thể về độ trễ inference thực tế.

Bản đồ thế giới#

Bản đồ tương tác thế giới hiển thị:

• Ghim vùng (Region pins) cho tất cả 42 vùng khả dụng
• Ghim màu xanh lá cho các vùng có deployment sẵn sàng
• Ghim xanh dương động cho các vùng đang có triển khai thực thi
• Kích thước ghim thay đổi dựa trên trạng thái triển khai và độ trễ

Nhấp vào bất kỳ vùng nào để mở hộp thoại New Deployment. Bản đồ được ẩn trên các màn hình nhỏ.

Danh sách triển khai#

Bên dưới các thẻ tổng quan, danh sách triển khai hiển thị tất cả các endpoint trong các dự án của bạn. Sử dụng nút chuyển chế độ xem để thay đổi giữa:

Số liệu theo từng bản triển khai#

Mỗi thẻ deployment (ở chế độ xem thẻ) hiển thị các số liệu thời gian thực. Hàng số liệu, quá trình kiểm tra tình trạng hệ thống và các tab Logs, Code, và Predict được mô tả bên dưới chỉ xuất hiện khi deployment ở trạng thái Ready:

Hàng số liệu#

Metrics tự động làm mới. Các endpoint chưa phục vụ request nào hiển thị "No traffic yet", và metrics chỉ được thu thập cho các deployment ở trạng thái Ready. Trên bảng điều khiển deployments, metrics được lấy cho 20 deployment gần nhất.

Kiểm tra tình trạng#

Các bản triển khai đang chạy hiển thị chỉ báo kiểm tra sức khỏe:

Các kiểm tra sức khỏe sẽ tự động thử lại khi trạng thái không khỏe và dừng lại ngay khi endpoint phản hồi. Nhấp vào biểu tượng làm mới để kích hoạt thủ công việc kiểm tra sức khỏe, đồng thời đóng vai trò là cách để làm ấm endpoint bị thu nhỏ về 0 (scaled-to-zero) trước khi gửi lưu lượng.

Nhật ký#

Mỗi thẻ triển khai bao gồm một tab Logs để xem các mục nhật ký gần đây:

Mục nhật ký#

Mỗi mục nhật ký hiển thị:

Giao diện người dùng hiển thị 20 mục gần nhất và ẩn các mục trống. API mặc định là 50 mục cho mỗi request (tối đa 200) và trả về một nextPageToken để phân trang lùi xa hơn.

Ví dụ mã nguồn#

Mỗi thẻ deployment bao gồm tab Code hiển thị mã API sẵn sàng sử dụng với URL endpoint đã được điền sẵn. Đối với chủ sở hữu workspace, khóa API được liên kết của deployment sẽ được chèn vào, sẵn sàng để sao chép và chạy. Người dùng không phải chủ sở hữu sẽ thấy trình giữ chỗ YOUR_API_KEY:

import requests

# Deployment endpoint
url = "https://YOUR_DEPLOYMENT_URL.run.app/predict"

# Headers with your deployment API key
headers = {"Authorization": "Bearer YOUR_API_KEY"}

# Inference parameters
data = {"conf": 0.25, "iou": 0.7, "imgsz": 640}

# Send image for inference
with open("image.jpg", "rb") as f:
    response = requests.post(url, headers=headers, data=data, files={"file": f})

print(response.json())

Suy luận triển khai#

Tab Predict trên mỗi thẻ triển khai cung cấp một bảng điều khiển dự đoán nội tuyến — giao diện tương tự như tab Predict của model, nhưng chạy suy luận thông qua endpoint triển khai thay vì dịch vụ chia sẻ. Điều này hữu ích để kiểm tra trực tiếp một endpoint đã triển khai từ trình duyệt. Xem phần Inference để biết chi tiết về tham số và định dạng phản hồi.

Các API Endpoints#

Mỗi deployment được định địa chỉ bởi chủ sở hữu và tên deployment của nó, và mỗi tuyến đường (route) đều yêu cầu một khóa API. Xem phần Tài liệu tham khảo API để biết chi tiết về xác thực.

Số liệu triển khai#

GET /api/deployments/{owner}/{deployment}/metrics?range=24h

Python SDK: client.deployments.metrics(owner, deployment, range="24h")

Trả về toàn bộ payload metrics cho một deployment: một khối summary với tổng số request, số lượng và tỷ lệ lỗi, cùng với độ trễ trung bình, P50, P95 và P99, cộng thêm các mảng timeSeries cho request, lỗi, độ trễ P50 và P95, mức sử dụng CPU và bộ nhớ, cùng số lượng instance.

Với sparkline=true, phản hồi sẽ ở dạng gọn nhẹ mà các thẻ deployment sử dụng — 24 số lượng request theo giờ cộng với tổng số request, tỷ lệ lỗi và độ trễ trung bình. Đây là lệnh gọi làm mới cứ sau 60 giây.

Nhật ký triển khai#

GET /api/deployments/{owner}/{deployment}/logs?limit=50&severity=ERROR,WARNING

Python SDK: client.deployments.logs(owner, deployment, limit=50, severity="ERROR,WARNING")

Trả về các mục nhật ký gần đây với bộ lọc mức độ nghiêm trọng tùy chọn và phân trang.

Tình trạng triển khai#

GET /api/deployments/{owner}/{deployment}/health

Python SDK: client.deployments.health(owner, deployment)

Gửi ping đến deployment và trả về trạng thái sức khỏe kèm theo độ trễ khứ hồi được đo đạc:

{
    "healthy": true,
    "status": 200,
    "latencyMs": 142
}

Một phản hồi không khỏe sẽ bỏ qua status khi không thể kết nối tới endpoint, và thêm một thông báo error.

Tối ưu hóa hiệu suất#

Sử dụng dữ liệu giám sát để tối ưu hóa các triển khai của bạn:

Câu hỏi thường gặp#