Giám sát#

Ultralytics Platform cung cấp tính năng giám sát cho các endpoint đã triển khai. Theo dõi các yêu cầu endpoint, độ trễ, lỗi và nhật ký. Các endpoint chuyên dụng trả phí cũng cung cấp số liệu thống kê dự đoán trực tiếp và các ví dụ tạm thời mà bạn có thể kiểm tra và lưu vào các dataset.

Dashboard triển khai#

Trang Deploy trong thanh bên là dashboard giám sát cho tất cả các deployment của bạn. Trang này kết hợp bản đồ thế giới, các chỉ số tổng quan và tính năng quản lý deployment trong cùng một chế độ xem. Xem Dedicated Endpoints để tạo và quản lý deployment.

graph TB
    subgraph Dashboard
        Map[World Map]:::proc --- Cards[Overview Cards]:::proc
        Cards --- List[Deployments List]:::decide
    end
    subgraph "Per Ready Deployment"
        Monitoring[Monitoring Tab: Paid Endpoints]:::out
        Metrics[Metrics Row]:::out
        Health[Health Check]:::out
        Logs[Logs Tab]:::out
        Code[Code Tab]:::out
        Predict[Predict Tab]:::out
    end
    List --> Monitoring
    List --> Metrics
    List --> Health
    List --> Logs
    List --> Code
    List --> Predict

    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Các thẻ tổng quan#

Bốn thẻ tóm tắt ở đầu trang hiển thị:

Độ trễ P95 thay vì độ trễ trung vị được báo cáo vì các health check phản hồi trong vài mili-giây và nếu không sẽ chi phối bức tranh về độ trễ inference thực tế.

Bản đồ thế giới#

Bản đồ thế giới tương tác hiển thị:

• Các ghim khu vực cho tất cả 42 khu vực khả dụng
• Các ghim màu xanh lá cho những khu vực có deployment ở trạng thái sẵn sàng
• Các ghim màu xanh dương động cho những khu vực đang có deployment hoạt động trong tiến trình triển khai
• Kích thước ghim thay đổi dựa trên trạng thái deployment và độ trễ

Nhấp vào bất kỳ khu vực nào để mở hộp thoại New Deployment. Bản đồ được ẩn trên màn hình nhỏ.

Danh sách deployment#

Bên dưới các thẻ tổng quan, danh sách deployment hiển thị tất cả endpoint trong các project của bạn. Sử dụng nút chuyển chế độ xem để chuyển đổi giữa:

Chỉ số theo từng deployment#

Mỗi thẻ deployment (trong chế độ xem thẻ) hiển thị các chỉ số theo thời gian thực. Hàng chỉ số, health check và các tab Logs, Code và Predict được mô tả bên dưới chỉ xuất hiện khi deployment ở trạng thái Ready:

Hàng chỉ số#

Các chỉ số được tự động làm mới. Những endpoint chưa phục vụ request nào sẽ hiển thị "Chưa có lưu lượng", và chỉ số chỉ được thu thập cho các deployment ở trạng thái Ready. Trên dashboard deployment, chỉ số được lấy cho 20 deployment gần đây nhất.

Health Check#

Các deployment đang chạy hiển thị chỉ báo health check:

Health check sẽ tự động thử lại khi endpoint không khỏe mạnh và dừng khi endpoint phản hồi. Nhấp vào biểu tượng làm mới để kích hoạt health check thủ công; thao tác này cũng giúp warm một endpoint đã scale-to-zero trước khi gửi traffic.

Tab Giám sát#

Mở Deploy, chuyển sang chế độ xem Cards, và chọn Monitoring trên một endpoint chuyên dụng trả phí ở trạng thái Ready. Gửi một hình ảnh thông qua tab Predict hoặc endpoint API để điền dữ liệu vào Temporary Examples và Prediction Statistics. Trước hình ảnh được xử lý đầu tiên, tab hiển thị No images processed.

Ví dụ Tạm thời#

Thư viện chứa một mẫu cuộn gồm các hình ảnh đã xử lý kèm theo lớp phủ dự đoán. Mở một hình ảnh để kiểm tra các dự đoán của hình ảnh trong trình xem toàn màn hình và sử dụng các điều khiển hiển thị để điều chỉnh các lớp phủ. Thư viện ban đầu hiển thị tối đa 12 ví dụ; Show all mở rộng thư viện.

• Lấy mẫu: Ban đầu tối đa hai ví dụ, sau đó tối đa thêm một hình ảnh mỗi phút. Việc thu thập là nỗ lực tốt nhất; quá trình suy luận không đợi việc mã hóa ví dụ.
• Dung lượng: Tối đa 100 hình ảnh trong một ngân sách bộ nhớ chung 100 MiB cho hình ảnh đã nén, siêu dữ liệu dự đoán và các tài sản liên quan. Giao diện dán nhãn ngân sách này là 100 MB.
• Thay thế: Các ví dụ cũ hơn được thay thế khi đạt đến một trong hai giới hạn. Một ví dụ có thể trở nên không khả dụng trong khi bạn đang xem ví dụ đó.
• Lưu trữ: Các ví dụ tạm thời vẫn nằm trong bộ nhớ của endpoint. Việc lưu chúng vào một dataset sẽ sử dụng các giới hạn lưu trữ và xử lý của workspace thông thường.

Lưu Ví dụ vào Dataset#

Các thành viên workspace có quyền chỉnh sửa nội dung có thể lưu các ví dụ vào một dataset trong workspace của endpoint:

1. Chọn các ví dụ riêng lẻ bằng cách sử dụng hộp kiểm của chúng, hoặc nhấp vào Select all.
2. Nhấp vào Save to dataset.
3. Chọn một dataset hiện có có cùng tác vụ với mô hình được triển khai. Các dataset có nguồn được kết nối bị loại trừ; hãy tạo một dataset tương thích trước nếu không có sẵn dataset nào.
4. Nhấp vào nút Save, nút hiển thị số lượng hình ảnh đã chọn, sau đó mở dataset để theo dõi quá trình xử lý.

Hình ảnh và dự đoán được chọn được sao chép thông qua quy trình tải lên và nạp dataset tiêu chuẩn. Hạn mức thông thường, ánh xạ lớp và việc xử lý trùng lặp được áp dụng. Việc lưu giữ lại các ví dụ tạm thời trong thư viện; hình ảnh dataset được nạp thành công vẫn tồn tại sau khi endpoint khởi động lại và xóa. Xem xét các nhãn được dự đoán trước khi sử dụng chúng để huấn luyện.

Để xóa các ví dụ tạm thời, hãy sử dụng điều khiển thùng rác khi di chuột qua hình ảnh hoặc chọn các ví dụ và nhấp vào nút thùng rác hàng loạt, sau đó xác nhận Delete. Việc xóa các ví dụ làm cho số liệu thống kê dự đoán tổng hợp và hình ảnh đã được lưu vào các dataset không thay đổi.

Số liệu Thống kê Dự đoán#

Số liệu thống kê tổng hợp các hình ảnh đã xử lý độc lập với việc lấy mẫu thư viện. Việc xóa hoặc thay thế một ví dụ không làm trừ đi đóng góp của ví dụ đó. Bản tóm tắt hiển thị hình ảnh, dự đoán và hình ảnh không có dự đoán cho khoảng thời gian đã chọn; các mô hình độ sâu hiển thị số lượng hình ảnh.

Trình chọn ngày mặc định là 30 days gần nhất và chấp nhận các khoảng thời gian lên đến 365 days. Các ngày được chọn sử dụng ranh giới UTC; dấu thời gian trên biểu đồ hiển thị theo giờ địa phương. Các khoảng thời gian gần đây lên đến ba ngày sử dụng lịch sử theo giờ khi toàn bộ khoảng thời gian rơi vào 72 giờ qua; các khoảng thời gian khác sử dụng lịch sử theo ngày. Phạm vi ngày lọc số liệu thống kê, trong khi thư viện tiếp tục hiển thị các ví dụ tạm thời hiện tại.

Lịch sử được giới hạn ở 72 hourly buckets và 365 daily buckets, và chỉ khả dụng kể từ khi instance hiện tại bắt đầu. Một khoảng thời gian đã chọn không có hình ảnh nào được xử lý hiển thị No images processed in this period.

Các biểu đồ khả dụng phụ thuộc vào tác vụ và các dự đoán được thu thập:

Tính năng giám sát làm mới khoảng cứ 2 seconds một lần khi bảng điều khiển của nó mở và hiển thị. Quá trình thăm dò tạm dừng khi bảng điều khiển nằm ngoài màn hình hoặc tab trình duyệt bị ẩn. Quá trình suy luận thành công thông qua tab Predict của việc triển khai cũng kích hoạt việc làm mới số liệu thống kê.

Log#

Mỗi thẻ deployment có một tab Logs để xem các mục log gần đây:

Các mục log#

Mỗi mục log hiển thị:

UI hiển thị 20 mục gần đây nhất và ẩn các mục trống. Theo mặc định, API trả về 50 mục cho mỗi request (tối đa 200) và trả về một nextPageToken để phân trang về các mục cũ hơn.

Ví dụ về code#

Mỗi deployment card đều có tab Code hiển thị code API sẵn sàng sử dụng với URL endpoint đã được điền. Với workspace owner, API key được liên kết với deployment sẽ được chèn sẵn, có thể sao chép và chạy ngay. Người không phải owner sẽ thấy placeholder YOUR_API_KEY:

import requests

# Deployment endpoint
url = "https://YOUR_DEPLOYMENT_URL.run.app/predict"

# Headers with your deployment API key
headers = {"Authorization": "Bearer YOUR_API_KEY"}

# Inference parameters
data = {"conf": 0.25, "iou": 0.7, "imgsz": 640}

# Send image for inference
with open("image.jpg", "rb") as f:
    response = requests.post(url, headers=headers, data=data, files={"file": f})

print(response.json())

Predict khi deployment#

Tab Predict trên mỗi deployment card cung cấp một panel predict nội tuyến — cùng interface với tab Predict của model, nhưng chạy inference thông qua deployment endpoint thay vì shared service. Tính năng này hữu ích để trực tiếp kiểm thử endpoint đã deploy từ trình duyệt. Xem Inference để biết chi tiết về tham số và các format response.

API Endpoint#

Mỗi deployment được định danh bằng owner và tên deployment, đồng thời mỗi route đều yêu cầu API key. Xem API reference để biết chi tiết về authentication.

Metrics của deployment#

GET /api/deployments/{owner}/{deployment}/metrics?range=24h

Python SDK: client.deployments.metrics(owner, deployment, range="24h")

Trả về payload metrics đầy đủ cho một deployment: một block summary với tổng số request, số lượng và tỷ lệ lỗi, cùng latency trung bình, P50, P95 và P99, cộng với các array timeSeries cho request, lỗi, latency P50 và P95, mức sử dụng CPU và memory, và số lượng instance.

Với sparkline=true, response có dạng rút gọn mà các deployment card sử dụng — 24 số lượng request theo giờ cộng với tổng số request, tỷ lệ lỗi và latency trung bình. Đây là call được refresh mỗi 60 giây.

Log của deployment#

GET /api/deployments/{owner}/{deployment}/logs?limit=50&severity=ERROR,WARNING

Python SDK: client.deployments.logs(owner, deployment, limit=50, severity="ERROR,WARNING")

Trả về các mục log gần đây với bộ lọc severity và pagination tùy chọn.

Health của deployment#

GET /api/deployments/{owner}/{deployment}/health

Python SDK: client.deployments.health(owner, deployment)

Ping deployment và trả về trạng thái health cùng latency round-trip đo được:

{
    "healthy": true,
    "status": 200,
    "latencyMs": 142
}

Một response không healthy sẽ bỏ qua status khi không thể kết nối đến endpoint hoàn toàn, đồng thời thêm message error.

Tối ưu hiệu năng#

Sử dụng dữ liệu monitoring để tối ưu các deployment của bạn:

FAQ#