Giám sát#

Ultralytics Platform cung cấp khả năng giám sát các endpoint đã triển khai. Theo dõi yêu cầu, độ trễ, lỗi và log của endpoint. Các endpoint chuyên dụng đã sẵn sàng trên runtime hiện tại cũng cung cấp thống kê dự đoán trực tiếp và các ví dụ tạm thời mà bạn có thể kiểm tra và lưu vào dataset.

Tab Deployments#

Tab Deployments trên hồ sơ của bạn đóng vai trò là dashboard giám sát tất cả các deployment. Tab kết hợp bản đồ thế giới, các chỉ số tổng quan và chức năng quản lý deployment trong một giao diện. Xem Dedicated Endpoints để tạo và quản lý deployment.

Thẻ tổng quan#

Bốn thẻ tóm tắt ở đầu trang hiển thị:

Báo cáo độ trễ P95 thay vì độ trễ trung vị vì các lần kiểm tra tình trạng chỉ mất vài mili giây, nếu không sẽ chi phối bức tranh về độ trễ suy luận thực tế.

Bản đồ thế giới#

Bản đồ thế giới tương tác hiển thị:

• Ghim khu vực cho tất cả 42 khu vực hiện có
• Ghim màu xanh lá cho các khu vực có deployment sẵn sàng
• Ghim xanh dương hoạt ảnh cho các khu vực đang có deployment được triển khai
• Kích thước ghim thay đổi tùy theo trạng thái deployment và độ trễ

Nhấp vào bất kỳ khu vực nào để mở hộp thoại New Deployment. Bản đồ được ẩn trên màn hình nhỏ.

Danh sách deployment#

Bên dưới các thẻ tổng quan, danh sách deployment hiển thị tất cả endpoint trong các project của bạn. Dùng nút chuyển chế độ xem để chuyển giữa:

Chỉ số theo từng deployment#

Mỗi trang deployment hiển thị các chỉ số theo thời gian thực phía trên các tab Overview, Monitoring, Predict và Logs:

Thẻ chỉ số#

Mỗi thẻ hiển thị biểu đồ sparkline và làm mới mỗi phút, bên cạnh một thẻ liên kết đến model đã triển khai. Chỉ số chỉ được thu thập cho các deployment ở trạng thái Ready. Trong tab Deployments, chỉ số được truy xuất cho 20 deployment gần đây nhất.

Kiểm tra tình trạng#

Thẻ Endpoint trên tab Overview của deployment đang chạy hiển thị chỉ báo kiểm tra tình trạng:

Quá trình kiểm tra tình trạng sẽ tự động thử lại khi endpoint không khỏe mạnh và dừng khi endpoint phản hồi. Mở trang deployment sẽ chạy kiểm tra tình trạng; nút ping lại sẽ kích hoạt lần kiểm tra khác, đồng thời có thể dùng để làm nóng endpoint đã scale về zero trước khi gửi lưu lượng.

Tab Monitoring#

Mở trang deployment của endpoint chuyên dụng ở trạng thái Sẵn sàng, rồi chọn tab Monitoring. Gửi hình ảnh qua tab Predict hoặc API của endpoint, hoặc duy trì một camera chạy nền để tạo dữ liệu trong Ví dụ tạm thời và Thống kê dự đoán. Trước khi xử lý hình ảnh đầu tiên, tab sẽ hiển thị Chưa xử lý hình ảnh nào.

Ví dụ tạm thời#

Thư viện ảnh chứa các ảnh gần đây đã xử lý, có lớp phủ dự đoán. Mở ảnh để kiểm tra dự đoán trong trình xem toàn màn hình và dùng các tùy chọn hiển thị để điều chỉnh lớp phủ. Ban đầu, thư viện hiển thị tối đa 12 ví dụ; Show all sẽ mở rộng danh sách.

• Thu thập: Ảnh mới xử lý gần đây xuất hiện dưới dạng ví dụ tạm thời, tối đa một ảnh mỗi giây. Việc thu thập được thực hiện theo khả năng; suy luận không phải chờ quá trình mã hóa ví dụ.
• Dung lượng: Tối đa 100 ảnh trong ngân sách bộ nhớ dùng chung 100 MiB dành cho ảnh nén, metadata dự đoán và tài nguyên liên quan. Giao diện hiển thị ngân sách này là 100 MB.
• Thay thế: Các ví dụ cũ sẽ bị thay thế khi đạt một trong hai giới hạn. Ví dụ có thể không còn khả dụng trong lúc bạn đang xem.
• Lưu trữ: Ví dụ tạm thời nằm trong bộ nhớ endpoint. Việc lưu ví dụ vào dataset sẽ sử dụng dung lượng lưu trữ và giới hạn xử lý thông thường của workspace.

Lưu ví dụ vào dataset#

Thành viên workspace có quyền chỉnh sửa nội dung có thể lưu ví dụ vào dataset trong workspace của endpoint:

1. Chọn từng ví dụ bằng hộp kiểm tương ứng hoặc nhấp vào Select all.
2. Nhấp vào Save to dataset.
3. Chọn một dataset hiện có có cùng tác vụ với model đã triển khai. Dataset được kết nối với nguồn dữ liệu sẽ bị loại trừ; nếu không có dataset phù hợp, trước tiên hãy tạo một dataset tương thích.
4. Nhấp vào nút Save, nút này hiển thị số ảnh đã chọn, sau đó mở dataset để theo dõi quá trình xử lý.

Ảnh và dự đoán đã chọn được sao chép thông qua quy trình tải lên và nhập dữ liệu dataset tiêu chuẩn. Các giới hạn quota, ánh xạ class và xử lý trùng lặp thông thường vẫn được áp dụng. Việc lưu không xóa các ví dụ tạm thời khỏi thư viện; ảnh dataset đã nhập thành công vẫn được giữ lại sau khi endpoint khởi động lại hoặc bị xóa. Hãy xem lại nhãn dự đoán trước khi dùng ảnh để huấn luyện. Mỗi ảnh được lưu sẽ ghi lại deploymentId, deploymentName, deploymentRegion và deploymentRegionName trong metadata tùy chỉnh, nội dung này có thể được tìm kiếm trong dataset; tên được ghi lại tại thời điểm lưu và ảnh bị bỏ qua do trùng lặp vẫn giữ metadata hiện có.

Để xóa ví dụ tạm thời, dùng nút thùng rác xuất hiện khi di chuột lên ảnh hoặc chọn các ví dụ rồi nhấp vào nút thùng rác hàng loạt, sau đó xác nhận Delete. Xóa ví dụ không làm thay đổi thống kê dự đoán tổng hợp hoặc ảnh đã lưu vào dataset.

Thống kê dự đoán#

Thống kê tổng hợp dữ liệu ảnh đã xử lý độc lập với thư viện. Việc xóa hoặc thay thế một ví dụ không trừ đi phần đóng góp của ví dụ đó. Bản tóm tắt hiển thị số ảnh, số dự đoán và số ảnh không có dự đoán trong khoảng thời gian đã chọn; model độ sâu hiển thị số lượng ảnh.

Bộ chọn ngày mặc định là 30 ngày gần đây nhất và chấp nhận khoảng thời gian tối đa 365 ngày. Ngày được chọn sử dụng mốc thời gian UTC; dấu thời gian trên biểu đồ hiển thị theo giờ địa phương. Các khoảng thời gian gần đây tối đa ba ngày sử dụng dữ liệu theo giờ nếu toàn bộ khoảng nằm trong 72 giờ gần nhất; các khoảng khác sử dụng dữ liệu theo ngày. Khoảng ngày lọc thống kê, trong khi thư viện vẫn hiển thị các ví dụ tạm thời hiện tại.

Lịch sử được giới hạn ở 72 bucket theo giờ và 365 bucket theo ngày, đồng thời chỉ có dữ liệu kể từ khi instance hiện tại khởi động. Nếu khoảng thời gian được chọn không có ảnh đã xử lý, giao diện sẽ hiển thị No images processed in this period.

Các biểu đồ khả dụng tùy thuộc vào tác vụ và dữ liệu dự đoán đã thu thập:

Monitoring tự động làm mới khi panel đang mở và hiển thị, đồng thời tạm dừng khi panel nằm ngoài màn hình hoặc tab trình duyệt bị ẩn. Inference thành công thông qua tab Predict của deployment cũng kích hoạt việc làm mới số liệu thống kê.

Nhật ký#

Mỗi trang deployment có một tab Logs để xem các mục nhật ký gần đây:

Mục nhật ký#

Mỗi mục nhật ký hiển thị:

UI hiển thị 20 mục gần nhất và ẩn các mục trống. Theo mặc định, API trả về 50 mục mỗi request (tối đa 200) và trả về nextPageToken để phân trang về các mục cũ hơn.

Ví dụ mã#

Tab kết quả Docs trong tab Predict của mỗi deployment hiển thị mã API sẵn sàng sử dụng, kèm URL endpoint và, đối với chủ sở hữu workspace, API key được liên kết với deployment đã điền sẵn để bạn sao chép và chạy. Người không phải chủ sở hữu sẽ thấy placeholder YOUR_API_KEY:

import requests

# Endpoint deployment
url = "https://YOUR_DEPLOYMENT_URL.run.app/predict"

# Header chứa API key của deployment
headers = {"Authorization": "Bearer YOUR_API_KEY"}

# Tham số inference
data = {"conf": 0.25, "iou": 0.7, "imgsz": 640}

# Gửi hình ảnh để inference
with open("image.jpg", "rb") as f:
    response = requests.post(url, headers=headers, data=data, files={"file": f})

print(response.json())

Predict trên deployment#

Tab Predict trên mỗi trang deployment cung cấp panel predict tích hợp — giao diện giống với tab Predict của model, nhưng chạy inference thông qua endpoint deployment thay vì dịch vụ dùng chung. Tính năng này hữu ích khi kiểm thử endpoint đã triển khai trực tiếp từ trình duyệt. Xem Inference để biết chi tiết về tham số và định dạng phản hồi.

Các endpoint API#

Mỗi deployment được xác định bằng chủ sở hữu và tên deployment, và mỗi route đều yêu cầu API key. Xem tài liệu tham khảo API để biết chi tiết xác thực.

Số liệu deployment#

GET /api/deployments/{owner}/{deployment}/metrics?range=24h

Python SDK: client.deployments.metrics(owner, deployment, range="24h")

Trả về toàn bộ payload số liệu cho một deployment: một khối summary gồm tổng số request, số lượng và tỷ lệ lỗi, cùng độ trễ trung bình, P50, P95 và P99; ngoài ra còn có các mảng timeSeries cho request, lỗi, độ trễ P50 và P95, mức sử dụng CPU và bộ nhớ, cùng số lượng instance.

Với sparkline=true, phản hồi là bản tóm tắt gọn — số lượng request theo giờ trong 24 giờ qua (bỏ qua những giờ không có request), cùng tổng số request, tỷ lệ lỗi và avgLatencyMs, tức giá trị trung bình của độ trễ P95 theo giờ. Với view=overview, summary chứa totalRequests, errorRate và p95LatencyMs, còn timeSeries chứa requests, errors và latencyP95; các thẻ số liệu trên trang deployment sử dụng chế độ xem này và tự động làm mới.

Nhật ký deployment#

GET /api/deployments/{owner}/{deployment}/logs?limit=50&severity=ERROR,WARNING

Python SDK: client.deployments.logs(owner, deployment, limit=50, severity="ERROR,WARNING")

Trả về các mục nhật ký gần đây, với bộ lọc mức độ nghiêm trọng và phân trang tùy chọn.

Tình trạng deployment#

GET /api/deployments/{owner}/{deployment}/health

Python SDK: client.deployments.health(owner, deployment)

Ping deployment và trả về trạng thái tình trạng kèm độ trễ khứ hồi được đo:

{
    "healthy": true,
    "status": 200,
    "latencyMs": 142
}

Phản hồi không khỏe mạnh sẽ bỏ status nếu hoàn toàn không thể kết nối đến endpoint, đồng thời bổ sung thông báo error.

Tối ưu hóa hiệu năng#

Sử dụng dữ liệu monitoring để tối ưu hóa deployment:

Câu hỏi thường gặp#