Мониторинг#

Ultralytics Platform предоставляет мониторинг для развернутых эндпоинтов. Отслеживай метрики запросов, просматривай логи и проверяй статус работоспособности с помощью автоматического опроса.

Дашборд развертываний#

Страница Deploy в боковой панели служит дашбордом мониторинга для всех твоих развертываний. Она объединяет карту мира, общие метрики и управление развертываниями в одном интерфейсе. Подробнее о создании и управлении развертываниями читай в разделе Выделенные эндпоинты.

graph TB
    subgraph Dashboard
        Map[World Map]:::proc --- Cards[Overview Cards]:::proc
        Cards --- List[Deployments List]:::decide
    end
    subgraph "Per Deployment"
        Metrics[Metrics Row]:::out
        Health[Health Check]:::out
        Logs[Logs Tab]:::out
        Code[Code Tab]:::out
        Predict[Predict Tab]:::out
    end
    List --> Metrics
    List --> Health
    List --> Logs
    List --> Code
    List --> Predict

    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Карточки обзора#

Четыре сводные карточки в верхней части страницы показывают:

Указывается P95, а не медианная задержка, поскольку проверки работоспособности выполняются за пару миллисекунд и в противном случае доминировали бы в общей картине реальной задержки инференса.

Карта мира#

Интерактивная карта мира показывает:

• Региональные пины для всех 42 доступных регионов
• Зеленые метки для регионов с готовым развертыванием
• Анимированные синие пины для регионов, в которых идет процесс развертывания
• Размер пина меняется в зависимости от статуса развертывания и задержки

Нажми на любой регион, чтобы открыть диалоговое окно New Deployment. На маленьких экранах карта скрыта.

Список развертываний#

Под карточками обзора находится список всех эндпоинтов в твоих проектах. Используй переключатель режима просмотра для выбора между:

Метрики для каждого развертывания#

Каждая карточка развертывания (в режиме отображения карточками) показывает метрики в реальном времени:

Ряд метрик#

Метрики обновляются автоматически. Эндпоинты, которые еще не обслуживали запросы, отображают «No traffic yet», а метрики собираются только для развертываний в состоянии Ready. На панели мониторинга развертываний метрики запрашиваются для 20 самых последних развертываний.

Проверка работоспособности#

Запущенные развертывания отображают индикатор работоспособности:

Проверки работоспособности автоматически повторяются при сбоях и прекращаются, как только эндпоинт отвечает. Нажми значок обновления, чтобы вручную запустить проверку работоспособности, что также служит способом прогрева эндпоинта, масштабированного до нуля, перед отправкой трафика.

Логи#

Каждая карточка развертывания содержит вкладку Logs для просмотра последних записей в логах:

Записи логов#

Каждая запись лога показывает:

Интерфейс показывает 20 самых свежих записей и скрывает пустые. API по умолчанию возвращает 50 записей на запрос (максимум 200) и предоставляет nextPageToken для постраничного просмотра более ранних данных.

Примеры кода#

Каждая карточка развертывания включает вкладку Code, на которой отображается готовый к использованию код API с заполненным URL эндпоинта. Для владельцев рабочей области вставляется привязанный ключ API развертывания, готовый к копированию и запуску. Пользователи, не являющиеся владельцами, видят заполнитель YOUR_API_KEY:

import requests

# Deployment endpoint
url = "https://YOUR_DEPLOYMENT_URL.run.app/predict"

# Headers with your deployment API key
headers = {"Authorization": "Bearer YOUR_API_KEY"}

# Inference parameters
data = {"conf": 0.25, "iou": 0.7, "imgsz": 640}

# Send image for inference
with open("image.jpg", "rb") as f:
    response = requests.post(url, headers=headers, data=data, files={"file": f})

print(response.json())

Инференс развертывания (Deployment Predict)#

Вкладка Predict на каждой карточке развертывания предоставляет встроенную панель предсказаний — тот же интерфейс, что и вкладка модели Predict, но инференс выполняется через эндпоинт развертывания, а не через общий сервис. Это полезно для тестирования развернутого эндпоинта прямо из браузера. Описание параметров и формат ответов см. в разделе Инференс.

API эндпоинты#

Каждое развертывание адресовано его владельцу и имени развертывания, и каждый маршрут требует ключ API. Сведения об аутентификации см. в справочнике по API.

Метрики развертывания#

GET /api/deployments/{owner}/{deployment}/metrics?range=24h

Возвращает полные данные метрик для развертывания: блок summary с общим количеством запросов, количеством и частотой ошибок, а также средней, P50, P95 и P99 задержкой, а также массивы timeSeries для запросов, ошибок, задержки P50 и P95, использования CPU и памяти, а также количества экземпляров.

С параметром sparkline=true ответ представляет собой компактную форму, используемую в карточках развертывания — 24 значения количества запросов по часам плюс общие запросы, частота ошибок и средняя задержка. Это вызов, который обновляется каждые 60 секунд.

Логи развертывания#

GET /api/deployments/{owner}/{deployment}/logs?limit=50&severity=ERROR,WARNING

Возвращает последние записи логов с возможностью фильтрации по уровню серьезности и пагинацией.

Состояние развертывания#

GET /api/deployments/{owner}/{deployment}/health

Пингует развертывание и возвращает его статус работоспособности с измеренной задержкой кругового пути:

{
    "healthy": true,
    "status": 200,
    "latencyMs": 142
}

Некорректный ответ опускает status, когда до эндпоинта вообще не удалось достучаться, и добавляет сообщение error.

Оптимизация производительности#

Используй данные мониторинга для оптимизации своих развертываний:

FAQ#