Мониторинг#

Ultralytics Platform предоставляет мониторинг развернутых конечных точек. Отслеживай запросы конечных точек, задержку, ошибки и логи. Платные выделенные конечные точки также предоставляют статистику предсказаний в реальном времени и временные примеры, которые ты можешь изучать и сохранять в датасеты.

Панель развертываний#

Страница Deploy на боковой панели служит панелью мониторинга всех твоих развертываний. Она объединяет карту мира, обзорные метрики и управление развертываниями в одном представлении. Инструкции по созданию развертываний и управлению ими см. в разделе Выделенные эндпоинты.

graph TB
    subgraph Dashboard
        Map[World Map]:::proc --- Cards[Overview Cards]:::proc
        Cards --- List[Deployments List]:::decide
    end
    subgraph "Per Ready Deployment"
        Monitoring[Monitoring Tab: Paid Endpoints]:::out
        Metrics[Metrics Row]:::out
        Health[Health Check]:::out
        Logs[Logs Tab]:::out
        Code[Code Tab]:::out
        Predict[Predict Tab]:::out
    end
    List --> Monitoring
    List --> Metrics
    List --> Health
    List --> Logs
    List --> Code
    List --> Predict

    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Обзорные карточки#

Четыре сводные карточки в верхней части страницы показывают:

Отображается задержка P95, а не медианная задержка, поскольку проверки работоспособности выполняются за пару миллисекунд и в противном случае искажали бы представление о реальной задержке инференса.

Карта мира#

Интерактивная карта мира показывает:

• Метки регионов для всех 42 доступных регионов
• Зеленые метки для регионов с готовым развертыванием
• Анимированные синие метки для регионов с развертываниями, которые выполняются
• Размер метки зависит от состояния развертывания и задержки

Нажми на любой регион, чтобы открыть диалоговое окно New Deployment. На небольших экранах карта скрыта.

Список развертываний#

Под обзорными карточками в списке развертываний отображаются все эндпоинты во всех твоих проектах. Используй переключатель режима просмотра, чтобы выбрать один из вариантов:

Метрики отдельных развертываний#

В каждой карточке развертывания (в режиме карточек) отображаются метрики в реальном времени. Строка метрик, проверка работоспособности и описанные ниже вкладки Logs, Code и Predict отображаются только в состоянии Ready:

Строка метрик#

Метрики обновляются автоматически. Для эндпоинтов, которые еще не обработали ни одного запроса, отображается «Трафика пока нет», а метрики собираются только для развертываний в состоянии Ready. На панели развертываний метрики загружаются для 20 самых последних развертываний.

Проверка состояния#

Для работающих развертываний отображается индикатор проверки работоспособности:

Проверки работоспособности автоматически повторяются, пока эндпоинт неработоспособен, и прекращаются после получения ответа от эндпоинта. Нажми значок обновления, чтобы вручную запустить проверку работоспособности; это также позволяет прогреть эндпоинт, масштабированный до нуля, перед отправкой трафика.

Вкладка мониторинга#

Открой Deploy, переключись на вид Cards и выберите Monitoring на Ready, платной выделенной конечной точке. Отправь изображение через вкладку Predict или API конечной точки, чтобы заполнить Temporary Examples и Prediction Statistics. До обработки первого изображения на вкладке отображается No images processed.

Временные примеры#

Галерея содержит сменяющуюся выборку обработанных изображений с наложениями предсказаний. Открой изображение, чтобы изучить его предсказания в полноэкранном просмотрщике, и используй элементы управления видимостью для настройки наложений. Изначально в галерее отображается до 12 примеров; Show all расширяет её.

• Выборка: Изначально до двух примеров, затем до одного дополнительного изображения в минуту. Захват выполняется по принципу «лучших усилий»; инференс не ждет кодирования примера.
• Емкость: Не более 100 изображений в рамках общего бюджета памяти 100 МиБ для сжатых изображений, метаданных предсказаний и связанных ресурсов. Интерфейс обозначает этот бюджет как 100 MB.
• Замена: Старые примеры заменяются при достижении любого из лимитов. Пример может стать недоступным во время его просмотра.
• Хранилище: Временные примеры остаются в памяти конечной точки. Их сохранение в датасет использует стандартные лимиты хранения и обработки рабочего пространства.

Сохранение примеров в датасет#

Участники рабочего пространства с правом редактирования контента могут сохранять примеры в датасет в рабочем пространстве конечной точки:

1. Выбери отдельные примеры с помощью их флажков или нажми Select all.
2. Нажми Save to dataset.
3. Выбери существующий датасет с той же задачей, что и у развернутой модели. Датасеты с подключенными источниками исключены; создай совместимый датасет сначала, если доступных нет.
4. Нажми кнопку Save, на которой отображается количество выбранных изображений, затем открой датасет для отслеживания обработки.

Выбранные изображения и предсказания копируются посредством стандартного рабочего процесса загрузки и приема датасета. Применяются обычные квоты, сопоставление классов и обработка дубликатов. Сохранение оставляет временные примеры в галерее; успешно принятые изображения датасета сохраняются после перезапуска и удаления конечной точки. Проверь предсказанные метки перед их использованием для обучения.

Чтобы удалить временные примеры, используй элемент управления корзиной при наведении на изображение или выбери примеры и нажми кнопку массового удаления, затем подтверди Delete. Удаление примеров оставляет агрегированную статистику предсказаний и изображения, уже сохраненные в датасеты, без изменений.

Статистика предсказаний#

Статистика агрегирует обработанные изображения независимо от выборки галереи. Удаление или замена примера не уменьшает его вклад. В сводке отображаются изображения, предсказания и изображения без предсказаний за выбранный период; для моделей глубины отображается количество изображений.

Выбор дат по умолчанию устанавливает последние 30 days и принимает диапазоны до 365 days. Выбранные даты используют границы UTC; временные метки графиков отображаются в локальном времени. Недавние диапазоны до трех дней используют почасовую историю, если весь диапазон укладывается в последние 72 часа; для остальных диапазонов используется дневная история. Диапазон дат фильтрует статистику, в то время как галерея продолжает отображать текущие временные примеры.

История ограничена 72 hourly buckets и 365 daily buckets и доступна только с момента запуска текущего экземпляра. Выбранный период без обработанных изображений отображает No images processed in this period.

Доступные графики зависят от задачи и собранных предсказаний:

Мониторинг обновляется примерно каждые 2 seconds, пока его панель открыта и видна. Опрос приостанавливается, когда панель находится вне экрана или вкладка браузера скрыта. Успешный инференс через вкладку Predict развертывания также запускает обновление статистики.

Журналы#

Каждая карточка развертывания содержит вкладку Logs для просмотра последних записей журнала:

Записи журнала#

Каждая запись журнала содержит:

Интерфейс показывает 20 самых последних записей и скрывает пустые. По умолчанию API возвращает 50 записей за запрос (максимум 200) и возвращает nextPageToken для постраничной загрузки более ранних записей.

Примеры кода#

Каждая карточка развертывания содержит вкладку Code с готовым к использованию кодом API и заполненным URL конечной точки. Для владельцев рабочего пространства подставляется привязанный API-ключ развертывания, готовый для копирования и запуска. Владельцы, не являющиеся владельцами рабочего пространства, видят заполнитель YOUR_API_KEY:

import requests

# Deployment endpoint
url = "https://YOUR_DEPLOYMENT_URL.run.app/predict"

# Headers with your deployment API key
headers = {"Authorization": "Bearer YOUR_API_KEY"}

# Inference parameters
data = {"conf": 0.25, "iou": 0.7, "imgsz": 640}

# Send image for inference
with open("image.jpg", "rb") as f:
    response = requests.post(url, headers=headers, data=data, files={"file": f})

print(response.json())

Predict для развёртывания#

Вкладка Predict на каждой карточке развертывания предоставляет встроенную панель прогнозирования — тот же интерфейс, что и вкладка Predict модели, но с выполнением инференса через конечную точку развертывания, а не через общий сервис. Это удобно для непосредственного тестирования развернутой конечной точки в браузере. Подробнее о параметрах и форматах ответов см. в разделе Инференс.

Конечные точки API#

Каждое развертывание определяется владельцем и именем развертывания, а для каждого маршрута требуется API-ключ. Подробнее об аутентификации см. в справочнике API.

Метрики развертывания#

GET /api/deployments/{owner}/{deployment}/metrics?range=24h

Python SDK: client.deployments.metrics(owner, deployment, range="24h")

Возвращает полный набор метрик для развертывания: блок summary с общим числом запросов, количеством и долей ошибок, а также средней задержкой и задержкой P50, P95 и P99, плюс массивы timeSeries для запросов, ошибок, задержки P50 и P95, загрузки CPU и памяти и количества экземпляров.

С параметром sparkline=true ответ имеет краткую форму, используемую в карточках развертываний: 24 почасовых значения количества запросов, а также общее количество запросов, доля ошибок и средняя задержка. Именно этот вызов обновляется каждые 60 секунд.

Логи развертывания#

GET /api/deployments/{owner}/{deployment}/logs?limit=50&severity=ERROR,WARNING

Python SDK: client.deployments.logs(owner, deployment, limit=50, severity="ERROR,WARNING")

Возвращает последние записи логов с необязательной фильтрацией по уровню серьезности и пагинацией.

Состояние развертывания#

GET /api/deployments/{owner}/{deployment}/health

Python SDK: client.deployments.health(owner, deployment)

Проверяет доступность развертывания и возвращает его состояние с измеренной задержкой туда и обратно:

{
    "healthy": true,
    "status": 200,
    "latencyMs": 142
}

Ответ с состоянием «не работает» не содержит status, если конечная точка вообще недоступна, и добавляет сообщение error.

Оптимизация производительности#

Используй данные мониторинга для оптимизации развертываний:

Часто задаваемые вопросы#