Мониторинг#

Ultralytics Platform предоставляет мониторинг развернутых эндпоинтов. Отслеживай запросы к эндпоинтам, задержку, ошибки и журналы. Готовые выделенные эндпоинты на актуальной среде выполнения также показывают статистику предсказаний в реальном времени и временные примеры, которые можно просматривать и сохранять в датасеты.

Вкладка Deployments#

Вкладка Deployments в профиле служит панелью мониторинга всех твоих развертываний. В одном представлении объединены карта мира, общие показатели и управление развертываниями. Инструкции по созданию развертываний и управлению ими см. в разделе Выделенные эндпоинты.

Карточки сводки#

Четыре карточки сводки вверху страницы показывают:

Указывается задержка P95, а не медианная: проверка работоспособности занимает пару миллисекунд и иначе искажала бы картину реальной задержки инференса.

Карта мира#

На интерактивной карте мира отображаются:

• Маркеры регионов для всех 42 доступных регионов
• Зеленые маркеры для регионов с готовым развертыванием
• Анимированные синие маркеры для регионов с активными развертываниями, которые выполняются
• Размер маркера зависит от состояния развертывания и задержки

Нажми на любой регион, чтобы открыть диалог New Deployment. На небольших экранах карта скрыта.

Список развертываний#

Под карточками сводки расположен список всех эндпоинтов во всех твоих проектах. Переключай режим отображения, чтобы выбрать один из вариантов:

Показатели для отдельных развертываний#

На странице каждого развертывания показатели в реальном времени отображаются над вкладками Overview, Monitoring, Predict и Logs:

Карточки показателей#

В каждой карточке отображается спарклайн, данные обновляются каждую минуту; рядом находится карточка со ссылкой на развернутую модель. Показатели собираются только для развертываний в состоянии Ready. На вкладке Deployments показатели загружаются для 20 последних развертываний.

Проверка качества#

В карточке Endpoint на вкладке Overview работающего развертывания отображается индикатор проверки работоспособности:

При сбое проверки работоспособности система повторяет ее автоматически и прекращает попытки, когда эндпоинт начинает отвечать. Открытие страницы развертывания запускает проверку работоспособности, а кнопка повторного пинга запускает еще одну проверку. Ее также можно использовать, чтобы разогреть эндпоинт, масштабированный до нуля, перед отправкой трафика.

Вкладка Monitoring#

Открой страницу развертывания выделенной конечной точки со статусом Готово и выбери вкладку Мониторинг. Отправь изображение через вкладку Предсказание или API конечной точки либо запусти фоновую камеру, чтобы заполнить разделы Временные примеры и Статистика предсказаний. До обработки первого изображения на вкладке отображается сообщение Нет обработанных изображений.

Временные примеры#

В галерее собраны недавно обработанные изображения с наложенными предсказаниями. Открой изображение, чтобы изучить предсказания в полноэкранном режиме, и используй элементы управления видимостью, чтобы настроить отображение наложений. Изначально галерея показывает до 12 примеров; нажми Show all, чтобы развернуть список.

• Сбор: Недавно обработанные изображения появляются как временные примеры, не чаще одного раза в секунду. Сбор выполняется по возможности; инференс не ждет кодирования примера.
• Емкость: Не более 100 изображений при общем лимите памяти 100 MiB для сжатых изображений, метаданных предсказаний и связанных ресурсов. В интерфейсе этот лимит указан как 100 MB.
• Замена: При достижении любого из лимитов старые примеры заменяются. Пример может стать недоступен, пока ты его просматриваешь.
• Хранение: Временные примеры остаются в памяти эндпоинта. При их сохранении в датасет действуют обычные ограничения рабочего пространства на хранение и обработку.

Сохранение примеров в датасет#

Участники рабочего пространства с правом редактирования контента могут сохранять примеры в датасет рабочего пространства эндпоинта:

1. Выбери отдельные примеры с помощью флажков или нажми Select all.
2. Нажми Save to dataset.
3. Выбери существующий датасет с той же задачей, что и развернутая модель. Датасеты с подключенными источниками не включаются в список; если подходящих нет, сначала создай совместимый датасет.
4. Нажми кнопку Save, на которой указано число выбранных изображений, а затем открой датасет, чтобы следить за обработкой.

Выбранные изображения и предсказания копируются с помощью стандартного процесса загрузки и обработки датасета. Применяются обычные ограничения квот, сопоставление классов и обработка дубликатов. После сохранения временные примеры остаются в галерее; изображения, успешно добавленные в датасет, сохраняются после перезапуска и удаления эндпоинта. Проверь предсказанные метки, прежде чем использовать их для обучения. Для каждого сохраненного изображения в пользовательских метаданных записываются deploymentId, deploymentName, deploymentRegion и deploymentRegionName; поиск по датасету учитывает эти значения. Названия записываются такими, какими они были на момент сохранения, а у изображения, пропущенного как дубликат, сохраняются существующие метаданные.

Чтобы удалить временные примеры, наведи курсор на изображение и нажми значок корзины либо выбери примеры и нажми кнопку массового удаления, затем подтверди действие, нажав Delete. Удаление примеров не меняет общую статистику предсказаний и изображения, уже сохраненные в датасетах.

Статистика предсказаний#

Статистика агрегирует обработанные изображения независимо от галереи. Удаление или замена примера не вычитает его данные из статистики. В сводке за выбранный период указано число изображений и предсказаний, а также изображений без предсказаний; для моделей глубины отображается число изображений.

По умолчанию в выборе дат установлен период 30 дней; можно выбрать диапазон до 365 дней. Границы выбранных дат задаются по UTC; время на графиках отображается по местному часовому поясу. Для недавних диапазонов длительностью до трех дней используется почасовая история, если весь диапазон укладывается в последние 72 часа; для остальных диапазонов используется история по дням. Диапазон дат фильтрует статистику, а в галерее по-прежнему отображаются текущие временные примеры.

История ограничена 72 почасовыми интервалами и 365 дневными интервалами и доступна только с момента запуска текущего экземпляра. Если за выбранный период не обработано ни одного изображения, отображается сообщение No images processed in this period.

Доступные графики зависят от задачи и собранных предсказаний:

Данные мониторинга обновляются автоматически, пока панель открыта и видна, и перестают обновляться, когда панель находится за пределами экрана или вкладка браузера скрыта. Успешный инференс через вкладку Predict развертывания также запускает обновление статистики.

Журналы#

На странице каждого развертывания есть вкладка Logs для просмотра последних записей журнала:

Записи журнала#

В каждой записи журнала указаны:

Интерфейс показывает 20 последних записей и скрывает пустые. API по умолчанию возвращает 50 записей на запрос (максимум — 200) и возвращает nextPageToken для просмотра более ранних записей.

Примеры кода#

На вкладке результатов Predict каждого развертывания в разделе Docs отображается готовый к использованию код API с URL конечной точки и, для владельцев рабочего пространства, привязанным API-ключом развертывания — код можно сразу скопировать и запустить. Вместо ключа владельцы других ролей видят заполнитель YOUR_API_KEY:

import requests

# Эндпоинт развертывания
url = "https://YOUR_DEPLOYMENT_URL.run.app/predict"

# Заголовки с API-ключом развертывания
headers = {"Authorization": "Bearer YOUR_API_KEY"}

# Параметры инференса
data = {"conf": 0.25, "iou": 0.7, "imgsz": 640}

# Отправка изображения для инференса
with open("image.jpg", "rb") as f:
    response = requests.post(url, headers=headers, data=data, files={"file": f})

print(response.json())

Инференс в развернутой модели#

Вкладка Predict на странице каждого развертывания содержит встроенную панель предсказаний — такой же интерфейс, как на вкладке Predict модели, но инференс выполняется через конечную точку развертывания, а не через общий сервис. Это удобно для проверки развернутой конечной точки прямо в браузере. Сведения о параметрах и форматах ответов см. в разделе Inference.

Конечные точки API#

Адрес каждого развертывания определяется именами владельца и развертывания, а для каждого маршрута требуется API-ключ. Сведения об аутентификации см. в справочнике по API.

Метрики развертывания#

GET /api/deployments/{owner}/{deployment}/metrics?range=24h

Python SDK: client.deployments.metrics(owner, deployment, range="24h")

Возвращает полный набор метрик развертывания: блок summary с общим числом запросов, числом и долей ошибок, а также средней задержкой и задержками P50, P95 и P99; кроме того, возвращает массивы timeSeries для запросов, ошибок, задержек P50 и P95, загрузки CPU и памяти, а также числа экземпляров.

При значении sparkline=true ответ представляет собой краткую сводку: почасовое число запросов за последние 24 часа (часы без запросов не включаются), а также общее число запросов, долю ошибок и avgLatencyMs — среднее значение почасовых задержек P95. При значении view=overview в summary содержатся totalRequests, errorRate и p95LatencyMs, а в timeSeries — requests, errors и latencyP95; на карточках статистики страницы развертывания используется этот вид, который обновляется автоматически.

Журналы развертывания#

GET /api/deployments/{owner}/{deployment}/logs?limit=50&severity=ERROR,WARNING

Python SDK: client.deployments.logs(owner, deployment, limit=50, severity="ERROR,WARNING")

Возвращает последние записи журнала с необязательными фильтром по уровню важности и постраничной навигацией.

Состояние развертывания#

GET /api/deployments/{owner}/{deployment}/health

Python SDK: client.deployments.health(owner, deployment)

Проверяет доступность развертывания и возвращает его состояние с измеренной задержкой туда и обратно:

{
    "healthy": true,
    "status": 200,
    "latencyMs": 142
}

Если конечная точка недоступна, ответ с состоянием «не работает» не содержит status и включает сообщение error.

Оптимизация производительности#

Используй данные мониторинга для оптимизации развертываний:

Часто задаваемые вопросы#