모니터링#

Ultralytics Platform은 배포된 엔드포인트 모니터링을 제공합니다. 자동 폴링을 통해 요청 메트릭을 추적하고, 로그를 확인하며, 상태를 점검할 수 있습니다.

배포 대시보드#

사이드바의 Deploy 페이지는 모든 배포를 위한 모니터링 대시보드 역할을 합니다. 이 페이지는 세계 지도, 개요 메트릭, 배포 관리를 하나의 뷰로 통합합니다. 배포 생성 및 관리에 대해서는 전용 엔드포인트를 참조하십시오.

graph TB
    subgraph Dashboard
        Map[World Map]:::proc --- Cards[Overview Cards]:::proc
        Cards --- List[Deployments List]:::decide
    end
    subgraph "Per Ready Deployment"
        Metrics[Metrics Row]:::out
        Health[Health Check]:::out
        Logs[Logs Tab]:::out
        Code[Code Tab]:::out
        Predict[Predict Tab]:::out
    end
    List --> Metrics
    List --> Health
    List --> Logs
    List --> Code
    List --> Predict

    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

개요 카드#

페이지 상단에 있는 4개의 요약 카드는 다음 정보를 표시합니다:

헬스 체크가 몇 밀리초 만에 응답하므로 그렇지 않으면 실제 추론 지연 시간의 전체적인 모습을 압도하게 되므로, 중앙값 대신 P95 지연 시간이 보고됩니다.

세계 지도#

대화형 세계 지도는 다음 정보를 보여줍니다:

• 사용 가능한 모든 42개 리전에 대한 Region pins
• 준비된 배포가 있는 지역에 대한 초록색 핀
• 애니메이션 파란색 핀: 배포가 진행 중인 활성 지역
• 핀 크기: 배포 상태 및 지연 시간에 따라 다름

New Deployment 대화상자를 열려면 아무 지역이나 클릭하세요. 지도는 작은 화면에서 숨겨집니다.

배포 목록#

개요 카드 아래의 배포 목록에는 프로젝트 전반의 모든 엔드포인트가 표시됩니다. 보기 모드 토글을 사용하여 다음 모드로 전환할 수 있습니다:

배포별 메트릭#

각 배포 카드(카드 뷰)에는 실시간 메트릭이 표시됩니다. 아래에 설명된 메트릭 행, 상태 확인, 그리고 Logs, Code, Predict 탭은 배포가 Ready 상태인 동안에만 나타납니다.

메트릭 행#

메트릭은 자동으로 새로 고쳐집니다. 요청을 처리한 적이 없는 엔드포인트는 "No traffic yet"으로 표시되며, 메트릭은 Ready 상태인 배포에 대해서만 수집됩니다. 배포 대시보드에서는 가장 최근의 배포 20개에 대한 메트릭을 가져옵니다.

상태 확인#

실행 중인 배포에는 상태 점검 표시기가 나타납니다:

헬스 체크는 비정상 상태일 때 자동으로 재시도하며 엔드포인트가 응답하면 중지됩니다. 새로 고침 아이콘을 클릭하여 헬스 체크를 수동으로 트리거할 수 있으며, 이는 트래픽을 보내기 전에 규모가 0으로 축소된 엔드포인트를 예열하는 방법으로도 사용됩니다.

로그#

각 배포 카드에는 최근 로그 항목을 확인하기 위한 Logs 탭이 포함되어 있습니다:

로그 항목#

각 로그 항목은 다음을 보여줍니다:

UI는 가장 최근 항목 20개를 표시하고 빈 항목은 숨깁니다. API는 요청당 기본적으로 50개 항목(최대 200개)을 제공하며 더 이전 페이지로 이동하기 위한 nextPageToken을 반환합니다.

코드 예제#

각 배포 카드에는 엔드포인트 URL이 채워진 즉시 사용 가능한 API 코드를 보여주는 Code 탭이 포함되어 있습니다. 워크스페이스 소유자의 경우 배포에 바인딩된 API 키가 삽입되어 바로 복사하여 실행할 수 있습니다. 소유자가 아닌 경우 YOUR_API_KEY 자리 표시자가 표시됩니다:

import requests

# Deployment endpoint
url = "https://YOUR_DEPLOYMENT_URL.run.app/predict"

# Headers with your deployment API key
headers = {"Authorization": "Bearer YOUR_API_KEY"}

# Inference parameters
data = {"conf": 0.25, "iou": 0.7, "imgsz": 640}

# Send image for inference
with open("image.jpg", "rb") as f:
    response = requests.post(url, headers=headers, data=data, files={"file": f})

print(response.json())

배포 모델 예측#

각 배포 카드의 Predict 탭은 인라인 예측 패널을 제공합니다. 이는 모델의 Predict 탭과 동일한 인터페이스이지만, 공유 서비스 대신 배포 엔드포인트를 통해 추론을 실행합니다. 이는 브라우저에서 직접 배포된 엔드포인트를 테스트하는 데 유용합니다. 매개변수 세부 정보 및 응답 형식은 추론을 참조하십시오.

API 엔드포인트#

모든 배포는 소유자와 배포 이름으로 주소가 지정되며 각 라우트에는 API 키가 필요합니다. 인증 세부 정보는 API reference를 참조하세요.

배포 메트릭#

GET /api/deployments/{owner}/{deployment}/metrics?range=24h

Python SDK: client.deployments.metrics(owner, deployment, range="24h")

배포에 대한 전체 메트릭 페이로드를 반환합니다: 총 요청수, 오류 수 및 비율, 평균, P50, P95, P99 지연 시간이 포함된 summary 블록과 요청, 오류, P50 및 P95 지연 시간, CPU 및 메모리 사용량, 인스턴스 수에 대한 timeSeries 배열.

sparkline=true을 사용하면 응답은 배포 카드가 사용하는 간소화된 형식(24시간별 요청 수와 총 요청 수, 오류율, 평균 지연 시간)이 됩니다. 이것이 60초마다 새로 고쳐지는 호출입니다.

배포 로그#

GET /api/deployments/{owner}/{deployment}/logs?limit=50&severity=ERROR,WARNING

Python SDK: client.deployments.logs(owner, deployment, limit=50, severity="ERROR,WARNING")

선택적 심각도 필터 및 페이지네이션을 포함하여 최근 로그 항목을 반환합니다.

배포 상태#

GET /api/deployments/{owner}/{deployment}/health

Python SDK: client.deployments.health(owner, deployment)

배포를 핑하고 측정된 왕복 지연 시간과 함께 헬스 상태를 반환합니다:

{
    "healthy": true,
    "status": 200,
    "latencyMs": 142
}

비정상 응답은 엔드포인트에 전혀 도달할 수 없을 때 status을 생략하고 error 메시지를 추가합니다.

성능 최적화#

모니터링 데이터를 사용하여 배포를 최적화하십시오:

FAQ#