모니터링#

Ultralytics Platform은 배포된 엔드포인트 모니터링 기능을 제공합니다. 엔드포인트 요청, 지연 시간, 오류 및 로그를 추적하세요. 유료 전용 엔드포인트에서는 실시간 예측 통계와 검사하여 데이터셋에 저장할 수 있는 임시 예시도 제공합니다.

배포 대시보드#

사이드바의 Deploy 페이지는 모든 배포를 모니터링하는 대시보드입니다. 세계 지도, 개요 메트릭, 배포 관리를 하나의 보기로 통합합니다. 배포를 생성하고 관리하려면 전용 엔드포인트를 참조하십시오.

graph TB
    subgraph Dashboard
        Map[World Map]:::proc --- Cards[Overview Cards]:::proc
        Cards --- List[Deployments List]:::decide
    end
    subgraph "Per Ready Deployment"
        Monitoring[Monitoring Tab: Paid Endpoints]:::out
        Metrics[Metrics Row]:::out
        Health[Health Check]:::out
        Logs[Logs Tab]:::out
        Code[Code Tab]:::out
        Predict[Predict Tab]:::out
    end
    List --> Monitoring
    List --> Metrics
    List --> Health
    List --> Logs
    List --> Code
    List --> Predict

    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

개요 카드#

페이지 상단의 요약 카드 4개에는 다음 정보가 표시됩니다:

실제 추론 지연 시간의 양상을 왜곡할 수 있는 상태 확인 요청이 몇 밀리초 만에 반환되어 전체 결과를 지배하는 것을 방지하기 위해 중앙값이 아닌 P95 지연 시간을 보고합니다.

세계 지도#

대화형 세계 지도에는 다음이 표시됩니다:

• 사용 가능한 모든 42개 리전에 대한 리전 핀
• Ready 상태의 배포가 있는 리전의 녹색 핀
• 활성 배포가 진행 중인 리전의 애니메이션 파란색 핀
• 배포 상태와 지연 시간에 따라 달라지는 핀 크기

리전을 클릭하면 New Deployment 대화 상자가 열립니다. 작은 화면에서는 지도가 숨겨집니다.

배포 목록#

개요 카드 아래의 배포 목록에는 프로젝트 전체의 모든 엔드포인트가 표시됩니다. 보기 모드 전환을 사용하여 다음 보기 간에 전환할 수 있습니다:

배포별 메트릭#

각 배포 카드(카드 보기)에는 실시간 메트릭이 표시됩니다. 아래에 설명된 메트릭 행, 상태 확인, Logs, Code, Predict 탭은 배포가 Ready 상태일 때만 표시됩니다:

메트릭 행#

메트릭은 자동으로 새로 고침됩니다. 요청을 처리하지 않은 엔드포인트에는 "아직 트래픽 없음"이 표시되며, 메트릭은 Ready 상태의 배포에 대해서만 수집됩니다. 배포 대시보드에서는 가장 최근 배포 20개에 대한 메트릭을 가져옵니다.

상태 점검#

실행 중인 배포에는 상태 확인 표시기가 나타납니다:

상태 확인은 비정상 상태인 동안 자동으로 재시도되며 엔드포인트가 응답하면 중지됩니다. 새로 고침 아이콘을 클릭하면 상태 확인이 수동으로 실행되며, 이는 트래픽을 보내기 전에 0으로 스케일된 엔드포인트를 워밍업하는 방법으로도 사용할 수 있습니다.

모니터링 탭#

Deploy를 열고 Cards 뷰로 전환한 다음, Ready 상태인 유료 전용 엔드포인트에서 Monitoring을 선택합니다. Predict 탭이나 엔드포인트 API를 통해 이미지를 전송하여 Temporary Examples 및 Prediction Statistics를 채우세요. 첫 번째 이미지가 처리되기 전에는 탭에 No images processed가 표시됩니다.

임시 예시#

갤러리에는 예측 오버레이가 포함된 처리된 이미지의 롤링 샘플이 포함되어 있습니다. 이미지를 열어 전체 화면 뷰어에서 예측을 검사하고 가시성 제어를 사용하여 오버레이를 조정하세요. 갤러리에는 처음에 최대 12개의 예시가 표시되며, Show all을 통해 확장할 수 있습니다.

• 샘플링: 처음에 최대 두 개의 예시, 그 이후 분당 최대 한 개의 추가 이미지입니다. 캡처는 최선 노력 방식으로 이루어지며, 추론은 예시 인코딩을 기다리지 않습니다.
• 용량: 압축된 이미지, 예측 메타데이터 및 관련 에셋에 대해 공유된 100 MiB 메모리 예산 내에서 최대 100개의 이미지입니다. 인터페이스에서는 이 예산을 100 MB로 표시합니다.
• 교체: 두 제한 중 하나에 도달하면 오래된 예시가 교체됩니다. 예시를 보고 있는 동안 예시를 사용하지 못하게 될 수 있습니다.
• 스토리지: 임시 예시는 엔드포인트 메모리에 유지됩니다. 데이터셋에 저장하면 일반 워크스페이스 스토리지 및 처리 제한이 사용됩니다.

예시를 데이터셋에 저장#

콘텐츠 편집 권한이 있는 워크스페이스 멤버는 엔드포인트의 워크스페이스에 있는 데이터셋에 예시를 저장할 수 있습니다.

1. 체크박스를 사용하여 개별 예시를 선택하거나 Select all을 클릭합니다.
2. Save to dataset을 클릭합니다.
3. 배포된 모델과 동일한 태스크를 가진 기존 데이터셋을 선택합니다. 연결된 소스 데이터셋은 제외되며, 사용 가능한 데이터셋이 없는 경우 호환되는 데이터셋을 먼저 만드세요.
4. 선택한 이미지 수가 표시되는 Save 버튼을 클릭한 다음, 데이터셋을 열어 처리를 팔로우하세요.

선택한 이미지와 예측은 표준 데이터셋 업로드 및 수집 워크플로를 통해 복사됩니다. 일반 할당량, 클래스 매핑 및 중복 처리 규칙이 적용됩니다. 저장하더라도 갤러리에 임시 예시는 그대로 유지되며, 성공적으로 수집된 데이터셋 이미지는 엔드포인트 재시작 및 삭제 후에도 유지됩니다. 학습에 사용하기 전에 예측된 라벨을 검토하세요.

임시 예시를 제거하려면 이미지의 호버 휴지통 컨트롤을 사용하거나 예시를 선택하고 일괄 휴지통 버튼을 클릭한 다음 Delete를 확인하세요. 예시를 삭제해도 집계된 예측 통계와 데이터셋에 이미 저장된 이미지는 변경되지 않습니다.

예측 통계#

통계는 갤러리 샘플링과 무관하게 처리된 이미지를 집계합니다. 예시를 삭제하거나 교체해도 기여도는 차감되지 않습니다. 요약에는 선택한 기간 동안의 이미지, 예측 및 예측이 없는 이미지가 표시되며, 깊이 모델은 이미지 수를 표시합니다.

날짜 선택기는 기본적으로 최근 30일로 설정되며 최대 365일 범위를 허용합니다. 선택한 날짜는 UTC 경계를 사용하며, 차트 타임스탬프는 로컬 시간으로 표시됩니다. 전체 범위가 최근 72시간 이내에 속하는 경우 최대 3일의 최근 범위는 시간별 기록을 사용하고, 다른 범위는 일별 기록을 사용합니다. 날짜 범위는 통계를 필터링하는 반면, 갤러리는 계속해서 현재 임시 예시를 표시합니다.

기록은 72개의 시간별 버킷과 365개의 일별 버킷으로 제한되며, 현재 인스턴스가 시작된 이후부터만 사용할 수 있습니다. 처리된 이미지가 없는 선택된 기간에는 No images processed in this period가 표시됩니다.

사용 가능한 차트는 태스크 및 수집된 예측에 따라 다릅니다.

모니터링은 패널이 열려 있고 보이는 동안 약 2초마다새로 고쳐집니다. 패널이 화면 밖에 있거나 브라우저 탭이 숨겨져 있으면 폴링이 일시 중지됩니다. 배포의 Predict 탭을 통한 성공적인 추론도 통계 새로 고침을 트리거합니다.

로그#

각 배포 카드에는 최근 로그 항목을 확인할 수 있는 Logs 탭이 포함되어 있습니다:

로그 항목#

각 로그 항목에는 다음 정보가 표시됩니다:

UI에는 가장 최근 항목 20개가 표시되며 비어 있는 항목은 숨겨집니다. API는 요청당 기본적으로 50개 항목(최대 200개)을 반환하며, 더 이전 항목을 페이지 단위로 가져올 수 있도록 nextPageToken을 반환합니다.

코드 예제#

각 배포 카드에는 엔드포인트 URL이 입력된 즉시 사용 가능한 API 코드가 표시되는 Code 탭이 포함되어 있습니다. 워크스페이스 소유자의 경우 배포에 연결된 API 키가 삽입되어 바로 복사하고 실행할 수 있습니다. 소유자가 아닌 사용자에게는 다음과 같은 YOUR_API_KEY 자리 표시자가 표시됩니다:

import requests

# Deployment endpoint
url = "https://YOUR_DEPLOYMENT_URL.run.app/predict"

# Headers with your deployment API key
headers = {"Authorization": "Bearer YOUR_API_KEY"}

# Inference parameters
data = {"conf": 0.25, "iou": 0.7, "imgsz": 640}

# Send image for inference
with open("image.jpg", "rb") as f:
    response = requests.post(url, headers=headers, data=data, files={"file": f})

print(response.json())

배포 Predict#

각 배포 카드의 Predict 탭에는 인라인 predict 패널이 제공됩니다. 이는 모델의 Predict 탭과 동일한 인터페이스이지만, 공유 서비스 대신 배포 엔드포인트를 통해 추론을 실행합니다. 브라우저에서 직접 배포된 엔드포인트를 테스트할 때 유용합니다. 매개변수 세부 정보와 응답 형식은 추론을 참조하세요.

API 엔드포인트#

모든 배포는 소유자와 배포 이름으로 식별되며, 각 경로에는 API 키가 필요합니다. 인증 세부 정보는 API 레퍼런스를 참조하세요.

배포 메트릭#

GET /api/deployments/{owner}/{deployment}/metrics?range=24h

Python SDK: client.deployments.metrics(owner, deployment, range="24h")

배포에 대한 전체 메트릭 페이로드를 반환합니다. 총 요청 수, 오류 수와 오류율, 평균 및 P50, P95, P99 지연 시간을 포함하는 summary 블록과 요청, 오류, P50 및 P95 지연 시간, CPU 및 메모리 사용률, 인스턴스 수에 대한 timeSeries 배열을 제공합니다.

sparkline=true을 사용하면 배포 카드에서 사용하는 간결한 형식으로 응답합니다. 시간별 요청 수 24개와 총 요청 수, 오류율, 평균 지연 시간을 포함합니다. 이 호출은 60초마다 새로 고침됩니다.

배포 로그#

GET /api/deployments/{owner}/{deployment}/logs?limit=50&severity=ERROR,WARNING

Python SDK: client.deployments.logs(owner, deployment, limit=50, severity="ERROR,WARNING")

선택적 심각도 필터와 페이지네이션을 적용하여 최근 로그 항목을 반환합니다.

배포 상태#

GET /api/deployments/{owner}/{deployment}/health

Python SDK: client.deployments.health(owner, deployment)

배포를 ping하고 측정된 왕복 지연 시간과 함께 상태를 반환합니다:

{
    "healthy": true,
    "status": 200,
    "latencyMs": 142
}

엔드포인트에 전혀 연결할 수 없는 경우 비정상 응답에서는 status을 생략하고 error 메시지를 추가합니다.

성능 최적화#

모니터링 데이터를 사용하여 배포를 최적화합니다:

FAQ#