모니터링#

Ultralytics Platform은 배포된 엔드포인트의 모니터링을 제공합니다. 엔드포인트 요청, 지연 시간, 오류 및 로그를 추적하세요. 최신 런타임에서 실행 중인 준비 완료 전용 엔드포인트는 실시간 예측 통계와 검사한 뒤 데이터셋에 저장할 수 있는 임시 예시도 제공합니다.

배포 탭#

프로필의 Deployments 탭은 모든 배포를 위한 모니터링 대시보드입니다. 세계 지도, 개요 지표, 배포 관리를 한 화면에서 확인할 수 있습니다. 배포를 생성하고 관리하는 방법은 전용 엔드포인트를 참조하세요.

개요 카드#

페이지 상단의 요약 카드 4개에는 다음 정보가 표시됩니다.

상태 확인은 몇 밀리초 만에 응답하므로 실제 추론 지연 시간의 전반적인 양상을 좌우하지 않도록 중앙값 대신 P95를 표시합니다.

세계 지도#

대화형 세계 지도에는 다음 정보가 표시됩니다.

• 사용 가능한 42개 지역의 지역 핀
• 배포가 준비된 지역의 녹색 핀
• 배포가 진행 중인 활성 지역의 파란색 애니메이션 핀
• 배포 상태와 지연 시간에 따라 달라지는 핀 크기

지역을 클릭하면 New Deployment 대화상자가 열립니다. 작은 화면에서는 지도가 숨겨집니다.

배포 목록#

개요 카드 아래의 배포 목록에는 프로젝트 전체의 모든 엔드포인트가 표시됩니다. 보기 모드 전환을 사용해 다음 보기 간에 전환할 수 있습니다.

배포별 지표#

각 배포 페이지에는 Overview, Monitoring, Predict, Logs 탭 위에 실시간 지표가 표시됩니다.

지표 카드#

각 카드에는 스파크라인이 표시되며 매분 새로고침됩니다. 배포된 모델로 연결되는 카드도 함께 표시됩니다. 지표는 Ready 상태인 배포에 대해서만 수집됩니다. Deployments 탭에서는 최근 배포 20개의 지표를 가져옵니다.

상태 검사#

실행 중인 배포의 Overview 탭에 있는 Endpoint 카드에는 상태 확인 표시기가 나타납니다.

비정상 상태에서는 상태 확인을 자동으로 재시도하며, 엔드포인트가 응답하면 중지합니다. 배포 페이지를 열면 상태 확인이 실행되고, 다시 핑 버튼을 누르면 상태 확인이 한 번 더 실행됩니다. 이 버튼은 트래픽을 보내기 전에 스케일 투 제로 엔드포인트를 준비하는 데도 사용할 수 있습니다.

모니터링 탭#

준비됨 상태인 전용 엔드포인트의 배포 페이지를 열고 모니터링 탭을 선택하세요. 예측 탭이나 엔드포인트 API를 통해 이미지를 보내거나 백그라운드 카메라를 실행해 임시 예제와 예측 통계를 채우세요. 첫 이미지가 처리되기 전에는 탭에 처리된 이미지 없음이 표시됩니다.

임시 예시#

갤러리에는 예측 오버레이가 포함된 최근 처리 이미지가 표시됩니다. 이미지를 열어 전체 화면 뷰어에서 예측을 확인하고, 표시 여부 컨트롤을 사용해 오버레이를 조정하세요. 갤러리에는 처음에 예시가 최대 12개까지 표시되며, Show all을 선택하면 전체 예시가 표시됩니다.

• 캡처: 최근에 처리된 이미지는 초당 최대 1개까지 임시 예시로 표시됩니다. 캡처는 최선의 노력으로 수행되며, 추론은 예시 인코딩이 완료될 때까지 기다리지 않습니다.
• 용량: 압축 이미지, 예측 메타데이터, 관련 에셋에 공유 메모리 예산 100 MiB가 적용되며 이미지 100개까지 저장할 수 있습니다. 인터페이스에는 이 예산이 100 MB로 표시됩니다.
• 교체: 두 제한 중 하나에 도달하면 오래된 예시부터 교체됩니다. 예시를 보는 중에 해당 예시를 사용할 수 없게 될 수 있습니다.
• 저장: 임시 예시는 엔드포인트 메모리에 보관됩니다. 데이터셋에 저장하면 일반적인 워크스페이스 저장 공간 및 처리 제한이 적용됩니다.

예시를 데이터셋에 저장#

콘텐츠 편집 권한이 있는 워크스페이스 구성원은 예시를 엔드포인트의 워크스페이스에 있는 데이터셋에 저장할 수 있습니다.

1. 체크박스를 사용해 개별 예시를 선택하거나 Select all을 클릭하세요.
2. Save to dataset을 클릭하세요.
3. 배포된 모델과 동일한 태스크를 사용하는 기존 데이터셋을 선택하세요. 연결된 소스 데이터셋은 제외됩니다. 사용할 수 있는 데이터셋이 없으면 먼저 호환되는 데이터셋을 만드세요.
4. 선택한 이미지 수가 표시되는 Save 버튼을 클릭한 다음, 데이터셋을 열어 처리를 확인하세요.

선택한 이미지와 예측은 표준 데이터셋 업로드 및 수집 워크플로를 통해 복사됩니다. 일반적인 할당량, 클래스 매핑, 중복 처리 규칙이 적용됩니다. 저장 후에도 임시 예시는 갤러리에 남아 있으며, 데이터셋에 성공적으로 수집된 이미지는 엔드포인트 재시작 및 삭제 후에도 유지됩니다. 학습에 사용하기 전에 예측된 레이블을 검토하세요. 저장된 각 이미지에는 사용자 지정 메타데이터에 deploymentId, deploymentName, deploymentRegion, deploymentRegionName이 기록되며, 데이터셋 검색 시 이를 기준으로 일치 항목을 찾습니다. 이름은 저장 시점의 이름으로 기록되며, 중복 이미지로 건너뛴 이미지는 기존 메타데이터를 유지합니다.

임시 예시를 삭제하려면 이미지에 마우스를 올려 휴지통 컨트롤을 사용하거나 예시를 선택한 뒤 일괄 삭제 버튼을 클릭하고 Delete를 선택하세요. 예시를 삭제해도 집계된 예측 통계와 이미 데이터셋에 저장된 이미지는 변경되지 않습니다.

예측 통계#

통계는 갤러리와 별도로 처리된 이미지를 집계합니다. 예시를 삭제하거나 교체해도 해당 예시의 집계값은 차감되지 않습니다. 요약에는 선택한 기간의 이미지 수, 예측 수, 예측이 없는 이미지 수가 표시되며, 깊이 모델에는 이미지 수가 표시됩니다.

날짜 선택기의 기본값은 최근 30일이며 최대 365일 범위를 선택할 수 있습니다. 선택한 날짜에는 UTC 기준이 적용되며, 차트의 타임스탬프는 현지 시간으로 표시됩니다. 전체 기간이 최근 72시간 내에 포함되는 경우 최근 3일 이내의 범위에는 시간별 기록이 사용되고, 그 외 범위에는 일별 기록이 사용됩니다. 날짜 범위는 통계를 필터링하며, 갤러리에는 현재 임시 예시가 계속 표시됩니다.

기록은 시간별 버킷 72개와 일별 버킷 365개로 제한되며, 현재 인스턴스가 시작된 이후의 데이터만 제공됩니다. 선택한 기간에 처리된 이미지가 없으면 No images processed in this period가 표시됩니다.

사용 가능한 차트는 태스크와 수집된 예측에 따라 달라집니다.

모니터링 패널이 열려 있고 표시되는 동안에는 데이터가 자동으로 새로 고쳐지며, 패널이 화면 밖에 있거나 브라우저 탭이 숨겨져 있으면 일시 중지됩니다. 배포의 Predict 탭에서 추론에 성공해도 통계가 새로 고쳐집니다.

로그#

각 배포 페이지에는 최근 로그 항목을 확인할 수 있는 Logs 탭이 있습니다:

로그 항목#

각 로그 항목에는 다음 정보가 표시됩니다:

UI에는 최근 항목 20개가 표시되며 비어 있는 항목은 숨겨집니다. API는 요청당 기본 50개(최대 200개)의 항목을 반환하며, 이전 항목을 더 조회할 수 있도록 nextPageToken을 반환합니다.

코드 예제#

각 배포의 Predict 탭에 있는 Docs 결과 탭에는 바로 사용할 수 있는 API 코드가 표시됩니다. 여기에는 엔드포인트 URL과 워크스페이스 소유자의 경우 배포에 연결된 API 키가 입력되어 있어 복사 후 바로 실행할 수 있습니다. 소유자가 아닌 사용자에게는 YOUR_API_KEY 자리 표시자가 표시됩니다:

import requests

# 배포 엔드포인트
url = "https://YOUR_DEPLOYMENT_URL.run.app/predict"

# 배포 API 키가 포함된 헤더
headers = {"Authorization": "Bearer YOUR_API_KEY"}

# 추론 매개변수
data = {"conf": 0.25, "iou": 0.7, "imgsz": 640}

# 추론을 위한 이미지 전송
with open("image.jpg", "rb") as f:
    response = requests.post(url, headers=headers, data=data, files={"file": f})

print(response.json())

배포 예측#

각 배포 페이지의 Predict 탭에는 인라인 predict 패널이 제공됩니다. 이 패널은 모델의 Predict 탭과 동일한 인터페이스이지만 공유 서비스가 아닌 배포 엔드포인트를 통해 추론을 실행합니다. 브라우저에서 배포된 엔드포인트를 직접 테스트할 때 유용합니다. 매개변수 세부 정보와 응답 형식은 Inference를 참조하세요.

API 엔드포인트#

각 배포는 소유자와 배포 이름으로 지정되며, 각 경로에는 API 키가 필요합니다. 인증 세부 정보는 API 참조를 확인하세요.

배포 메트릭#

GET /api/deployments/{owner}/{deployment}/metrics?range=24h

Python SDK: client.deployments.metrics(owner, deployment, range="24h")

배포의 전체 메트릭 페이로드를 반환합니다. 총 요청 수, 오류 수와 오류율, 평균 지연 시간 및 P50, P95, P99 지연 시간이 포함된 summary 블록과 요청, 오류, P50 및 P95 지연 시간, CPU 및 메모리 사용률, 인스턴스 수를 나타내는 timeSeries 배열이 포함됩니다.

sparkline=true을 사용하면 지난 24시간 동안의 시간별 요청 수(요청이 없는 시간은 생략됨)와 총 요청 수, 오류율, 시간별 P95 지연 시간 평균인 avgLatencyMs이 간결한 요약으로 반환됩니다. view=overview를 사용하면 summary에는 totalRequests, errorRate, p95LatencyMs이 포함되고, timeSeries에는 requests, errors, latencyP95이 포함됩니다. 배포 페이지의 통계 카드에서 이 보기를 사용하며 자동으로 새로 고쳐집니다.

배포 로그#

GET /api/deployments/{owner}/{deployment}/logs?limit=50&severity=ERROR,WARNING

Python SDK: client.deployments.logs(owner, deployment, limit=50, severity="ERROR,WARNING")

선택적 심각도 필터와 페이지네이션을 적용해 최근 로그 항목을 반환합니다.

배포 상태#

GET /api/deployments/{owner}/{deployment}/health

Python SDK: client.deployments.health(owner, deployment)

배포에 ping을 보내고 측정된 왕복 지연 시간과 함께 상태를 반환합니다:

{
    "healthy": true,
    "status": 200,
    "latencyMs": 142
}

엔드포인트에 전혀 연결할 수 없는 경우 비정상 응답에서는 status이 생략되고 error 메시지가 추가됩니다.

성능 최적화#

모니터링 데이터를 사용해 배포를 최적화하세요:

자주 묻는 질문#