Agents#
Agents는 이미지, 모델, 조건, 작업을 시각적 워크플로로 연결합니다. YOLO를 사용해 자세히 살펴봐야 할 이미지를 판별하거나, 비전-언어 모델에 이미지 설명을 요청하거나, 검토할 이미지를 데이터셋에 수집할 수 있습니다.
사이드바에서 Agents를 열거나 platform.ultralytics.com/agents로 이동합니다. 로그인한 모든 사용자는 개인 및 팀 작업 공간의 사이드바에서 Agents를 볼 수 있으며, 활성화해야 하는 Early access 설정은 없습니다.
첫 워크플로 실행하기#
- Agents를 열고 Add block > Templates를 클릭한 다음 YOLO → VLM Monitor를 선택합니다.
- Input image 블록을 선택하고, 업로드된 데이터셋을 고른 다음 사람이 포함된 이미지를 선택합니다. 공유 체험판에서는 최대 4메가픽셀의 이미지를 사용합니다.
- 기본 YOLO26 nano 모델을 그대로 사용합니다. YOLO가 사람을 한 명 이상 감지하면 조건이 통과됩니다.
- Describe the scene을 선택하고 비전-언어 모델을 고른 다음 프롬프트를 입력합니다. 아직 설정하지 않았다면 Settings > API Keys에서 일치하는 제공업체 키를 추가합니다. 팀 작업 공간에서는 작업 공간 소유자에게 제공업체 키를 추가하거나 교체해 달라고 요청합니다.
- 소규모 실행을 위해 Shared trial · 60 seconds를 선택한 상태로 두고 Run을 클릭합니다.
- 블록이 업데이트되는 과정을 확인하고 Output을 살펴봅니다. 사람이 감지되지 않으면 조건이 완료되고 설명 분기는 실행되지 않습니다.
저장하기 전에 초안을 실행할 수 있습니다. 나중에 사용할 워크플로의 이름을 지정하고 저장하려면 Save workflow를 사용하고, 변경한 후에는 다시 저장합니다. Python 버튼을 누르면 생성된 워크플로 코드가 표시됩니다.
템플릿으로 시작하기#
| 템플릿 | 워크플로 | 유용한 용도 |
|---|---|---|
| YOLO → VLM Monitor | 이미지 → YOLO → 조건 → 비전-언어 모델 → 출력 | 사람이 감지된 경우에만 장면 설명하기 |
| 불확실한 감지 결과 수집 | 데이터셋 → 배포 → 신뢰도 조건 → 데이터셋 | 감지 결과가 불확실한 이미지로 검토 세트 구성하기 |
| 캡처 및 알림 | 이미지 → YOLO → 조건 → 데이터셋 및 Slack | 같은 조건을 사용해 이미지를 저장하고 채널에 알림 보내기 |
템플릿은 편집 가능한 시작점입니다. 실행하기 전에 작업 공간에 사용할 이미지, 배포, 대상 데이터셋, 통합을 선택합니다. 이러한 워크플로는 Run을 클릭할 때 실행되며, Monitor 템플릿은 선택한 입력 이미지를 분석합니다.
실행 위치 선택하기#
Run 옆의 실행 선택기에서 워크플로를 실행할 하드웨어를 선택합니다.
| 선택 항목 | 사용 목적 | 제한 및 요금 |
|---|---|---|
| 공유 체험판 · 60초 | 소규모 워크플로를 시험할 때 | 최대 60초, 입력 이미지 총 20개(각각 최대 4메가픽셀), 모델/제공업체 호출 20회, 로컬 YOLO 모델 1개(공식 YOLO26 nano 모델 사용) |
| 기존 전용 배포 | 더 큰 데이터셋, 더 긴 실행 시간 또는 다른 로컬 모델이 필요할 때 | 적격 무료 전용 배포를 포함하여 해당 배포의 기존 하드웨어와 요금을 사용합니다. 전체 워크플로 실행 시간이나 이미지 수 제한은 없습니다. |
| 새 배포… | 빌더에서 전용 하드웨어를 생성할 때 | 기존 배포 생성 및 요금 대화상자가 열립니다. 리소스를 선택하고 배포가 준비될 때까지 기다립니다. |
공유 체험판은 분당 3회 실행할 수 있으며, 전용 배포에서 실행할 때는 속도 제한이 없습니다. Platform 실행은 최대 20개 블록을 지원합니다. 모델/제공업체 호출에는 YOLO, 비전-언어 모델, 배포 예측, Slack 및 Webhook 작업이 포함됩니다. 분기를 사용하면 입력 이미지당 호출 횟수가 늘어날 수 있습니다.
전용 실행은 선택한 배포에서 체크포인트가 설정된 요청으로 계속 진행됩니다. 브라우저를 닫거나 새로고침해도 실행은 중단되지 않습니다. 기존 배포 제한과 제공업체 제한은 계속 적용되며, 언어 모델 사용 요금은 키와 연결된 제공업체에서 청구합니다. 하드웨어 옵션은 배포 요금을 참조하세요.
Deployment 블록은 예측 단계에 사용할 엔드포인트를 선택합니다. 실행 선택기는 워크플로 자체를 실행할 위치를 선택합니다. 두 용도에 같은 전용 배포를 선택할 수 있습니다.
블록 구성하기#
| 블록 | 용도 |
|---|---|
| 이미지 | 이미지 또는 기본적으로 최대 10개 프레임으로 샘플링된 동영상을 업로드하거나, 업로드된 데이터셋에서 이미지 하나를 선택합니다. |
| 들어오는 연결이 없는 데이터셋 | 선택한 데이터셋과 분할에서 이미지를 읽고, 구성 가능한 입력 제한을 설정합니다. |
| YOLO | 공식 모델 또는 작업 공간에서 학습한 모델을 실행합니다. |
| 배포 | 기존의 준비 완료된 Platform 배포를 통해 예측을 수행합니다. |
| LLM | 이미지와 상위 단계의 컨텍스트를 선택한 언어 모델 또는 비전-언어 모델로 전송합니다. |
| 게이트 | 조건 또는 주기를 사용해 후속 실행을 제어합니다. |
| 들어오는 연결이 있는 데이터셋 | 들어오는 이미지를 대상 데이터셋에 추가합니다. |
| Slack | 작업 공간에 연결된 Slack 채널로 메시지를 보냅니다. |
| Webhook | POST JSON 본문을 HTTPS 엔드포인트로 전송합니다. |
| 내보내기 | Platform의 기존 내보내기 워크플로를 사용해 모델을 내보냅니다. |
| 출력 | 상위 단계의 결과를 표시합니다. |
블록을 선택해 설정을 편집합니다. 출력을 다른 블록에 연결하면 해당 결과를 후속 단계로 전달할 수 있습니다. 하나의 출력을 여러 블록에 연결할 수 있습니다. 예를 들어 하나의 조건을 대상 데이터셋과 Slack에 모두 연결할 수 있습니다. 각 분기는 동일하게 평가된 조건을 사용합니다.
조건으로 감지 결과 필터링하기#
감지 개수와 신뢰도 필터에는 동일한 Gate 블록을 사용합니다. 상위 단계의 결과, 모든 클래스 또는 특정 클래스, 비교 연산자를 선택합니다. 예:
- 사람 수 ≥ 1: 사람이 한 명 이상 감지되면 계속 진행합니다.
- 신뢰도 0.25~0.5: 일치하는 감지 결과가 하나 이상 해당 범위(양 끝값 포함)에 속하면 계속 진행합니다.
- 신뢰도 범위 내 특정 클래스: 해당 클래스의 불확실한 감지 결과만 수집합니다.
신뢰도 필터는 개별 감지 결과를 확인합니다. 0.3 및 0.9 점수가 있는 이미지는 감지 결과 하나가 일치하므로 0.25–0.5 범위 조건을 통과합니다. 감지 결과가 없는 이미지는 신뢰도 조건을 통과하지 못합니다. 평가하려는 감지 결과를 유지할 수 있도록 예측 모델의 신뢰도 임계값을 충분히 낮게 설정합니다.
조건이 일치하지 않으면 후속 출력 없이 완료됩니다. 해당 이미지에 대해 연결된 작업은 실행되지 않습니다.
검토할 이미지 수집하기#
Collect Uncertain Detections를 열고 소스 데이터셋과 분할을 선택한 다음 예측 배포를 지정하고 신뢰도 범위를 구성합니다. 마지막 Dataset 블록에서 기존 대상 데이터셋을 선택합니다. 필요한 경우 먼저 Datasets 페이지에서 데이터셋을 만듭니다.
대상 데이터셋의 train 분할에 원본 이미지가 레이블 없이 추가됩니다. 기존 사본은 건너뛰며 일반 데이터셋 저장 용량 할당량이 적용됩니다. 소스 레이블과 모델 예측은 어노테이션으로 복사되지 않습니다. 기존 어노테이션 편집기에서 대상 데이터셋을 열어 수집된 이미지를 검토하고 레이블을 지정합니다.
작업 공간에서 액세스할 수 있는 호스팅 이미지와 편집 권한이 있는 대상 데이터셋을 사용합니다. 연결된 클라우드 저장소 및 온프레미스 데이터셋은 수집 대상으로 사용할 수 없습니다.
조건부 Slack 알림 보내기#
Settings > Integrations에서 Slack을 연결한 다음 조건을 Slack 블록에 연결합니다. 메시지를 입력하고 {output}을 사용해 상위 단계의 결과를 포함합니다. Capture and Alert는 동일한 조건을 데이터셋에도 연결하므로, 조건에 일치하는 이미지가 수집되고 연결된 채널로 메시지가 전송됩니다.
워크플로 Slack 메시지는 블록에서 설정합니다. 이 설정은 Settings의 학습, 내보내기, 배포 알림 선택 항목과 별개입니다.
Webhook 보내기#
Webhook 블록은 각 결과마다 Content-Type: application/json을 포함한 POST을 공개 HTTPS URL로 전송하므로, JSON 요청을 수락하는 모든 서비스가 조건의 결과를 받을 수 있습니다. 대상 URL과 최대 10,000자 길이의 JSON 본문을 입력합니다. JSON 본문에서 문자열 내 {output}는 상위 단계의 결과로 대체됩니다. 이 블록은 종단 블록이므로 나가는 연결을 허용하지 않습니다. 리디렉션은 따라가지 않으며 연결은 5초 후 시간 초과되고, 2xx가 아닌 응답은 블록 실패로 처리됩니다.
진행 상황 확인 및 실행 중지하기#
활성 블록에는 녹색 회전 아이콘이 표시됩니다. 완료된 블록에는 녹색 체크 표시와 테두리가, 실패한 블록에는 빨간색 테두리가 표시됩니다. 개수는 각 블록에 도달한 입력을 나타내며, 조건이 일치하지 않으면 후속 블록은 실행되지 않은 상태로 유지됩니다.
페이지를 새로고침하면 실행 진행 상황과 선택한 실행 배포가 복원됩니다. 일치하는 워크플로의 완료 결과는 계속 표시됩니다. 활성 실행을 취소하려면 Stop을 클릭합니다. 취소는 실행 중인 블록이 취소 지점에 도달할 때까지 대기합니다. 실행 배포를 중지하거나 삭제해도 워크플로가 취소됩니다.
문제 해결#
- 실행이 공유 체험판 제한을 초과합니다: 적격 무료 배포를 포함한 전용 배포를 선택하거나 이미지 해상도, 입력 개수, 모델/제공업체 호출 횟수를 줄입니다.
- 배포를 준비 중이거나 중지했습니다: 준비가 완료될 때까지 기다리거나 Deployments에서 시작합니다.
- 제공업체 키가 없습니다: Settings > API Keys에서 선택한 제공업체를 연결합니다. 팀 작업 공간에서는 작업 공간 소유자에게 키를 추가하거나 교체해 달라고 요청합니다.
- 대상에 도달하는 이미지가 없습니다: 조건과 예측 신뢰도 임계값을 확인합니다. 감지 결과가 비어 있으면 신뢰도 범위를 통과하지 못합니다.
- 수집된 이미지에 레이블이 없습니다: 이미지 수집은 검토용 원본 이미지를 추가합니다. 기존 어노테이션 도구를 사용해 레이블을 지정합니다.