Agentes#
Agents conecta imagens, modelos, condições e ações em um fluxo de trabalho visual. Usa YOLO para decidir quais imagens precisam de uma inspeção mais detalhada, pede a um modelo de visão e linguagem para explicá-las ou coleta imagens selecionadas em um dataset para revisão.
Muda para o teu workspace pessoal usando o seletor de workspace da barra lateral e ativa Early access em Settings > Profile. Depois, abre Agents na barra lateral ou vai a platform.ultralytics.com/agents. O acesso antecipado é uma preferência pessoal, mesmo quando trabalhas em um workspace de equipe.
Executa o teu primeiro fluxo de trabalho#
- Abre Agents, clica em Add block > Templates e escolhe YOLO → VLM Monitor.
- Seleciona o bloco Input image, escolhe um dataset carregado e seleciona uma imagem que contenha uma pessoa. Usa uma imagem de até 4 megapixels para o teste compartilhado.
- Mantém o modelo YOLO26 nano padrão. A condição é aprovada quando o YOLO deteta pelo menos uma pessoa.
- Seleciona Describe the scene, escolhe um modelo de visão e linguagem e insere um prompt. Add the matching provider key em Settings > API Keys se ainda não o fizeste. Em um workspace de equipe, pede ao proprietário do workspace para adicionar ou substituir a chave de fornecedor.
- Mantém Shared trial · 60 seconds selecionado para uma execução pequena e clica em Run.
- Vê os blocos a atualizar e inspeciona a Output. Se nenhuma pessoa for detetada, a condição termina sem executar o ramo de descrição.
Podes executar um rascunho antes de o guardares. Usa Save workflow para nomear e guardar um fluxo de trabalho para mais tarde, e guarda novamente após fazer alterações. O botão Python mostra o código gerado do fluxo de trabalho.
Começa com um modelo#
| Modelo | Fluxo de trabalho | Útil para |
|---|---|---|
| YOLO → VLM Monitor | Image → YOLO → condição → modelo de visão e linguagem → Output | Descrever uma cena apenas quando uma pessoa é detetada |
| Collect Uncertain Detections | Dataset → Deployment → condição de confiança → Dataset | Criar um conjunto de revisão a partir de imagens com deteções incertas |
| Capture and Alert | Image → YOLO → condição → Dataset e Slack | Guardar uma imagem e notificar um canal a partir da mesma condição |
Os modelos são pontos de partida editáveis. Seleciona as imagens, o deployment, o dataset de destino e as integrações para o teu workspace antes de os executares. Estes fluxos de trabalho são executados quando clicas em Run; o modelo Monitor analisa a imagem de entrada selecionada.
Escolhe onde executar#
O seletor de execução junto a Run escolhe o hardware para o fluxo de trabalho.
| Escolha | Usa-o para | Limites e preços |
|---|---|---|
| Shared trial · 60 seconds | Testar um pequeno fluxo de trabalho | Até 60 segundos, 20 imagens de entrada no total de até 4 megapixels cada e 20 chamadas de modelo/fornecedor; um modelo YOLO local, utilizando um modelo YOLO26 nano oficial |
| Existing dedicated deployment | Datasets maiores, execuções mais longas ou outros modelos locais | Usa o hardware e os preços existentes desse deployment, incluindo um deployment dedicado gratuito elegível; sem limite geral de duração do fluxo de trabalho ou de contagem de imagens |
| New deployment… | Criar hardware dedicado a partir do construtor | Abre o diálogo de criação e preços de deployment existente; escolhe os recursos e espera até que o deployment esteja pronto |
Os testes compartilhados permitem duas submissões a cada cinco minutos. As execuções na plataforma suportam até 20 blocos. As chamadas de modelo/fornecedor incluem YOLO, modelos de visão e linguagem, predições de deployment e ações do Slack; a ramificação pode aumentar o número de chamadas por imagem de entrada.
As execuções dedicadas continuam em pedidos salvos em pontos de verificação (checkpoint) no deployment selecionado. Fechar ou recarregar o navegador não interrompe uma execução. Os limites existentes de deployment e de fornecedor continuam a aplicar-se, e a utilização de modelos de linguagem é faturada pelo fornecedor associado à tua chave. Consulta deployment pricing para opções de hardware.
Um bloco Deployment seleciona o endpoint utilizado para uma etapa de predição. O seletor de execução escolhe onde o próprio fluxo de trabalho é executado. Podes escolher o mesmo deployment dedicado para ambos.
Configurar blocos#
| Bloco | Finalidade |
|---|---|
| Imagem | Seleciona uma imagem de um dataset carregado |
| Dataset sem uma ligação de entrada | Lê imagens de um dataset e divisão selecionados, com um limite de entrada configurável |
| YOLO | Executa um modelo oficial ou um modelo treinado a partir do workspace |
| Deployment | Prevê através de um deployment da Plataforma existente e pronto |
| LLM | Envia a imagem e o contexto a montante para o modelo de linguagem ou de visão e linguagem selecionado |
| Gate | Controla a execução a jusante com uma condição ou cadência |
| Dataset com uma ligação de entrada | Adiciona a imagem de entrada a um dataset de destino |
| Slack | Envia uma mensagem para o canal do Slack conectado ao workspace |
| Exportar | Exporta um modelo utilizando o fluxo de trabalho de exportação existente da Plataforma |
| Output | Apresenta o resultado a montante |
Seleciona um bloco para editar as suas definições. Conecta uma saída a outro bloco para passar o seu resultado a jusante. Uma saída pode conectar-se a vários blocos: por exemplo, conecta uma condição a um dataset de destino e ao Slack. Cada ramo utiliza a mesma condição avaliada.
Filtrar deteções com uma condição#
Usa o mesmo bloco Gate para contagens de deteção e filtros de confiança. Escolhe o resultado a montante, qualquer classe ou uma classe específica, e uma comparação. Por exemplo:
- Person count ≥ 1: continua quando pelo menos uma pessoa é detetada.
- Confidence between 0.25 and 0.5: continua quando pelo menos uma deteção correspondente se encontra dentro desse intervalo inclusivo.
- A specific class in a confidence range: coleta deteções incertas apenas para essa classe.
Os filtros de confiança examinam deteções individuais. Uma imagem com pontuações de 0.3 e 0.9 passa num intervalo de 0.25–0.5 porque uma deteção corresponde. Imagens sem deteções não passam por uma condição de confiança. Define o limite de confiança do modelo de predição baixo o suficiente para reter as deteções que queres avaliar.
Uma condição que não corresponde conclui sem saída a jusante. As suas ações conectadas não são executadas para essa imagem.
Coletar imagens para revisão#
Abre Collect Uncertain Detections, escolhe um dataset de origem e divisão, seleciona o teu deployment de predição e configura o intervalo de confiança. Seleciona um dataset de destino existente no bloco Dataset final. Cria um dataset a partir da Datasets page primeiro, se necessário.
O destino recebe as imagens originais, não rotuladas, na sua divisão train. Cópias existentes são ignoradas e aplicam-se as quotas normais de armazenamento de datasets. Os rótulos de origem e as predições do modelo não são copiados como anotações. Abre o destino no annotation editor existente para rever e rotular as imagens coletadas.
Usa imagens alojadas a que o teu workspace possa aceder e um dataset de destino que possas editar. Datasets de armazenamento em nuvem conectados e locais (on-premise) não podem ser utilizados como destinos de coleta.
Enviar alertas condicionais do Slack#
Connect Slack em Settings > Integrations, depois conecta uma condição a um bloco Slack. Insere a mensagem e usa {output} para incluir o resultado a montante. Capture and Alert também conecta essa mesma condição a um dataset, para que uma imagem correspondente seja coletada e uma mensagem seja enviada para o canal conectado.
As mensagens do Slack do fluxo de trabalho são configuradas no bloco. Elas são separadas das opções de notificação de treino, exportação e deployment em Settings.
Acompanhar o progresso e parar uma execução#
Os blocos ativos mostram um ícone de carregamento verde. Os blocos concluídos mostram uma marca de verificação verde e um contorno verde; os blocos que falharam mostram um contorno vermelho. As contagens mostram quais entradas alcançaram cada bloco, e os blocos a jusante permanecem não executados quando uma condição não corresponde.
Recarregar a página restaura o progresso da execução e o deployment de execução selecionado. Os resultados concluídos permanecem visíveis para o fluxo de trabalho correspondente. Clica em Stop para cancelar uma execução ativa; o cancelamento aguarda que o bloco em execução alcance um ponto de cancelamento. Parar ou eliminar o seu deployment de execução também cancela o fluxo de trabalho.
Resolução de problemas#
- Agents está em falta na barra lateral: ativa Early access em Settings > Profile pessoal.
- A execução excede os limites do teste compartilhado: seleciona um deployment dedicado, incluindo um deployment gratuito elegível, ou reduz a resolução da imagem, a contagem de entradas e as chamadas de modelo/fornecedor.
- O deployment está a preparar-se ou parado: espera que fique pronto ou inicia-o a partir de Deployments.
- Falta uma chave de fornecedor: connect the selected provider em Settings > API Keys. Em um workspace de equipe, pede ao proprietário do workspace para adicionar ou substituir a chave.
- Nenhuma imagem chega ao destino: inspeciona a condição e o limite de confiança da predição. Resultados de deteção vazios nunca satisfazem um intervalo de confiança.
- As imagens coletadas não têm rótulos: a coleta adiciona imagens originais para revisão. Usa as ferramentas de anotação existentes para as rotular.