Agentes#
Agentes conecta imagens, modelos, condições e ações em um fluxo de trabalho visual. Use YOLO para decidir quais imagens precisam de uma análise mais detalhada, peça a um modelo de visão e linguagem que as explique ou reúna imagens selecionadas em um conjunto de dados para revisão.
Abra Agentes na barra lateral ou acesse platform.ultralytics.com/agents. Agentes aparece na barra lateral para todos os usuários conectados, em espaços de trabalho pessoais e de equipe, sem precisar ativar a configuração de acesso antecipado.
Execute seu primeiro fluxo de trabalho#
- Abra Agentes, clique em Adicionar bloco > Modelos e escolha YOLO → Monitoramento com VLM.
- Selecione o bloco Imagem de entrada, escolha um conjunto de dados carregado e selecione uma imagem que contenha uma pessoa. Para o teste compartilhado, use uma imagem de até 4 megapixels.
- Mantenha o modelo nano YOLO26 padrão. A condição é atendida quando o YOLO detecta pelo menos uma pessoa.
- Selecione Descrever a cena, escolha um modelo de visão e linguagem e insira um prompt. Se ainda não tiver feito isso, adicione a chave do provedor correspondente em Configurações > Chaves de API. Em um espaço de trabalho de equipe, peça ao proprietário do espaço de trabalho que adicione ou substitua a chave do provedor.
- Mantenha Teste compartilhado · 60 segundos selecionado para uma execução pequena e clique em Executar.
- Observe os blocos serem atualizados e confira a Saída. Se nenhuma pessoa for detectada, a condição será concluída sem executar o ramo de descrição.
Você pode executar um rascunho antes de salvá-lo. Use Salvar fluxo de trabalho para dar um nome e salvar um fluxo de trabalho para usar depois; salve novamente após fazer alterações. O botão Python mostra o código gerado para o fluxo de trabalho.
Comece com um modelo#
| Modelo | Fluxo de trabalho | Ideal para |
|---|---|---|
| YOLO → Monitoramento com VLM | Imagem → YOLO → condição → modelo de visão e linguagem → Saída | Descrever uma cena somente quando uma pessoa for detectada |
| Coletar detecções incertas | Conjunto de dados → Implantação → condição de confiança → Conjunto de dados | Criar um conjunto para revisão a partir de imagens com detecções incertas |
| Capturar e alertar | Imagem → YOLO → condição → Conjunto de dados e Slack | Salvar uma imagem e notificar um canal com base na mesma condição |
Os modelos são pontos de partida editáveis. Antes de executá-los, selecione as imagens, a implantação, o conjunto de dados de destino e as integrações do seu espaço de trabalho. Esses fluxos de trabalho são executados quando você clica em Executar; o modelo de monitoramento analisa a imagem de entrada selecionada.
Escolha onde executar#
O seletor de execução ao lado de Executar escolhe o hardware usado pelo fluxo de trabalho.
| Opção | Use para | Limites e preços |
|---|---|---|
| Teste compartilhado · 60 segundos | Testar um fluxo de trabalho pequeno | Até 60 segundos, 20 imagens de entrada no total, com até 4 megapixels cada, e 20 chamadas de modelo/provedor; um modelo YOLO local, usando um modelo nano oficial do YOLO26 |
| Implantação dedicada existente | Conjuntos de dados maiores, execuções mais longas ou outros modelos locais | Usa o hardware e os preços existentes dessa implantação, incluindo uma implantação dedicada gratuita elegível; sem limite geral de duração do fluxo de trabalho ou de quantidade de imagens |
| Nova implantação… | Criar hardware dedicado no construtor | Abre a caixa de diálogo existente de criação de implantação e preços; escolha os recursos e aguarde até que a implantação esteja pronta |
Os testes compartilhados permitem três execuções por minuto; as execuções em uma implantação dedicada não têm limite de frequência. As execuções na plataforma aceitam até 20 blocos. As chamadas de modelo/provedor incluem YOLO, modelos de visão e linguagem, previsões de implantação e ações de Slack e Webhook; ramificações podem aumentar o número de chamadas por imagem de entrada.
As execuções dedicadas continuam em solicitações com pontos de verificação na implantação selecionada. Fechar ou recarregar o navegador não interrompe uma execução. Os limites existentes da implantação e do provedor continuam valendo, e o uso de modelos de linguagem é cobrado pelo provedor associado à sua chave. Consulte os preços de implantação para ver as opções de hardware.
Um bloco Implantação seleciona o endpoint usado em uma etapa de previsão. O seletor de execução determina onde o próprio fluxo de trabalho é executado. Você pode escolher a mesma implantação dedicada para ambos.
Configurar blocos#
| Bloco | Finalidade |
|---|---|
| Imagem | Carregue uma imagem ou um vídeo amostrado em até 10 quadros por padrão, ou selecione uma imagem de um conjunto de dados carregado |
| Conjunto de dados sem conexão de entrada | Leia imagens de um conjunto de dados e de uma divisão selecionados, com um limite de entrada configurável |
| YOLO | Execute um modelo oficial ou um modelo treinado do espaço de trabalho |
| Implantação | Faça previsões por meio de uma implantação pronta da Platform |
| LLM | Envie a imagem e o contexto anterior para o modelo de linguagem ou de visão e linguagem selecionado |
| Porta | Controle a execução dos blocos seguintes com uma condição ou periodicidade |
| Conjunto de dados com uma conexão de entrada | Adicione a imagem recebida a um conjunto de dados de destino |
| Slack | Envie uma mensagem para o canal conectado do Slack do espaço de trabalho |
| Webhook | POST um corpo JSON para um endpoint HTTPS |
| Exportar | Exporte um modelo usando o fluxo de trabalho de exportação existente da Platform |
| Saída | Exiba o resultado do bloco anterior |
Selecione um bloco para editar suas configurações. Conecte uma saída a outro bloco para encaminhar o resultado. Uma saída pode se conectar a vários blocos: por exemplo, conecte uma condição tanto a um conjunto de dados de destino quanto ao Slack. Cada ramo usa a mesma condição avaliada.
Filtrar detecções com uma condição#
Use o mesmo bloco Porta para contagens de detecções e filtros de confiança. Escolha o resultado anterior, qualquer classe ou uma classe específica e uma comparação. Por exemplo:
- Contagem de pessoas ≥ 1: continue quando pelo menos uma pessoa for detectada.
- Confiança entre 0.25 e 0.5: continue quando pelo menos uma detecção correspondente estiver dentro desse intervalo, inclusive.
- Uma classe específica em um intervalo de confiança: colete detecções incertas somente dessa classe.
Os filtros de confiança analisam detecções individuais. Uma imagem com pontuações de 0.3 e 0.9 atende a um intervalo 0.25–0.5 porque uma das detecções corresponde. Imagens sem detecções não atendem a uma condição de confiança. Defina o limite de confiança do modelo de previsão baixo o suficiente para manter as detecções que você quer avaliar.
Uma condição que não corresponde é concluída sem saída para os blocos seguintes. As ações conectadas não são executadas para essa imagem.
Coletar imagens para revisão#
Abra Coletar detecções incertas, escolha um conjunto de dados de origem e uma divisão, selecione sua implantação de previsão e configure o intervalo de confiança. Selecione um conjunto de dados de destino existente no bloco final Conjunto de dados. Se necessário, crie primeiro um conjunto de dados na página Conjuntos de dados.
O destino recebe as imagens originais, sem rótulos, na divisão train. Cópias existentes são ignoradas, e as cotas normais de armazenamento de conjuntos de dados se aplicam. Os rótulos de origem e as previsões do modelo não são copiados como anotações. Abra o destino no editor de anotação existente para revisar e rotular as imagens coletadas.
Use imagens hospedadas às quais seu espaço de trabalho tenha acesso e um conjunto de dados de destino que você possa editar. Conjuntos de dados conectados a armazenamento na nuvem e locais não podem ser usados como destinos da coleta.
Enviar alertas condicionais do Slack#
Conecte o Slack em Configurações > Integrações e, em seguida, conecte uma condição a um bloco Slack. Insira a mensagem e use {output} para incluir o resultado do bloco anterior. Capturar e alertar também conecta essa mesma condição a um conjunto de dados, para que uma imagem correspondente seja coletada e uma mensagem seja enviada ao canal conectado.
As mensagens do Slack do fluxo de trabalho são configuradas no bloco. Elas são independentes das opções de notificação de treinamento, exportação e implantação em Configurações.
Enviar webhooks#
Um bloco Webhook envia um POST por resultado com Content-Type: application/json para uma URL HTTPS pública, de modo que qualquer serviço que aceite uma solicitação JSON possa receber o resultado de uma condição. Insira a URL de destino e um corpo JSON de até 10.000 caracteres com {output} dentro de uma string, onde ele será substituído pelo resultado do bloco anterior; o bloco é terminal e não aceita conexões de saída. Os redirecionamentos não são seguidos, a conexão expira após 5 segundos e uma resposta diferente de 2xx faz o bloco falhar.
Acompanhar o progresso e interromper uma execução#
Os blocos ativos exibem um indicador giratório verde. Os blocos concluídos exibem uma marca de verificação verde e um contorno verde; os blocos com falha exibem um contorno vermelho. As contagens mostram quais entradas chegaram a cada bloco, e os blocos seguintes permanecem sem execução quando uma condição não corresponde.
Ao recarregar a página, o progresso da execução e a implantação de execução selecionada são restaurados. Os resultados concluídos permanecem visíveis para o fluxo de trabalho correspondente. Clique em Parar para cancelar uma execução ativa; o cancelamento aguarda até que o bloco em execução alcance um ponto de cancelamento. Parar ou excluir a implantação de execução também cancela o fluxo de trabalho.
Resolução de problemas#
- A execução excede os limites do teste compartilhado: selecione uma implantação dedicada, incluindo uma implantação gratuita elegível, ou reduza a resolução das imagens, a quantidade de entradas e as chamadas de modelo/provedor.
- A implantação está sendo preparada ou foi interrompida: aguarde até que esteja pronta ou inicie-a em Implantações.
- Falta uma chave de provedor: conecte o provedor selecionado em Configurações > Chaves de API. Em um espaço de trabalho de equipe, peça ao proprietário do espaço de trabalho para adicionar ou substituir a chave.
- Nenhuma imagem chega ao destino: verifique a condição e o limite de confiança da previsão. Resultados de detecção vazios nunca atendem a um intervalo de confiança.
- As imagens coletadas não têm rótulos: a coleta adiciona imagens originais para revisão. Use as ferramentas de anotação existentes para rotulá-las.