Agentes#
Agents liga imagens, modelos, condições e ações num fluxo de trabalho visual. Usa YOLO para decidir quais imagens precisam de uma análise mais atenta, pede a um modelo de visão e linguagem que as explique ou reúne imagens selecionadas num conjunto de dados para revisão.
Abre Agents na barra lateral ou acede a platform.ultralytics.com/agents. Agents aparece na barra lateral para todos os utilizadores com sessão iniciada, em workspaces pessoais e de equipa, sem ser necessário ativar a opção de acesso antecipado.
Executa o teu primeiro fluxo de trabalho#
- Abre Agents, clica em Adicionar bloco > Modelos e escolhe YOLO → Monitor VLM.
- Seleciona o bloco Imagem de entrada, escolhe um conjunto de dados carregado e seleciona uma imagem que contenha uma pessoa. Para o teste partilhado, usa uma imagem com até 4 megapíxeis.
- Mantém o modelo nano YOLO26 predefinido. A condição é satisfeita quando YOLO deteta pelo menos uma pessoa.
- Seleciona Descrever a cena, escolhe um modelo de visão e linguagem e introduz um prompt. Se ainda não o fizeste, adiciona a chave do fornecedor correspondente em Definições > Chaves de API. Num workspace de equipa, pede ao proprietário do workspace que adicione ou substitua a chave do fornecedor.
- Mantém selecionada a opção Teste partilhado · 60 segundos para uma execução pequena e clica em Executar.
- Observa a atualização dos blocos e inspeciona a Saída. Se não for detetada nenhuma pessoa, a condição termina sem executar o ramo de descrição.
Podes executar um rascunho antes de o guardar. Usa Guardar fluxo de trabalho para dar um nome ao fluxo e guardá-lo para mais tarde; guarda-o novamente depois de fazer alterações. O botão Python mostra o código gerado para o fluxo de trabalho.
Começa com um modelo#
| Modelo | Fluxo de trabalho | Útil para |
|---|---|---|
| YOLO → Monitor VLM | Imagem → YOLO → condição → modelo de visão e linguagem → Saída | Descrever uma cena apenas quando uma pessoa é detetada |
| Recolher deteções incertas | Conjunto de dados → Implantação → condição de confiança → Conjunto de dados | Criar um conjunto de revisão com imagens cujas deteções são incertas |
| Capturar e alertar | Imagem → YOLO → condição → Conjunto de dados e Slack | Guardar uma imagem e notificar um canal com base na mesma condição |
Os modelos são pontos de partida editáveis. Antes de os executar, seleciona as imagens, a implantação, o conjunto de dados de destino e as integrações do teu workspace. Estes fluxos de trabalho são executados quando clicas em Executar; o modelo Monitor analisa a imagem de entrada selecionada.
Escolhe onde executar#
O seletor de execução ao lado de Executar escolhe o hardware para o fluxo de trabalho.
| Opção | Utilização | Limites e preços |
|---|---|---|
| Teste partilhado · 60 segundos | Experimentar um fluxo de trabalho pequeno | Até 60 segundos, 20 imagens de entrada no total, com até 4 megapíxeis cada, e 20 chamadas a modelos/fornecedores; um modelo YOLO local, utilizando um modelo nano YOLO26 oficial |
| Implantação dedicada existente | Conjuntos de dados maiores, execuções mais longas ou outros modelos locais | Utiliza o hardware e os preços existentes dessa implantação, incluindo uma implantação dedicada gratuita elegível; sem limite geral de duração do fluxo de trabalho ou de número de imagens |
| Nova implantação… | Criar hardware dedicado no construtor | Abre a janela existente de criação e preços de implantações; escolhe os recursos e aguarda até que a implantação esteja pronta |
Os testes partilhados permitem três execuções por minuto; as execuções numa implantação dedicada não têm limite de frequência. As execuções da Platform suportam até 20 blocos. As chamadas a modelos/fornecedores incluem YOLO, modelos de visão e linguagem, previsões de implantações e ações do Slack e de Webhook; a ramificação pode aumentar o número de chamadas por imagem de entrada.
As execuções dedicadas continuam em pedidos com pontos de verificação na implantação selecionada. Fechar ou recarregar o navegador não interrompe uma execução. Continuam a aplicar-se os limites da implantação existente e do fornecedor, e o fornecedor associado à tua chave cobra a utilização do modelo de linguagem. Consulta os preços das implantações para ver as opções de hardware.
Um bloco Implantação seleciona o endpoint utilizado numa etapa de previsão. O seletor de execução escolhe onde o próprio fluxo de trabalho é executado. Podes escolher a mesma implantação dedicada para ambos.
Configurar blocos#
| Bloco | Finalidade |
|---|---|
| Imagem | Carrega uma imagem ou um vídeo, amostrado em até 10 fotogramas por predefinição, ou seleciona uma imagem de um conjunto de dados carregado |
| Conjunto de dados sem ligação de entrada | Lê imagens de um conjunto de dados e de uma divisão selecionados, com um limite de entrada configurável |
| YOLO | Executa um modelo oficial ou um modelo treinado do workspace |
| Implantação | Faz previsões através de uma implantação existente e pronta da Platform |
| LLM | Envia a imagem e o contexto anterior para o modelo de linguagem ou de visão e linguagem selecionado |
| Gate | Controla a execução dos blocos seguintes com uma condição ou periodicidade |
| Conjunto de dados com uma ligação de entrada | Adiciona a imagem recebida a um conjunto de dados de destino |
| Slack | Envia uma mensagem para o canal do Slack ligado ao workspace |
| Webhook | Envia POST um corpo JSON para um endpoint HTTPS |
| Exportar | Exporta um modelo utilizando o fluxo de trabalho de exportação existente da Platform |
| Saída | Mostra o resultado do bloco anterior |
Seleciona um bloco para editar as respetivas definições. Liga uma saída a outro bloco para transmitir o resultado aos blocos seguintes. Uma saída pode ligar-se a vários blocos: por exemplo, liga uma condição tanto a um conjunto de dados de destino como ao Slack. Cada ramo utiliza a mesma condição avaliada.
Filtrar deteções com uma condição#
Usa o mesmo bloco Gate para contagens de deteções e filtros de confiança. Escolhe o resultado anterior, qualquer classe ou uma classe específica e uma comparação. Por exemplo:
- Contagem de pessoas ≥ 1: continua quando pelo menos uma pessoa é detetada.
- Confiança entre 0.25 e 0.5: continua quando pelo menos uma deteção correspondente se encontra nesse intervalo inclusivo.
- Uma classe específica num intervalo de confiança: recolhe apenas as deteções incertas dessa classe.
Os filtros de confiança analisam deteções individuais. Uma imagem com pontuações 0.3 e 0.9 passa num intervalo 0.25–0.5 porque uma deteção corresponde ao critério. Imagens sem deteções não passam numa condição de confiança. Define o limite de confiança do modelo de previsão suficientemente baixo para manter as deteções que queres avaliar.
Uma condição que não corresponde termina sem saída para os blocos seguintes. As ações ligadas não são executadas para essa imagem.
Recolher imagens para revisão#
Abre Recolher deteções incertas, escolhe um conjunto de dados de origem e uma divisão, seleciona a implementação de predição e configura o intervalo de confiança. Seleciona um conjunto de dados de destino existente no bloco final Conjunto de dados. Se necessário, cria primeiro um conjunto de dados na página Conjuntos de dados.
O destino recebe as imagens originais, sem rótulos, na divisão train. As cópias existentes são ignoradas e aplicam-se as quotas normais de armazenamento de conjuntos de dados. Os rótulos de origem e as predições do modelo não são copiados como anotações. Abre o destino no editor de anotações existente para rever e rotular as imagens recolhidas.
Usa imagens alojadas a que o teu espaço de trabalho tenha acesso e um conjunto de dados de destino que possas editar. Os conjuntos de dados ligados a armazenamento na nuvem e os conjuntos de dados no local não podem ser usados como destinos de recolha.
Enviar alertas condicionais para o Slack#
Liga o Slack em Definições > Integrações e, em seguida, liga uma condição a um bloco Slack. Introduz a mensagem e usa {output} para incluir o resultado a montante. Capturar e alertar também liga essa mesma condição a um conjunto de dados, para que uma imagem correspondente seja recolhida e uma mensagem enviada para o canal ligado.
As mensagens do Slack dos fluxos de trabalho são configuradas no bloco. São independentes das opções de notificação de treino, exportação e implementação nas Definições.
Enviar webhooks#
Um bloco Webhook envia um POST por resultado com Content-Type: application/json para um URL HTTPS público, pelo que qualquer serviço que aceite um pedido JSON pode receber o resultado de uma condição. Introduz o URL de destino e um corpo JSON com até 10 000 caracteres, incluindo {output} dentro de uma string, onde será substituído pelo resultado a montante; o bloco é terminal e não aceita ligações de saída. Os redirecionamentos não são seguidos, a ligação expira após 5 segundos e uma resposta que não seja 2xx faz o bloco falhar.
Acompanhar o progresso e parar uma execução#
Os blocos ativos mostram um indicador verde giratório. Os blocos concluídos mostram uma marca de verificação verde e um contorno verde; os blocos com falhas mostram um contorno vermelho. As contagens indicam quais as entradas que chegaram a cada bloco, e os blocos a jusante não são executados quando uma condição não corresponde.
Ao recarregar a página, o progresso da execução e a implementação de execução selecionada são restaurados. Os resultados concluídos permanecem visíveis para o fluxo de trabalho correspondente. Clica em Parar para cancelar uma execução ativa; o cancelamento aguarda que o bloco em execução chegue a um ponto de cancelamento. Parar ou eliminar a respetiva implementação de execução também cancela o fluxo de trabalho.
Gerir agentes com a API#
A API Agents lista, guarda e elimina agentes através de código, e o SDK Python expõe-na como client.agents em ultralytics-platform>=0.1.74. Uma gravação devolve os mesmos erros dos blocos que o quadro apresenta. As execuções continuam a ser iniciadas a partir do quadro: abre um agente guardado em https://platform.ultralytics.com/agents?workflow={id} e clica em Executar.
Solução de problemas#
- A execução excede os limites partilhados do período de avaliação: seleciona uma implementação dedicada, incluindo uma implementação gratuita elegível, ou reduz a resolução das imagens, o número de entradas e as chamadas ao modelo/provedor.
- A implementação está a ser preparada ou foi parada: aguarda até estar pronta ou inicia-a em Implementações.
- Falta uma chave de provedor: liga o provedor selecionado em Definições > Chaves API. Num espaço de trabalho de equipa, pede ao proprietário do espaço de trabalho que adicione ou substitua a chave.
- Nenhuma imagem chega ao destino: inspeciona a condição e o limite de confiança da predição. Os resultados de deteção vazios nunca satisfazem um intervalo de confiança.
- As imagens recolhidas não têm rótulos: a recolha adiciona imagens originais para revisão. Usa as ferramentas de anotação existentes para as rotular.