Agentes#
Agents conecta imágenes, modelos, condiciones y acciones en un flujo de trabajo visual. Usa YOLO para decidir qué imágenes necesitan un análisis más detallado, pide a un modelo de visión y lenguaje que las explique o recopila imágenes seleccionadas en un conjunto de datos para revisarlas.
Abre Agents en la barra lateral o ve a platform.ultralytics.com/agents. Agents aparece en la barra lateral para todas las personas que hayan iniciado sesión, tanto en espacios de trabajo personales como de equipo, sin necesidad de activar el acceso anticipado.
Ejecuta tu primer flujo de trabajo#
- Abre Agents, haz clic en Añadir bloque > Plantillas y elige YOLO → Monitor VLM.
- Selecciona el bloque Imagen de entrada, elige un conjunto de datos subido y selecciona una imagen que contenga una persona. Para la prueba compartida, usa una imagen de hasta 4 megapíxeles.
- Mantén el modelo nano YOLO26 predeterminado. La condición se cumple cuando YOLO detecta al menos una persona.
- Selecciona Describir la escena, elige un modelo de visión y lenguaje e introduce una instrucción. Si aún no lo has hecho, añade la clave del proveedor correspondiente en Configuración > Claves de API. En un espacio de trabajo de equipo, pide a su propietario que añada o sustituya la clave del proveedor.
- Deja seleccionada la opción Prueba compartida · 60 segundos para una ejecución breve y haz clic en Ejecutar.
- Observa cómo se actualizan los bloques e inspecciona la Salida. Si no se detecta ninguna persona, la condición termina sin ejecutar la rama de descripción.
Puedes ejecutar un borrador antes de guardarlo. Usa Guardar flujo de trabajo para ponerle nombre y guardarlo para más adelante; vuelve a guardarlo después de hacer cambios. El botón Python muestra el código generado para el flujo de trabajo.
Empieza con una plantilla#
| Plantilla | Flujo de trabajo | Útil para |
|---|---|---|
| YOLO → Monitor VLM | Imagen → YOLO → condición → modelo de visión y lenguaje → Salida | Describir una escena solo cuando se detecta una persona |
| Recopilar detecciones inciertas | Conjunto de datos → Despliegue → condición de confianza → Conjunto de datos | Crear un conjunto de revisión a partir de imágenes con detecciones inciertas |
| Capturar y alertar | Imagen → YOLO → condición → Conjunto de datos y Slack | Guardar una imagen y notificar a un canal a partir de la misma condición |
Las plantillas son puntos de partida editables. Antes de ejecutarlas, selecciona las imágenes, el despliegue, el conjunto de datos de destino y las integraciones para tu espacio de trabajo. Estos flujos de trabajo se ejecutan al hacer clic en Ejecutar; la plantilla Monitor analiza la imagen de entrada seleccionada.
Elige dónde ejecutar#
El selector de ejecución, junto a Ejecutar, permite elegir el hardware para el flujo de trabajo.
| Opción | Úsala para | Límites y precios |
|---|---|---|
| Prueba compartida · 60 segundos | Probar un flujo de trabajo pequeño | Hasta 60 segundos, 20 imágenes de entrada en total de hasta 4 megapíxeles cada una y 20 llamadas a modelos o proveedores; un modelo YOLO local, con un modelo nano YOLO26 oficial |
| Despliegue dedicado existente | Conjuntos de datos más grandes, ejecuciones más largas u otros modelos locales | Usa el hardware y los precios actuales de ese despliegue, incluido un despliegue dedicado gratuito si cumple los requisitos; no hay límite general de duración del flujo de trabajo ni de cantidad de imágenes |
| Nuevo despliegue… | Crear hardware dedicado desde el generador | Abre el cuadro de diálogo existente para crear un despliegue y consultar los precios; elige los recursos y espera a que el despliegue esté listo |
Las pruebas compartidas permiten tres ejecuciones por minuto; las ejecuciones en un despliegue dedicado no tienen límite de frecuencia. Las ejecuciones de Platform admiten hasta 20 bloques. Las llamadas a modelos o proveedores incluyen YOLO, modelos de visión y lenguaje, predicciones de despliegue y acciones de Slack y Webhook; las ramificaciones pueden aumentar el número de llamadas por imagen de entrada.
Las ejecuciones dedicadas continúan en solicitudes con puntos de control en el despliegue seleccionado. Cerrar o volver a cargar el navegador no detiene una ejecución. Siguen aplicándose los límites del despliegue existente y del proveedor, y el proveedor asociado a tu clave factura el uso del modelo de lenguaje. Consulta los precios de los despliegues para ver las opciones de hardware.
Un bloque Despliegue selecciona el endpoint que se usa en un paso de predicción. El selector de ejecución elige dónde se ejecuta el propio flujo de trabajo. Puedes elegir el mismo despliegue dedicado para ambos.
Configura los bloques#
| Bloque | Finalidad |
|---|---|
| Imagen | Sube una imagen o un vídeo del que se extraerán hasta 10 fotogramas de forma predeterminada, o selecciona una imagen de un conjunto de datos subido |
| Conjunto de datos sin conexión entrante | Lee imágenes de un conjunto de datos y una división seleccionados, con un límite de entrada configurable |
| YOLO | Ejecuta un modelo oficial o un modelo entrenado del espacio de trabajo |
| Despliegue | Haz predicciones mediante un despliegue existente y listo de Platform |
| LLM | Envía la imagen y el contexto anterior al modelo de lenguaje o de visión y lenguaje seleccionado |
| Puerta | Controla la ejecución de los bloques posteriores mediante una condición o una frecuencia |
| Conjunto de datos con conexión entrante | Añade la imagen entrante a un conjunto de datos de destino |
| Slack | Envía un mensaje al canal de Slack conectado al espacio de trabajo |
| Webhook | POST un cuerpo JSON a un endpoint HTTPS |
| Exportar | Exporta un modelo mediante el flujo de exportación existente de Platform |
| Salida | Muestra el resultado del bloque anterior |
Selecciona un bloque para editar su configuración. Conecta una salida a otro bloque para pasarle el resultado. Una salida puede conectarse a varios bloques: por ejemplo, conecta una condición tanto a un conjunto de datos de destino como a Slack. Cada rama utiliza la misma condición evaluada.
Filtra detecciones con una condición#
Usa el mismo bloque Puerta para filtrar por cantidad de detecciones y por confianza. Elige el resultado anterior, cualquier clase o una clase concreta y una comparación. Por ejemplo:
- Cantidad de personas ≥ 1: continúa cuando se detecte al menos una persona.
- Confianza entre 0.25 y 0.5: continúa cuando al menos una detección coincidente esté dentro de ese intervalo, incluidos los límites.
- Una clase concreta dentro de un intervalo de confianza: recopila únicamente las detecciones inciertas de esa clase.
Los filtros de confianza examinan detecciones individuales. Una imagen con puntuaciones 0.3 y 0.9 cumple un intervalo 0.25–0.5 porque una detección coincide. Las imágenes sin detecciones no cumplen una condición de confianza. Establece un umbral de confianza suficientemente bajo para el modelo de predicción para conservar las detecciones que quieras evaluar.
Si una condición no se cumple, la ejecución termina sin generar resultados posteriores. Las acciones conectadas no se ejecutan para esa imagen.
Recopilar imágenes para revisar#
Abre Collect Uncertain Detections, elige un conjunto de datos de origen y una división, selecciona tu implementación de predicción y configura el intervalo de confianza. Selecciona un conjunto de datos de destino existente en el bloque final Dataset. Si lo necesitas, crea primero un conjunto de datos desde la página Datasets.
El destino recibe las imágenes originales, sin etiquetar, en su división train. Se omiten las copias existentes y se aplican las cuotas de almacenamiento habituales de los conjuntos de datos. Las etiquetas de origen y las predicciones del modelo no se copian como anotaciones. Abre el destino en el editor de anotaciones existente para revisar y etiquetar las imágenes recopiladas.
Usa imágenes alojadas a las que pueda acceder tu espacio de trabajo y un conjunto de datos de destino que puedas editar. Los conjuntos de datos conectados a almacenamiento en la nube y los locales no se pueden usar como destinos de recopilación.
Enviar alertas condicionales de Slack#
Conecta Slack en Settings > Integrations y, a continuación, conecta una condición a un bloque Slack. Escribe el mensaje y usa {output} para incluir el resultado anterior. Capture and Alert también conecta esa misma condición a un conjunto de datos, de modo que se recopila una imagen que cumpla las condiciones y se envía un mensaje al canal conectado.
Los mensajes de Slack del flujo de trabajo se configuran en el bloque. Son independientes de las opciones de notificación de entrenamiento, exportación e implementación de Settings.
Enviar webhooks#
Un bloque Webhook envía un POST por resultado con Content-Type: application/json a una URL HTTPS pública, por lo que cualquier servicio que acepte una solicitud JSON puede recibir el resultado de una condición. Introduce la URL de destino y un cuerpo JSON de hasta 10 000 caracteres con {output} dentro de una cadena, que se sustituirá por el resultado anterior; el bloque es terminal y no acepta conexiones salientes. No se siguen las redirecciones, la conexión agota el tiempo de espera tras 5 segundos y una respuesta que no sea 2xx hace que falle el bloque.
Seguir el progreso y detener una ejecución#
Los bloques activos muestran un indicador giratorio verde. Los bloques completados muestran una marca verde y un contorno verde; los bloques fallidos muestran un contorno rojo. Los contadores indican qué entradas han llegado a cada bloque, y los bloques posteriores no se ejecutan cuando una condición no se cumple.
Al volver a cargar la página, se restauran el progreso de la ejecución y la implementación de ejecución seleccionada. Los resultados completados siguen visibles para el flujo de trabajo correspondiente. Haz clic en Stop para cancelar una ejecución activa; la cancelación espera a que el bloque en ejecución llegue a un punto en el que pueda cancelarse. Detener o eliminar su implementación de ejecución también cancela el flujo de trabajo.
Gestionar agentes con la API#
La API de Agents muestra, guarda y elimina agentes desde el código, y el SDK de Python la ofrece como client.agents en ultralytics-platform>=0.1.74. Al guardar, se devuelven los mismos errores de bloque que muestra el lienzo. Las ejecuciones siguen iniciándose desde el lienzo: abre un agente guardado en https://platform.ultralytics.com/agents?workflow={id} y haz clic en Run.
Solución de problemas#
- La ejecución supera los límites de prueba compartidos: selecciona una implementación dedicada, incluida una implementación gratuita que cumpla los requisitos, o reduce la resolución de las imágenes, el número de entradas y las llamadas al modelo o al proveedor.
- La implementación se está preparando o está detenida: espera a que esté lista o iníciala desde Deployments.
- Falta una clave del proveedor: conecta el proveedor seleccionado en Settings > API Keys. En un espacio de trabajo de equipo, pide al propietario del espacio de trabajo que añada o sustituya la clave.
- No llegan imágenes al destino: revisa la condición y el umbral de confianza de las predicciones. Los resultados de detección vacíos nunca cumplen un intervalo de confianza.
- Las imágenes recopiladas no tienen etiquetas: la recopilación añade imágenes originales para que las revises. Usa las herramientas de anotación existentes para etiquetarlas.