Agentes#
Agentes conecta imágenes, modelos, condiciones y acciones en un flujo de trabajo visual. Usa YOLO para decidir qué imágenes necesitan una revisión más detallada, pide a un modelo de visión y lenguaje que las explique o recopila imágenes seleccionadas en un conjunto de datos para revisarlas.
Abre Agentes en la barra lateral o ve a platform.ultralytics.com/agents. Agentes aparece en la barra lateral para todos los usuarios que hayan iniciado sesión, tanto en espacios de trabajo personales como de equipo, sin necesidad de activar el acceso anticipado.
Ejecuta tu primer flujo de trabajo#
- Abre Agentes, haz clic en Añadir bloque > Plantillas y selecciona YOLO → VLM Monitor.
- Selecciona el bloque Imagen de entrada, elige un conjunto de datos cargado y selecciona una imagen que contenga a una persona. Para la prueba compartida, usa una imagen de hasta 4 megapíxeles.
- Mantén el modelo nano YOLO26 predeterminado. La condición se cumple cuando YOLO detecta al menos a una persona.
- Selecciona Describe la escena, elige un modelo de visión y lenguaje e introduce una instrucción. Si aún no lo has hecho, añade la clave del proveedor correspondiente en Configuración > Claves de API. En un espacio de trabajo de equipo, pide al propietario del espacio que añada o sustituya la clave del proveedor.
- Mantén seleccionado Prueba compartida · 60 segundos para una ejecución pequeña y haz clic en Ejecutar.
- Observa cómo se actualizan los bloques y revisa la Salida. Si no se detecta ninguna persona, la condición termina sin ejecutar la rama de descripción.
Puedes ejecutar un borrador antes de guardarlo. Usa Guardar flujo de trabajo para asignarle un nombre y guardarlo para más adelante; vuelve a guardarlo después de hacer cambios. El botón Python muestra el código generado para el flujo de trabajo.
Empieza con una plantilla#
| Plantilla | Flujo de trabajo | Útil para |
|---|---|---|
| YOLO → VLM Monitor | Imagen → YOLO → condición → modelo de visión y lenguaje → Salida | Describir una escena solo cuando se detecta a una persona |
| Recopilar detecciones inciertas | Conjunto de datos → Implementación → condición de confianza → Conjunto de datos | Crear un conjunto de revisión a partir de imágenes con detecciones inciertas |
| Capturar y alertar | Imagen → YOLO → condición → Conjunto de datos y Slack | Guardar una imagen y enviar una notificación a un canal a partir de la misma condición |
Las plantillas son puntos de partida editables. Antes de ejecutarlas, selecciona las imágenes, la implementación, el conjunto de datos de destino y las integraciones de tu espacio de trabajo. Estos flujos de trabajo se ejecutan cuando haces clic en Ejecutar; la plantilla Monitor analiza la imagen de entrada seleccionada.
Elige dónde ejecutar#
El selector de ejecución situado junto a Ejecutar permite elegir el hardware para el flujo de trabajo.
| Opción | Úsalo para | Límites y precios |
|---|---|---|
| Prueba compartida · 60 segundos | Probar un flujo de trabajo pequeño | Hasta 60 segundos, 20 imágenes de entrada en total de hasta 4 megapíxeles cada una y 20 llamadas a modelos/proveedores; un modelo YOLO local, con un modelo nano YOLO26 oficial |
| Implementación dedicada existente | Conjuntos de datos más grandes, ejecuciones más largas u otros modelos locales | Usa el hardware y los precios de esa implementación, incluida una implementación dedicada gratuita que cumpla los requisitos; no hay un límite general de duración del flujo de trabajo ni de número de imágenes |
| Nueva implementación… | Crear hardware dedicado desde el generador | Abre el cuadro de diálogo existente para crear implementaciones y consultar los precios; elige los recursos y espera hasta que la implementación esté lista |
Las pruebas compartidas permiten tres ejecuciones por minuto; las ejecuciones en una implementación dedicada no tienen límite de frecuencia. Las ejecuciones en la plataforma admiten hasta 20 bloques. Las llamadas a modelos/proveedores incluyen YOLO, modelos de visión y lenguaje, predicciones de implementaciones y acciones de Slack y Webhook; la ramificación puede aumentar el número de llamadas por imagen de entrada.
Las ejecuciones dedicadas continúan mediante solicitudes con puntos de control en la implementación seleccionada. Cerrar o volver a cargar el navegador no detiene una ejecución. Siguen aplicándose los límites de las implementaciones existentes y de los proveedores, y el proveedor asociado a tu clave te cobra el uso de modelos de lenguaje. Consulta los precios de las implementaciones para ver las opciones de hardware.
Un bloque Implementación selecciona el punto de conexión que se usa para un paso de predicción. El selector de ejecución determina dónde se ejecuta el flujo de trabajo. Puedes elegir la misma implementación dedicada para ambas cosas.
Configura los bloques#
| Bloque | Finalidad |
|---|---|
| Imagen | Carga una imagen o un vídeo muestreado en hasta 10 fotogramas de forma predeterminada, o selecciona una imagen de un conjunto de datos cargado |
| Conjunto de datos sin conexión entrante | Lee imágenes de un conjunto de datos y una partición seleccionados, con un límite de entrada configurable |
| YOLO | Ejecuta un modelo oficial o un modelo entrenado del espacio de trabajo |
| Implementación | Realiza predicciones mediante una implementación existente y lista de Platform |
| LLM | Envía la imagen y el contexto previo al modelo de lenguaje o de visión y lenguaje seleccionado |
| Compuerta | Controla la ejecución posterior mediante una condición o una cadencia |
| Conjunto de datos con conexión entrante | Añade la imagen entrante a un conjunto de datos de destino |
| Slack | Envía un mensaje al canal de Slack conectado al espacio de trabajo |
| Webhook | POST un cuerpo JSON a un punto de conexión HTTPS |
| Exportar | Exporta un modelo mediante el flujo de trabajo de exportación existente de Platform |
| Salida | Muestra el resultado previo |
Selecciona un bloque para editar su configuración. Conecta una salida a otro bloque para pasarle el resultado. Una salida puede conectarse a varios bloques: por ejemplo, conecta una condición tanto a un conjunto de datos de destino como a Slack. Todas las ramas usan la misma condición evaluada.
Filtra las detecciones con una condición#
Usa el mismo bloque Compuerta para filtrar recuentos de detecciones y niveles de confianza. Elige el resultado previo, cualquier clase o una clase concreta y una comparación. Por ejemplo:
- Recuento de personas ≥ 1: continúa cuando se detecte al menos a una persona.
- Confianza entre 0,25 y 0,5: continúa cuando al menos una detección coincidente se encuentre dentro de ese intervalo, incluidos sus extremos.
- Una clase concreta dentro de un intervalo de confianza: recopila detecciones inciertas solo de esa clase.
Los filtros de confianza examinan las detecciones individuales. Una imagen con puntuaciones de 0.3 y 0.9 cumple un intervalo 0.25–0.5 porque una detección coincide. Las imágenes sin detecciones no cumplen una condición de confianza. Establece un umbral de confianza lo suficientemente bajo en el modelo de predicción para conservar las detecciones que quieras evaluar.
Si una condición no se cumple, la ejecución termina sin generar resultados posteriores. Las acciones conectadas no se ejecutan para esa imagen.
Recopila imágenes para revisarlas#
Abre Recopilar detecciones inciertas, elige un conjunto de datos de origen y una partición, selecciona tu implementación de predicción y configura el intervalo de confianza. Selecciona un conjunto de datos de destino existente en el bloque Conjunto de datos final. Si es necesario, crea primero un conjunto de datos desde la página Conjuntos de datos.
El destino recibe las imágenes originales sin etiquetar en su partición train. Se omiten las copias existentes y se aplican las cuotas de almacenamiento habituales de los conjuntos de datos. Las etiquetas de origen y las predicciones del modelo no se copian como anotaciones. Abre el destino en el editor de anotaciones existente para revisar y etiquetar las imágenes recopiladas.
Usa imágenes alojadas a las que pueda acceder tu espacio de trabajo y un conjunto de datos de destino que puedas editar. Los conjuntos de datos conectados a almacenamiento en la nube o locales no se pueden usar como destinos de recopilación.
Envía alertas condicionales a Slack#
Conecta Slack en Configuración > Integraciones y, después, conecta una condición a un bloque Slack. Introduce el mensaje y usa {output} para incluir el resultado previo. Capturar y alertar también conecta esa misma condición a un conjunto de datos, de modo que se recopila la imagen coincidente y se envía un mensaje al canal conectado.
Los mensajes de Slack del flujo de trabajo se configuran en el bloque. Son independientes de las opciones de notificación de entrenamiento, exportación e implementación de Configuración.
Envía webhooks#
Un bloque Webhook envía un POST por resultado con Content-Type: application/json a una URL HTTPS pública, de modo que cualquier servicio que acepte una solicitud JSON puede recibir el resultado de una condición. Introduce la URL de destino y un cuerpo JSON de hasta 10 000 caracteres con {output} dentro de una cadena, donde se sustituye por el resultado previo; el bloque es terminal y no admite conexiones salientes. No se siguen las redirecciones, la conexión agota el tiempo de espera tras 5 segundos y cualquier respuesta que no sea 2xx hace que el bloque falle.
Sigue el progreso y detén una ejecución#
Los bloques activos muestran un indicador giratorio verde. Los bloques completados muestran una marca verde y un contorno verde; los bloques que han fallado muestran un contorno rojo. Los recuentos indican qué entradas han llegado a cada bloque, y los bloques posteriores no se ejecutan cuando una condición no se cumple.
Al volver a cargar la página, se restaura el progreso de la ejecución y la implementación de ejecución seleccionada. Los resultados completados siguen visibles para el flujo de trabajo correspondiente. Haz clic en Detener para cancelar una ejecución activa; la cancelación espera a que el bloque en ejecución llegue a un punto de cancelación. Detener o eliminar la implementación de ejecución también cancela el flujo de trabajo.
Solución de problemas#
- La ejecución supera los límites de la prueba compartida: selecciona una implementación dedicada, incluida una implementación gratuita que cumpla los requisitos, o reduce la resolución de las imágenes, el número de entradas y las llamadas a modelos/proveedores.
- La implementación se está preparando o está detenida: espera a que esté lista o iníciala desde Implementaciones.
- Falta una clave de proveedor: conecta el proveedor seleccionado en Configuración > Claves de API. En un espacio de trabajo de equipo, pide al propietario del espacio que añada o sustituya la clave.
- No llegan imágenes al destino: revisa la condición y el umbral de confianza de la predicción. Los resultados de detección vacíos nunca cumplen un intervalo de confianza.
- Las imágenes recopiladas no tienen etiquetas: la recopilación añade imágenes originales para revisarlas. Usa las herramientas de anotación existentes para etiquetarlas.