Agentes#
Agents conecta imágenes, modelos, condiciones y acciones en un flujo de trabajo visual. Utiliza YOLO para decidir qué imágenes necesitan una inspección más detallada, pide a un modelo de visión y lenguaje que las explique o recopila imágenes seleccionadas en un conjunto de datos para su revisión.
Cambia a tu espacio de trabajo personal utilizando el selector de espacios de trabajo de la barra lateral y activa Early access en Settings > Profile. A continuación, abre Agents en la barra lateral o ve a platform.ultralytics.com/agents. El acceso anticipado es una preferencia personal, incluso cuando trabajas en un espacio de trabajo de equipo.
Ejecuta tu primer flujo de trabajo#
- Abre Agents, haz clic en Add block > Templates y elige YOLO → VLM Monitor.
- Selecciona el bloque Input image, elige un conjunto de datos subido y selecciona una imagen que contenga una persona. Utiliza una imagen de hasta 4 megapíxeles para la prueba compartida.
- Mantén el modelo YOLO26 nano predeterminado. La condición se cumple cuando YOLO detecta al menos una persona.
- Selecciona Describe the scene, elige un modelo de visión y lenguaje e introduce un mensaje. Add the matching provider key en Settings > API Keys si aún no lo has hecho. En un espacio de trabajo de equipo, pide al propietario del espacio de trabajo que añada o reemplace la clave del proveedor.
- Mantén seleccionado Shared trial · 60 seconds para una ejecución pequeña y, a continuación, haz clic en Run.
- Observa cómo se actualizan los bloques e inspecciona el resultado en Output. Si no se detecta ninguna persona, la condición finaliza sin ejecutar la rama de descripción.
Puedes ejecutar un borrador antes de guardarlo. Utiliza Save workflow para nombrar y guardar un flujo de trabajo para más tarde, y vuelve a guardarlo después de realizar cambios. El botón Python muestra el código del flujo de trabajo generado.
Comienza con una plantilla#
| Plantilla | Flujo de trabajo | Útil para |
|---|---|---|
| YOLO → VLM Monitor | Imagen → YOLO → condición → modelo de visión y lenguaje → Output | Describir una escena solo cuando se detecta una persona |
| Collect Uncertain Detections | Conjunto de datos → Despliegue → condición de confianza → Conjunto de datos | Creación de un conjunto de revisión a partir de imágenes con detecciones inciertas |
| Capture and Alert | Imagen → YOLO → condición → Conjunto de datos y Slack | Guardar una imagen y notificar a un canal desde la misma condición |
Las plantillas son puntos de partida editables. Selecciona las imágenes, el despliegue, el conjunto de datos de destino y las integraciones para tu espacio de trabajo antes de ejecutarlas. Estos flujos de trabajo se ejecutan cuando haces clic en Run; la plantilla Monitor analiza la imagen de entrada seleccionada.
Elige dónde ejecutar#
El selector de ejecución situado junto a Run elige el hardware para el flujo de trabajo.
| Opción | Utilízalo para | Límites y precios |
|---|---|---|
| Shared trial · 60 seconds | Probar un flujo de trabajo pequeño | Hasta 60 segundos, un total de 20 imágenes de entrada de hasta 4 megapíxeles cada una y 20 llamadas a modelos/proveedores; un modelo YOLO local, utilizando un modelo oficial YOLO26 nano |
| Existing dedicated deployment | Conjuntos de datos más grandes, ejecuciones más largas u otros modelos locales | Utiliza el hardware y los precios existentes de ese despliegue, incluido un despliegue dedicado gratuito elegible; sin límite general de duración del flujo de trabajo o recuento de imágenes |
| New deployment… | Creación de hardware dedicado desde el creador | Abre el diálogo de creación y precios de despliegues existentes; elige los recursos y espera hasta que el despliegue esté listo |
Las pruebas compartidas permiten dos envíos cada cinco minutos. Las ejecuciones de la plataforma admiten hasta 20 bloques. Las llamadas a modelos/proveedores incluyen YOLO, modelos de visión y lenguaje, predicciones de despliegue y acciones de Slack; la ramificación puede aumentar el número de llamadas por imagen de entrada.
Las ejecuciones dedicadas continúan en solicitudes guardadas en puntos de control en el despliegue seleccionado. Cerrar o recargar el navegador no detiene una ejecución. Los límites de despliegue existentes y los límites de los proveedores siguen aplicándose, y el uso del modelo de lenguaje se factura a través del proveedor asociado con tu clave. Consulta deployment pricing para conocer las opciones de hardware.
Un bloque Deployment selecciona el punto de conexión utilizado para un paso de predicción. El selector de ejecución elige dónde se ejecuta el propio flujo de trabajo. Puedes elegir el mismo despliegue dedicado para ambos.
Configurar bloques#
| Bloque | Finalidad |
|---|---|
| Imagen | Selecciona una imagen de un conjunto de datos subido |
| Dataset sin una conexión entrante | Lee imágenes de un conjunto de datos y división seleccionados, con un límite de entrada configurable |
| YOLO | Ejecuta un modelo oficial o un modelo entrenado del espacio de trabajo |
| Deployment | Predice a través de un despliegue de plataforma existente y listo |
| LLM | Envía la imagen y el contexto ascendente al modelo de lenguaje o de visión y lenguaje seleccionado |
| Gate | Controla la ejecución descendente con una condición o cadencia |
| Dataset con una conexión entrante | Añade la imagen entrante a un conjunto de datos de destino |
| Slack | Envía un mensaje al canal de Slack conectado del espacio de trabajo |
| Exportar | Exporta un modelo utilizando el flujo de trabajo de exportación existente de la plataforma |
| Output | Muestra el resultado ascendente |
Selecciona un bloque para editar su configuración. Conecta una salida a otro bloque para pasar su resultado hacia abajo. Una salida se puede conectar a varios bloques: por ejemplo, conecta una condición tanto a un conjunto de datos de destino como a Slack. Cada rama utiliza la misma condición evaluada.
Filtrar detecciones con una condición#
Utiliza el mismo bloque Gate para los recuentos de detecciones y los filtros de confianza. Elige el resultado ascendente, cualquier clase o una clase específica, y una comparación. Por ejemplo:
- Person count ≥ 1: continúa cuando se detecta al menos una persona.
- Confidence between 0.25 and 0.5: continúa cuando al menos una detección coincidente se encuentra dentro de ese rango inclusivo.
- A specific class in a confidence range: recopila detecciones inciertas solo para esa clase.
Los filtros de confianza examinan las detecciones individuales. Una imagen con puntuaciones de 0.3 y 0.9 pasa un rango de 0.25–0.5 porque una detección coincide. Las imágenes sin detecciones no pasan una condición de confianza. Establece el límite de confianza del modelo de predicción lo suficientemente bajo como para conservar las detecciones que deseas evaluar.
Una condición que no coincide se completa sin salida descendente. Sus acciones conectadas no se ejecutan para esa imagen.
Recopilar imágenes para su revisión#
Abre Collect Uncertain Detections, elige un conjunto de datos de origen y una división, selecciona tu despliegue de predicción y configura el rango de confianza. Selecciona un conjunto de datos de destino existente en el bloque final Dataset. Crea un conjunto de datos desde la Datasets page primero si es necesario.
El destino recibe las imágenes originales, sin etiquetar, en su división train. Las copias existentes se omiten y se aplican las cuotas normales de almacenamiento de conjuntos de datos. Las etiquetas de origen y las predicciones del modelo no se copian como anotaciones. Abre el destino en el annotation editor existente para revisar y etiquetar las imágenes recopiladas.
Utiliza imágenes alojadas a las que tu espacio de trabajo pueda acceder y un conjunto de datos de destino que puedas editar. Los conjuntos de datos de almacenamiento en la nube y locales conectados no se pueden utilizar como destinos de recopilación.
Enviar alertas condicionales de Slack#
Connect Slack en Settings > Integrations, luego conecta una condición a un bloque Slack. Introduce el mensaje y utiliza {output} para incluir el resultado ascendente. Capture and Alert también conecta esa misma condición a un conjunto de datos, por lo que se recopila una imagen coincidente y se envía un mensaje al canal conectado.
Los mensajes de Slack de los flujos de trabajo se configuran en el bloque. Son independientes de las opciones de notificación de entrenamiento, exportación y despliegue en Configuración.
Seguir el progreso y detener una ejecución#
Los bloques activos muestran un icono de carga verde. Los bloques completados muestran una marca de verificación verde y un contorno verde; los bloques con errores muestran un contorno rojo. Los recuentos muestran qué entradas han llegado a cada bloque, y los bloques descendentes permanecen sin ejecutar cuando una condición no coincide.
Recargar la página restaura el progreso de la ejecución y el despliegue de ejecución seleccionado. Los resultados completados permanecen visibles para el flujo de trabajo correspondiente. Haz clic en Stop para cancelar una ejecución activa; la cancelación espera a que el bloque en ejecución alcance un punto de cancelación. Detener o eliminar su despliegue de ejecución también cancela el flujo de trabajo.
Solución de problemas#
- Agents no aparece en la barra lateral: activa Early access en tu Settings > Profile personal.
- La ejecución supera los límites de la prueba compartida: selecciona un despliegue dedicado, incluido un despliegue gratuito elegible, o reduce la resolución de la imagen, el recuento de entradas y las llamadas a modelos/proveedores.
- El despliegue se está preparando o se ha detenido: espera a que esté listo o inícialo desde Deployments.
- Falta una clave de proveedor: connect the selected provider en Settings > API Keys. En un espacio de trabajo de equipo, pide al propietario del espacio de trabajo que añada o reemplace la clave.
- Ninguna imagen llega al destino: inspecciona la condición y el límite de confianza de la predicción. Los resultados de detección vacíos nunca satisfacen un rango de confianza.
- Las imágenes recopiladas no tienen etiquetas: la recopilación añade imágenes originales para su revisión. Utiliza las herramientas de anotación existentes para etiquetarlas.