Agents#
Agents relie des images, des modèles, des conditions et des actions dans un flux de travail visuel. Utilise YOLO pour déterminer quelles images méritent un examen plus attentif, demande à un modèle vision-langage de les expliquer ou rassemble les images sélectionnées dans un dataset pour les examiner.
Ouvre Agents dans la barre latérale ou accède à platform.ultralytics.com/agents. Agents apparaît dans la barre latérale pour chaque utilisateur connecté, dans les espaces de travail personnels et d’équipe, sans qu’il soit nécessaire d’activer le paramètre Early access.
Exécuter ton premier flux de travail#
- Ouvre Agents, clique sur Add block > Templates, puis choisis YOLO → VLM Monitor.
- Sélectionne le bloc Input image, choisis un dataset importé, puis sélectionne une image contenant une personne. Pour l’essai partagé, utilise une image d’au plus 4 mégapixels.
- Conserve le modèle YOLO26 nano par défaut. La condition est remplie lorsque YOLO détecte au moins une personne.
- Sélectionne Describe the scene, choisis un modèle vision-langage et saisis une invite. Si ce n’est pas déjà fait, ajoute la clé du fournisseur correspondant dans Settings > API Keys. Dans un espace de travail d’équipe, demande au propriétaire de l’espace de travail d’ajouter ou de remplacer la clé du fournisseur.
- Garde Shared trial · 60 seconds sélectionné pour une petite exécution, puis clique sur Run.
- Observe la mise à jour des blocs et examine Output. Si aucune personne n’est détectée, la condition se termine sans exécuter la branche de description.
Tu peux exécuter un brouillon avant de l’enregistrer. Utilise Save workflow pour nommer et enregistrer un flux de travail afin de le réutiliser plus tard, puis enregistre-le de nouveau après y avoir apporté des modifications. Le bouton Python affiche le code généré pour le flux de travail.
Commencer avec un modèle#
| Modèle | Flux de travail | Utile pour |
|---|---|---|
| YOLO → VLM Monitor | Image → YOLO → condition → modèle vision-langage → Output | Décrire une scène uniquement lorsqu’une personne est détectée |
| Collect Uncertain Detections | Dataset → Deployment → condition de confiance → Dataset | Créer un ensemble de révision à partir d’images contenant des détections incertaines |
| Capture and Alert | Image → YOLO → condition → Dataset et Slack | Enregistrer une image et envoyer une notification à un canal à partir de la même condition |
Les modèles sont des points de départ modifiables. Avant de les exécuter, sélectionne les images, le déploiement, le dataset de destination et les intégrations pour ton espace de travail. Ces flux de travail s’exécutent lorsque tu cliques sur Run ; le modèle Monitor analyse l’image d’entrée sélectionnée.
Choisir où exécuter le flux de travail#
Le sélecteur d’exécution à côté de Run permet de choisir le matériel utilisé pour le flux de travail.
| Choix | À utiliser pour | Limites et tarifs |
|---|---|---|
| Shared trial · 60 seconds | Essayer un petit flux de travail | Jusqu’à 60 secondes, 20 images d’entrée au total d’au plus 4 mégapixels chacune et 20 appels à un modèle/fournisseur ; un modèle YOLO local utilisant un modèle officiel YOLO26 nano |
| Existing dedicated deployment | Datasets plus volumineux, exécutions plus longues ou autres modèles locaux | Utilise le matériel et la tarification existants de ce déploiement, y compris un déploiement dédié gratuit admissible ; aucune limite globale de durée de flux de travail ni de nombre d’images |
| New deployment… | Créer du matériel dédié depuis l’éditeur | Ouvre la boîte de dialogue existante de création de déploiement et de tarification ; choisis les ressources et attends que le déploiement soit prêt |
Les essais partagés autorisent trois exécutions par minute ; les exécutions sur un déploiement dédié ne sont soumises à aucune limite de fréquence. Les exécutions sur Platform prennent en charge jusqu’à 20 blocs. Les appels à un modèle/fournisseur incluent YOLO, les modèles vision-langage, les prédictions de déploiement et les actions Slack et Webhook ; les branchements peuvent augmenter le nombre d’appels par image d’entrée.
Les exécutions dédiées se poursuivent au moyen de requêtes avec points de contrôle sur le déploiement sélectionné. Fermer ou actualiser le navigateur n’interrompt pas une exécution. Les limites du déploiement existant et celles du fournisseur s’appliquent toujours, et l’utilisation du modèle de langage est facturée par le fournisseur associé à ta clé. Consulte la tarification des déploiements pour connaître les options matérielles.
Un bloc Deployment sélectionne le point de terminaison utilisé pour une étape de prédiction. Le sélecteur d’exécution choisit l’environnement dans lequel le flux de travail lui-même s’exécute. Tu peux choisir le même déploiement dédié pour les deux.
Configurer les blocs#
| Bloc | Rôle |
|---|---|
| Image | Importe une image ou une vidéo échantillonnée en 10 images au maximum par défaut, ou sélectionne une image dans un dataset importé |
| Dataset sans connexion entrante | Lire des images à partir d’un dataset et d’une partition sélectionnés, avec une limite d’entrée configurable |
| YOLO | Exécuter un modèle officiel ou un modèle entraîné de l’espace de travail |
| Deployment | Effectuer des prédictions avec un déploiement Platform existant et prêt |
| LLM | Envoyer l’image et le contexte en amont au modèle de langage ou vision-langage sélectionné |
| Gate | Contrôler l’exécution en aval à l’aide d’une condition ou d’une cadence |
| Dataset avec une connexion entrante | Ajouter l’image entrante à un dataset de destination |
| Slack | Envoyer un message au canal Slack connecté à l’espace de travail |
| Webhook | POST un corps JSON à un point de terminaison HTTPS |
| Exporter | Exporter un modèle à l’aide du processus d’exportation existant de Platform |
| Output | Afficher le résultat en amont |
Sélectionne un bloc pour modifier ses paramètres. Relie une sortie à un autre bloc pour transmettre son résultat en aval. Une sortie peut être reliée à plusieurs blocs : par exemple, relie une condition à la fois à un dataset de destination et à Slack. Chaque branche utilise la même condition évaluée.
Filtrer les détections avec une condition#
Utilise le même bloc Gate pour les filtres de nombre de détections et de confiance. Choisis le résultat en amont, n’importe quelle classe ou une classe précise, puis une comparaison. Par exemple :
- Nombre de personnes ≥ 1 : continuer lorsqu’au moins une personne est détectée.
- Confiance comprise entre 0,25 et 0,5 : continuer lorsqu’au moins une détection correspondante se situe dans cette plage inclusive.
- Classe précise dans une plage de confiance : recueillir uniquement les détections incertaines de cette classe.
Les filtres de confiance examinent les détections individuellement. Une image avec des scores de 0.3 et 0.9 satisfait une plage 0.25–0.5, car une détection correspond aux critères. Les images sans détection ne satisfont pas une condition de confiance. Définis un seuil de confiance suffisamment bas pour le modèle de prédiction afin de conserver les détections que tu veux évaluer.
Une condition qui n’est pas remplie se termine sans produire de sortie en aval. Les actions qui lui sont connectées ne s’exécutent pas pour cette image.
Recueillir des images pour examen#
Ouvre Collect Uncertain Detections, choisis un dataset source et une partition, sélectionne ton déploiement de prédiction, puis configure la plage de confiance. Sélectionne un dataset de destination existant dans le dernier bloc Dataset. Si nécessaire, crée d’abord un dataset depuis la page Datasets.
Le dataset de destination reçoit les images originales, sans annotations, dans sa partition train. Les copies existantes sont ignorées et les quotas de stockage habituels des datasets s’appliquent. Les annotations sources et les prédictions du modèle ne sont pas copiées. Ouvre le dataset de destination dans l’éditeur d’annotations existant pour examiner et annoter les images recueillies.
Utilise des images hébergées auxquelles ton espace de travail peut accéder et un dataset de destination que tu peux modifier. Les datasets reliés à un stockage cloud ou sur site ne peuvent pas servir de destinations pour la collecte.
Envoyer des alertes Slack conditionnelles#
Connecte Slack dans Settings > Integrations, puis relie une condition à un bloc Slack. Saisis le message et utilise {output} pour inclure le résultat en amont. Capture and Alert relie également cette même condition à un dataset : une image correspondante est donc recueillie et un message est envoyé au canal connecté.
Les messages Slack des flux de travail se configurent dans le bloc. Ils sont distincts des choix de notification relatifs à l’entraînement, à l’exportation et au déploiement dans Settings.
Envoyer des Webhooks#
Un bloc Webhook envoie un POST par résultat avec Content-Type: application/json à une URL HTTPS publique ; tout service qui accepte une requête JSON peut ainsi recevoir le résultat d’une condition. Saisis l’URL de destination et un corps JSON de 10 000 caractères maximum contenant {output} dans une chaîne, où ce texte est remplacé par le résultat en amont ; le bloc est terminal et n’accepte aucune connexion sortante. Les redirections ne sont pas suivies, la connexion expire au bout de 5 secondes et toute réponse hors de la plage 2xx fait échouer le bloc.
Suivre la progression et arrêter une exécution#
Les blocs actifs affichent un indicateur de chargement vert. Les blocs terminés affichent une coche verte et un contour vert ; les blocs ayant échoué affichent un contour rouge. Les nombres indiquent quelles entrées ont atteint chaque bloc, et les blocs en aval ne sont pas exécutés lorsqu’une condition n’est pas remplie.
Après le rechargement de la page, la progression de l’exécution et le déploiement d’exécution sélectionné sont rétablis. Les résultats terminés restent visibles pour le flux de travail correspondant. Clique sur Stop pour annuler une exécution active ; l’annulation attend que le bloc en cours atteigne un point d’annulation. Arrêter ou supprimer son déploiement d’exécution annule également le flux de travail.
Dépannage#
- L’exécution dépasse les limites de l’essai partagé : sélectionne un déploiement dédié, y compris un déploiement gratuit admissible, ou réduis la résolution des images, le nombre d’entrées et les appels aux modèles/fournisseurs.
- Le déploiement est en préparation ou arrêté : attends qu’il soit prêt ou démarre-le depuis Deployments.
- Il manque une clé de fournisseur : connecte le fournisseur sélectionné dans Settings > API Keys. Dans un espace de travail d’équipe, demande au propriétaire de l’espace de travail d’ajouter ou de remplacer la clé.
- Aucune image n’atteint la destination : vérifie la condition et le seuil de confiance de la prédiction. Les résultats sans détection ne satisfont jamais une plage de confiance.
- Les images recueillies n’ont pas d’annotations : la collecte ajoute les images originales pour examen. Utilise les outils d’annotation existants pour les annoter.