Agents#
Agents relie les images, les modèles, les conditions et les actions dans un flux de travail visuel. Utilise YOLO pour déterminer quelles images méritent un examen plus approfondi, demande à un modèle vision-langage de les expliquer ou rassemble les images sélectionnées dans un jeu de données à examiner.
Ouvre Agents dans la barre latérale ou accède à platform.ultralytics.com/agents. Agents apparaît dans la barre latérale de tous les utilisateurs connectés, dans les espaces de travail personnels et d’équipe, sans paramètre d’accès anticipé à activer.
Exécuter ton premier flux de travail#
- Ouvre Agents, clique sur Ajouter un bloc > Modèles, puis choisis YOLO → VLM Monitor.
- Sélectionne le bloc Image d’entrée, choisis un jeu de données téléversé, puis sélectionne une image contenant une personne. Pour l’essai partagé, utilise une image de 4 mégapixels maximum.
- Conserve le modèle YOLO26 nano par défaut. La condition est remplie lorsque YOLO détecte au moins une personne.
- Sélectionne Décrire la scène, choisis un modèle vision-langage et saisis une invite. Si tu ne l’as pas déjà fait, ajoute la clé du fournisseur correspondant dans Paramètres > Clés API. Dans un espace de travail d’équipe, demande au propriétaire de l’espace de travail d’ajouter ou de remplacer la clé du fournisseur.
- Pour une petite exécution, conserve l’option Essai partagé · 60 secondes, puis clique sur Exécuter.
- Observe la mise à jour des blocs et examine la Sortie. Si aucune personne n’est détectée, la condition se termine sans exécuter la branche de description.
Tu peux exécuter un brouillon avant de l’enregistrer. Utilise Enregistrer le flux de travail pour nommer et enregistrer un flux de travail afin de le réutiliser plus tard, puis enregistre-le de nouveau après toute modification. Le bouton Python affiche le code généré pour le flux de travail.
Commencer avec un modèle#
| Modèle | Flux de travail | Utile pour |
|---|---|---|
| YOLO → VLM Monitor | Image → YOLO → condition → modèle vision-langage → Sortie | Décrire une scène uniquement lorsqu’une personne est détectée |
| Collect Uncertain Detections | Jeu de données → Déploiement → condition de confiance → Jeu de données | Créer un ensemble à examiner à partir d’images dont les détections sont incertaines |
| Capture and Alert | Image → YOLO → condition → Jeu de données et Slack | Enregistrer une image et avertir un canal à partir de la même condition |
Les modèles sont des points de départ modifiables. Avant de les exécuter, sélectionne les images, le déploiement, le jeu de données de destination et les intégrations pour ton espace de travail. Ces flux de travail s’exécutent lorsque tu cliques sur Exécuter ; le modèle Monitor analyse l’image d’entrée sélectionnée.
Choisir où exécuter le flux de travail#
Le sélecteur d’exécution à côté de Exécuter permet de choisir le matériel utilisé pour le flux de travail.
| Option | À utiliser pour | Limites et tarifs |
|---|---|---|
| Essai partagé · 60 secondes | Essayer un petit flux de travail | Jusqu’à 60 secondes, 20 images d’entrée au total de 4 mégapixels maximum chacune, et 20 appels de modèle/fournisseur ; un modèle YOLO local utilisant un modèle officiel YOLO26 nano |
| Déploiement dédié existant | Jeux de données plus volumineux, exécutions plus longues ou autres modèles locaux | Utilise le matériel et les tarifs existants de ce déploiement, y compris un déploiement dédié gratuit admissible ; aucune limite globale de durée du flux de travail ni de nombre d’images |
| Nouveau déploiement… | Créer du matériel dédié depuis le générateur | Ouvre la boîte de dialogue existante de création de déploiement et de tarification ; choisis les ressources et attends que le déploiement soit prêt |
Les essais partagés autorisent trois exécutions par minute ; les exécutions sur un déploiement dédié ne sont soumises à aucune limite de débit. Les exécutions Platform prennent en charge jusqu’à 20 blocs. Les appels de modèle/fournisseur comprennent YOLO, les modèles vision-langage, les prédictions de déploiement, ainsi que les actions Slack et Webhook ; les branchements peuvent augmenter le nombre d’appels par image d’entrée.
Les exécutions dédiées se poursuivent au moyen de requêtes avec points de contrôle sur le déploiement sélectionné. Fermer ou recharger le navigateur n’interrompt pas une exécution. Les limites du déploiement existant et celles du fournisseur restent applicables, et le fournisseur associé à ta clé facture l’utilisation du modèle de langage. Consulte les tarifs des déploiements pour connaître les options matérielles.
Un bloc Déploiement sélectionne le point de terminaison utilisé pour une étape de prédiction. Le sélecteur d’exécution définit l’environnement d’exécution du flux de travail lui-même. Tu peux choisir le même déploiement dédié pour les deux.
Configurer les blocs#
| Bloc | Rôle |
|---|---|
| Image | Téléverse une image ou une vidéo échantillonnée par défaut en 10 images maximum, ou sélectionne une image d’un jeu de données téléversé |
| Jeu de données sans connexion entrante | Lire des images depuis un jeu de données et une partition sélectionnés, avec une limite d’entrée configurable |
| YOLO | Exécuter un modèle officiel ou un modèle entraîné de l’espace de travail |
| Déploiement | Effectuer des prédictions via un déploiement Platform existant et prêt à l’emploi |
| LLM | Envoyer l’image et le contexte en amont au modèle de langage ou vision-langage sélectionné |
| Porte | Contrôler l’exécution en aval à l’aide d’une condition ou d’une fréquence |
| Jeu de données avec une connexion entrante | Ajouter l’image entrante à un jeu de données de destination |
| Slack | Envoyer un message au canal Slack connecté à l’espace de travail |
| Webhook | POST un corps JSON vers un point de terminaison HTTPS |
| Exporter | Exporter un modèle à l’aide du flux de travail d’exportation existant de Platform |
| Sortie | Afficher le résultat en amont |
Sélectionne un bloc pour modifier ses paramètres. Relie une sortie à un autre bloc pour transmettre son résultat en aval. Une sortie peut être reliée à plusieurs blocs : par exemple, relie une condition à la fois à un jeu de données de destination et à Slack. Chaque branche utilise la même condition évaluée.
Filtrer les détections avec une condition#
Utilise le même bloc Porte pour les comptes de détections et les filtres de confiance. Choisis le résultat en amont, n’importe quelle classe ou une classe précise, puis une comparaison. Par exemple :
- Nombre de personnes ≥ 1 : continuer lorsqu’au moins une personne est détectée.
- Confiance comprise entre 0,25 et 0,5 : continuer lorsqu’au moins une détection correspondante se trouve dans cet intervalle inclusif.
- Une classe précise dans un intervalle de confiance : recueillir uniquement les détections incertaines de cette classe.
Les filtres de confiance examinent les détections individuellement. Une image dont les scores sont 0.3 et 0.9 satisfait un intervalle 0.25–0.5, car une détection correspond au critère. Les images sans détection ne satisfont pas une condition de confiance. Définis un seuil de confiance suffisamment bas pour le modèle de prédiction afin de conserver les détections que tu souhaites évaluer.
Lorsqu’une condition n’est pas satisfaite, l’exécution se termine sans sortie en aval. Les actions qui y sont reliées ne s’exécutent pas pour cette image.
Collecter des images à examiner#
Ouvre Collect Uncertain Detections, choisis un jeu de données source et une partition, sélectionne ton déploiement de prédiction et configure la plage de confiance. Sélectionne un jeu de données de destination existant dans le dernier bloc Dataset. Si nécessaire, crée d’abord un jeu de données depuis la page Datasets.
Les images d’origine, sans annotations, sont ajoutées à la partition train de la destination. Les copies existantes sont ignorées et les quotas de stockage habituels des jeux de données s’appliquent. Les étiquettes source et les prédictions du modèle ne sont pas copiées comme annotations. Ouvre la destination dans l’éditeur d’annotations existant pour examiner et annoter les images collectées.
Utilise des images hébergées auxquelles ton espace de travail peut accéder et un jeu de données de destination que tu peux modifier. Les jeux de données connectés à un stockage cloud et les jeux de données sur site ne peuvent pas servir de destinations de collecte.
Envoyer des alertes Slack conditionnelles#
Connecte Slack dans Settings > Integrations, puis relie une condition à un bloc Slack. Saisis le message et utilise {output} pour inclure le résultat en amont. Capture and Alert relie également cette même condition à un jeu de données : une image correspondante est ainsi collectée et un message est envoyé au canal connecté.
Les messages Slack du workflow se configurent dans le bloc. Ils sont distincts des options de notification relatives à l’entraînement, à l’exportation et au déploiement dans Settings.
Envoyer des webhooks#
Un bloc Webhook envoie un POST par résultat avec Content-Type: application/json à une URL HTTPS publique. Tout service acceptant une requête JSON peut ainsi recevoir le résultat d’une condition. Saisis l’URL de destination et un corps JSON de 10 000 caractères maximum contenant {output} dans une chaîne, où il est remplacé par le résultat en amont ; le bloc est terminal et n’accepte aucune connexion sortante. Les redirections ne sont pas suivies, la connexion expire après 5 secondes et toute réponse autre qu’un code 2xx fait échouer le bloc.
Suivre la progression et arrêter une exécution#
Les blocs actifs affichent un indicateur de chargement vert. Les blocs terminés affichent une coche verte et un contour vert ; les blocs en échec affichent un contour rouge. Les compteurs indiquent quelles entrées ont atteint chaque bloc, et les blocs en aval ne sont pas exécutés si une condition n’est pas remplie.
Le rechargement de la page restaure la progression de l’exécution et le déploiement d’exécution sélectionné. Les résultats terminés restent visibles pour le workflow correspondant. Clique sur Stop pour annuler une exécution active ; l’annulation attend que le bloc en cours d’exécution atteigne un point où elle peut être prise en compte. L’arrêt ou la suppression de son déploiement d’exécution annule également le workflow.
Gérer les agents avec l’API#
L’API Agents permet de répertorier, d’enregistrer et de supprimer des agents depuis du code, et le SDK Python l’expose sous la forme de client.agents dans ultralytics-platform>=0.1.74. Un enregistrement renvoie les mêmes erreurs de bloc que celles affichées sur le canevas. Les exécutions démarrent toujours depuis le canevas : ouvre un agent enregistré à l’adresse https://platform.ultralytics.com/agents?workflow={id} et clique sur Run.
Dépannage#
- L’exécution dépasse les limites partagées de l’essai : sélectionne un déploiement dédié, y compris un déploiement gratuit admissible, ou réduis la résolution des images, le nombre d’entrées et le nombre d’appels au modèle ou au fournisseur.
- Le déploiement est en cours de préparation ou arrêté : attends qu’il soit prêt ou démarre-le depuis Deployments.
- Une clé de fournisseur est manquante : connecte le fournisseur sélectionné dans Settings > API Keys. Dans un espace de travail d’équipe, demande au propriétaire de l’espace de travail d’ajouter ou de remplacer la clé.
- Aucune image n’atteint la destination : vérifie la condition et le seuil de confiance des prédictions. Les résultats de détection vides ne satisfont jamais une plage de confiance.
- Les images collectées n’ont pas d’étiquettes : la collecte ajoute les images d’origine pour examen. Utilise les outils d’annotation existants pour les annoter.