Agents#
Agents associe des images, des modèles, des conditions et des actions dans un flux de travail visuel. Utilise YOLO pour décider quelles images nécessitent un examen plus attentif, demande à un modèle vision-langage de les expliquer ou collecte des images sélectionnées dans un jeu de données pour révision.
Passe à ton espace de travail personnel à l'aide du sélecteur d'espace de travail dans la barre latérale et active Accès anticipé dans Paramètres > Profil. Ouvre ensuite Agents dans la barre latérale ou va sur platform.ultralytics.com/agents. L'accès anticipé est une préférence personnelle, y compris lorsque tu travailles dans un espace de travail d'équipe.
Exécute ton premier flux de travail#
- Ouvre Agents, clique sur Ajouter un bloc > Modèles, et choisis YOLO → VLM Monitor.
- Sélectionne le bloc Image d'entrée, choisis un jeu de données téléchargé et sélectionne une image contenant une personne. Utilise une image d'un maximum de 4 mégapixels pour l'essai partagé.
- Conserve le modèle nano YOLO26 par défaut. La condition est validée lorsque YOLO détecte au moins une personne.
- Sélectionne Décrire la scène, choisis un modèle vision-langage et saisis une invite. Ajoute la clé du fournisseur correspondante dans Paramètres > Clés API si ce n'est pas déjà fait. Dans un espace de travail d'équipe, demande au propriétaire de l'espace de travail d'ajouter ou de remplacer la clé du fournisseur.
- Conserve l'option Essai partagé · 60 secondes sélectionnée pour une petite exécution, puis clique sur Exécuter.
- Observe la mise à jour des blocs et inspecte la Sortie. Si aucune personne n'est détectée, la condition se termine sans exécuter la branche de description.
Tu peux exécuter un brouillon avant de l'enregistrer. Utilise Enregistrer le flux de travail pour nommer et enregistrer un flux de travail pour plus tard, et enregistre-le à nouveau après avoir apporté des modifications. Le bouton Python affiche le code du flux de travail généré.
Commencer avec un modèle#
| Modèle | Flux de travail | Utile pour |
|---|---|---|
| YOLO → VLM Monitor | Image → YOLO → condition → modèle vision-langage → Sortie | Décrire une scène uniquement lorsqu'une personne est détectée |
| Collecter les détections incertaines | Jeu de données → Déploiement → condition de confiance → Jeu de données | Construire un ensemble de révision à partir d'images comportant des détections incertaines |
| Capturer et alerter | Image → YOLO → condition → Jeu de données et Slack | Enregistrer une image et notifier un canal à partir de la même condition |
Les modèles sont des points de départ modifiables. Sélectionne les images, le déploiement, le jeu de données de destination et les intégrations pour ton espace de travail avant de les exécuter. Ces flux de travail s'exécutent lorsque tu cliques sur Exécuter ; le modèle Monitor analyse l'image d'entrée sélectionnée.
Choisir où exécuter#
Le sélecteur d'exécution situé à côté de Exécuter choisit le matériel pour le flux de travail.
| Choix | Utilise-le pour | Limites et tarification |
|---|---|---|
| Essai partagé · 60 secondes | Essayer un petit flux de travail | Jusqu'à 60 secondes, 20 images d'entrée au total d'un maximum de 4 mégapixels chacune, et 20 appels de modèle/fournisseur ; un modèle YOLO local, utilisant un modèle nano YOLO26 officiel |
| Déploiement dédié existant | Jeu de données plus grand, exécutions plus longues ou autres modèles locaux | Utilise le matériel et la tarification existants de ce déploiement, y compris un déploiement dédié gratuit éligible ; aucune limite globale de durée de flux de travail ou de nombre d'images |
| Nouveau déploiement… | Créer du matériel dédié à partir du générateur | Ouvre la boîte de dialogue de création de déploiement et de tarification existante ; choisis les ressources et attends que le déploiement soit prêt |
Les essais partagés autorisent deux soumissions toutes les cinq minutes. Les exécutions de la plateforme prennent en charge jusqu'à 20 blocs. Les appels de modèle/fournisseur incluent YOLO, les modèles vision-langage, les prédictions de déploiement et les actions Slack ; la création de branches peut augmenter le nombre d'appels par image d'entrée.
Les exécutions dédiées se poursuivent dans des requêtes dotées de points de contrôle sur le déploiement sélectionné. La fermeture ou le rechargement du navigateur n'arrête pas une exécution. Les limites de déploiement existantes et les limites des fournisseurs s'appliquent toujours, et l'utilisation du modèle de langage est facturée par le fournisseur associé à ton clé. Consulte la tarification des déploiements pour connaître les options matérielles.
Un bloc Déploiement sélectionne le point de terminaison utilisé pour une étape de prédiction. Le sélecteur d'exécution choisit l'endroit où le flux de travail lui-même s'exécute. Tu peux choisir le même déploiement dédié pour les deux.
Configurer les blocs#
| Bloc | Objectif |
|---|---|
| Image | Sélectionner une image à partir d'un jeu de données téléchargé |
| Jeu de données sans connexion entrante | Lire les images à partir d'un jeu de données sélectionné et d'une division, avec une limite d'entrée configurable |
| YOLO | Exécuter un modèle officiel ou un modèle entraîné à partir de l'espace de travail |
| Déploiement | Prédire via un déploiement de plateforme existant et prêt |
| LLM | Envoyer l'image et le contexte en amont au modèle de langage ou vision-langage sélectionné |
| Porte | Contrôler l'exécution en aval avec une condition ou une cadence |
| Jeu de données avec une connexion entrante | Ajouter l'image entrante à un jeu de données de destination |
| Slack | Envoyer un message au canal Slack connecté de l'espace de travail |
| Exporter | Exporter un modèle en utilisant le flux de travail d'exportation existant de la plateforme |
| Sortie | Afficher le résultat en amont |
Sélectionne un bloc pour modifier ses paramètres. Connecte une sortie à un autre bloc pour transmettre son résultat en aval. Une sortie peut se connecter à plusieurs blocs : par exemple, connecte une condition à la fois à un jeu de données de destination et à Slack. Chaque branche utilise la même condition évaluée.
Filtrer les détections avec une condition#
Utilise le même bloc Porte pour les comptes de détection et les filtres de confiance. Choisis le résultat en amont, n'importe quelle classe ou une classe spécifique, et une comparaison. Par exemple :
- Nombre de personnes ≥ 1 : continuer lorsqu'au moins une personne est détectée.
- Confiance entre 0,25 et 0,5 : continuer lorsqu'au moins une détection correspondante se situe dans cette plage inclusive.
- Une classe spécifique dans une plage de confiance : collecter les détections incertaines pour cette classe uniquement.
Les filtres de confiance examinent les détections individuelles. Une image avec des scores de 0.3 et 0.9 passe une plage de 0.25–0.5 parce qu'une détection correspond. Les images sans détection ne passent pas une condition de confiance. Définis le seuil de confiance du modèle de prédiction suffisamment bas pour conserver les détections que tu souhaites évaluer.
Une condition qui ne correspond pas se termine sans sortie en aval. Ses actions connectées ne s'exécutent pas pour cette image.
Collecter des images pour révision#
Ouvre Collecter les détections incertaines, choisis un jeu de données source et une division, sélectionne ton déploiement de prédiction et configure la plage de confiance. Sélectionne un jeu de données de destination existant dans le dernier bloc Jeu de données. Crée d'abord un jeu de données à partir de la page des jeux de données si nécessaire.
La destination reçoit les images d'origine, non étiquetées, dans sa division train. Les copies existantes sont ignorées et les quotas de stockage normaux des jeux de données s'appliquent. Les étiquettes source et les prédictions du modèle ne sont pas copiées en tant qu'annotations. Ouvre la destination dans l'éditeur d'annotations existant pour examiner et étiqueter les images collectées.
Utilise des images hébergées auxquelles ton espace de travail peut accéder et un jeu de données de destination que tu peux modifier. Les jeux de données de stockage cloud et sur site connectés ne peuvent pas être utilisés comme destinations de collecte.
Envoyer des alertes Slack conditionnelles#
Connecte Slack dans Paramètres > Intégrations, puis connecte une condition à un bloc Slack. Saisis le message et utilise {output} pour inclure le résultat en amont. Capturer et alerter connecte également cette même condition à un jeu de données, de sorte qu'une image correspondante est collectée et qu'un message est envoyé au canal connecté.
Les messages Slack du flux de travail sont configurés dans le bloc. Ils sont distincts des choix de notification d'entraînement, d'exportation et de déploiement dans les Paramètres.
Suivre la progression et arrêter une exécution#
Les blocs actifs affichent une icône de chargement verte. Les blocs terminés affichent une coche verte et un contour vert ; les blocs échoués affichent un contour rouge. Les comptes montrent quelles entrées ont atteint chaque bloc, et les blocs en aval restent non exécutés lorsqu'une condition ne correspond pas.
Le rechargement de la page restaure la progression de l'exécution et le déploiement d'exécution sélectionné. Les résultats terminés restent visibles pour le flux de travail correspondant. Clique sur Arrêter pour annuler une exécution active ; l'annulation attend que le bloc en cours d'exécution atteigne un point d'annulation. L'arrêt ou la suppression de son déploiement d'exécution annule également le flux de travail.
Dépannage#
- Agents est absent de la barre latérale : active Accès anticipé dans ton Paramètres > Profil personnel.
- L'exécution dépasse les limites de l'essai partagé : sélectionne un déploiement dédié, y compris un déploiement gratuit éligible, ou réduis la résolution de l'image, le nombre d'entrées et les appels de modèle/fournisseur.
- Le déploiement est en cours de préparation ou arrêté : attends qu'il soit prêt ou démarre-le depuis Déploiements.
- Une clé de fournisseur est manquante : connecte le fournisseur sélectionné dans Paramètres > Clés API. Dans un espace de travail d'équipe, demande au propriétaire de l'espace de travail d'ajouter ou de remplacer la clé.
- Aucune image n'atteint la destination : inspecte la condition et le seuil de confiance de prédiction. Les résultats de détection vides ne satisfont jamais une plage de confiance.
- Les images collectées n'ont pas d'étiquettes : la collecte ajoute des images d'origine pour examen. Utilise les outils d'annotation existants pour les étiqueter.