Agenti#
Agents collega immagini, modelli, condizioni e azioni in un workflow visivo. Usa YOLO per decidere quali immagini esaminare più da vicino, chiedi a un modello visione-linguaggio di descriverle oppure raccogli le immagini selezionate in un dataset da revisionare.
Apri Agents nella barra laterale oppure vai su platform.ultralytics.com/agents. Agents è disponibile nella barra laterale per tutti gli utenti che hanno effettuato l'accesso, negli workspace personali e di team, senza dover attivare l'impostazione Early access.
Esegui il tuo primo workflow#
- Apri Agents, fai clic su Add block > Templates e scegli YOLO → VLM Monitor.
- Seleziona il blocco Input image, scegli un dataset caricato e seleziona un'immagine che contenga una persona. Per la prova condivisa, usa un'immagine fino a 4 megapixel.
- Mantieni il modello nano YOLO26 predefinito. La condizione è soddisfatta quando YOLO rileva almeno una persona.
- Seleziona Describe the scene, scegli un modello visione-linguaggio e inserisci un prompt. Aggiungi la chiave del provider corrispondente in Settings > API Keys, se non l'hai già fatto. In uno workspace di team, chiedi al proprietario dello workspace di aggiungere o sostituire la chiave del provider.
- Per una breve esecuzione, lascia selezionata l'opzione Shared trial · 60 seconds, quindi fai clic su Run.
- Osserva l'aggiornamento dei blocchi e controlla Output. Se non viene rilevata alcuna persona, la condizione termina senza eseguire il ramo di descrizione.
Puoi eseguire una bozza prima di salvarla. Usa Save workflow per assegnare un nome al workflow e salvarlo per un uso successivo; salvalo di nuovo dopo aver apportato modifiche. Il pulsante Python mostra il codice generato per il workflow.
Inizia con un modello#
| Modello | Workflow | Utile per |
|---|---|---|
| YOLO → VLM Monitor | Immagine → YOLO → condizione → modello visione-linguaggio → Output | Descrivere una scena solo quando viene rilevata una persona |
| Collect Uncertain Detections | Dataset → Deployment → condizione sulla confidenza → Dataset | Creare un insieme di revisione a partire da immagini con rilevamenti incerti |
| Capture and Alert | Immagine → YOLO → condizione → Dataset e Slack | Salvare un'immagine e inviare una notifica a un canale in base alla stessa condizione |
I modelli sono punti di partenza modificabili. Prima di eseguirli, seleziona le immagini, il deployment, il dataset di destinazione e le integrazioni per il tuo workspace. Questi workflow vengono eseguiti quando fai clic su Run; il modello Monitor analizza l'immagine di input selezionata.
Scegli dove eseguire#
Il selettore di esecuzione accanto a Run consente di scegliere l'hardware per il workflow.
| Opzione | Usala per | Limiti e prezzi |
|---|---|---|
| Shared trial · 60 seconds | Provare un workflow breve | Fino a 60 secondi, 20 immagini di input totali fino a 4 megapixel ciascuna e 20 chiamate a modelli/provider; un modello YOLO locale, con un modello nano YOLO26 ufficiale |
| Existing dedicated deployment | Dataset più grandi, esecuzioni più lunghe o altri modelli locali | Usa l'hardware e i prezzi già previsti da quel deployment, incluso un deployment dedicato gratuito idoneo; nessun limite complessivo alla durata del workflow o al numero di immagini |
| New deployment… | Creare hardware dedicato dal builder | Apre la finestra di dialogo esistente per la creazione del deployment e i relativi prezzi; scegli le risorse e attendi che il deployment sia pronto |
Le prove condivise consentono tre esecuzioni al minuto; le esecuzioni su un deployment dedicato non hanno limiti di frequenza. Le esecuzioni sulla Platform supportano fino a 20 blocchi. Le chiamate a modelli/provider includono YOLO, modelli visione-linguaggio, previsioni dei deployment e azioni Slack e Webhook; la ramificazione può aumentare il numero di chiamate per immagine di input.
Le esecuzioni dedicate proseguono tramite richieste con checkpoint sul deployment selezionato. Chiudere o ricaricare il browser non interrompe un'esecuzione. Restano applicabili i limiti del deployment esistente e quelli del provider; l'utilizzo dei modelli linguistici viene fatturato dal provider associato alla tua chiave. Consulta i prezzi dei deployment per le opzioni hardware.
Un blocco Deployment seleziona l'endpoint usato per una fase di previsione. Il selettore di esecuzione sceglie dove viene eseguito il workflow stesso. Puoi scegliere lo stesso deployment dedicato per entrambi.
Configura i blocchi#
| Blocco | Scopo |
|---|---|
| Image | Carica un'immagine o un video da cui verranno campionati fino a 10 fotogrammi per impostazione predefinita, oppure seleziona un'immagine da un dataset caricato |
| Dataset senza connessione in ingresso | Legge immagini da un dataset e da una suddivisione selezionati, con un limite configurabile per gli input |
| YOLO | Esegue un modello ufficiale o un modello addestrato dello workspace |
| Deployment | Esegue previsioni tramite un deployment Platform esistente e pronto |
| LLM | Invia l'immagine e il contesto precedente al modello linguistico o visione-linguaggio selezionato |
| Gate | Controlla l'esecuzione dei passaggi successivi con una condizione o una cadenza |
| Dataset con una connessione in ingresso | Aggiunge l'immagine in ingresso a un dataset di destinazione |
| Slack | Invia un messaggio al canale Slack collegato allo workspace |
| Webhook | POST un corpo JSON a un endpoint HTTPS |
| Esporta | Esporta un modello usando il workflow di esportazione esistente della Platform |
| Output | Mostra il risultato del blocco precedente |
Seleziona un blocco per modificarne le impostazioni. Collega un output a un altro blocco per passargli il risultato nei passaggi successivi. Un output può collegarsi a più blocchi: per esempio, collega una condizione sia a un dataset di destinazione sia a Slack. Ogni ramo usa la stessa condizione valutata.
Filtra i rilevamenti con una condizione#
Usa lo stesso blocco Gate per i conteggi dei rilevamenti e i filtri di confidenza. Scegli il risultato precedente, qualsiasi classe o una classe specifica e un confronto. Per esempio:
- Numero di persone ≥ 1: continua quando viene rilevata almeno una persona.
- Confidenza tra 0,25 e 0,5: continua quando almeno un rilevamento corrispondente rientra in questo intervallo inclusivo.
- Una classe specifica in un intervallo di confidenza: raccogli solo i rilevamenti incerti per quella classe.
I filtri di confidenza esaminano i singoli rilevamenti. Un'immagine con punteggi 0.3 e 0.9 supera un intervallo 0.25–0.5 perché un rilevamento corrisponde ai criteri. Le immagini senza rilevamenti non superano una condizione di confidenza. Imposta una soglia di confidenza sufficientemente bassa per il modello di previsione, in modo da mantenere i rilevamenti che vuoi valutare.
Una condizione non soddisfatta termina senza generare output per i passaggi successivi. Le azioni collegate non vengono eseguite per quell'immagine.
Raccogli immagini da esaminare#
Apri Collect Uncertain Detections, scegli un dataset e uno split di origine, seleziona il deployment di previsione e configura l'intervallo di confidenza. Seleziona un dataset di destinazione esistente nel blocco finale Dataset. Se necessario, crea prima un dataset dalla pagina Datasets.
Il dataset di destinazione riceve le immagini originali, senza etichette, nel suo split train. Le copie già esistenti vengono ignorate e si applicano le normali quote di archiviazione dei dataset. Le etichette di origine e le previsioni del modello non vengono copiate come annotazioni. Apri il dataset di destinazione nell'editor di annotazione esistente per esaminare ed etichettare le immagini raccolte.
Usa immagini ospitate a cui il tuo workspace può accedere e un dataset di destinazione che puoi modificare. I dataset collegati a servizi di archiviazione cloud e quelli on-premise non possono essere usati come destinazioni della raccolta.
Invia avvisi Slack condizionali#
Collega Slack in Settings > Integrations, quindi collega una condizione a un blocco Slack. Inserisci il messaggio e usa {output} per includere il risultato del blocco a monte. Capture and Alert collega la stessa condizione anche a un dataset, così un'immagine corrispondente viene raccolta e un messaggio viene inviato al canale collegato.
I messaggi Slack del workflow si configurano nel blocco. Sono separati dalle opzioni di notifica per training, esportazione e deployment in Settings.
Invia webhook#
Un blocco Webhook invia un POST per ogni risultato con Content-Type: application/json a un URL HTTPS pubblico, quindi qualsiasi servizio che accetta una richiesta JSON può ricevere l'esito di una condizione. Inserisci l'URL di destinazione e un corpo JSON di massimo 10.000 caratteri con {output} all'interno di una stringa, dove viene sostituito dal risultato del blocco a monte; il blocco è terminale e non accetta connessioni in uscita. I reindirizzamenti non vengono seguiti, la connessione scade dopo 5 secondi e una risposta non 2xx causa il fallimento del blocco.
Segui l'avanzamento e interrompi un'esecuzione#
I blocchi attivi mostrano un indicatore circolare verde. I blocchi completati mostrano un segno di spunta verde e un contorno verde; quelli non riusciti mostrano un contorno rosso. I conteggi indicano quali input hanno raggiunto ciascun blocco; i blocchi a valle non vengono eseguiti quando una condizione non corrisponde.
Ricaricando la pagina vengono ripristinati l'avanzamento dell'esecuzione e il deployment selezionato. I risultati completati restano visibili per il workflow corrispondente. Fai clic su Stop per annullare un'esecuzione attiva; l'annullamento attende che il blocco in esecuzione raggiunga un punto in cui può essere annullato. Anche interrompendo o eliminando il deployment di esecuzione si annulla il workflow.
Gestisci Agents con l'API#
L'API Agents elenca, salva ed elimina gli agenti dal codice, e l'SDK Python la espone come client.agents in ultralytics-platform>=0.1.74. Il salvataggio restituisce gli stessi errori dei blocchi mostrati nell'area di lavoro. Le esecuzioni si avviano comunque dall'area di lavoro: apri un agente salvato in https://platform.ultralytics.com/agents?workflow={id} e fai clic su Run.
Risoluzione dei problemi#
- L'esecuzione supera i limiti condivisi del piano di prova: seleziona un deployment dedicato, compreso un deployment gratuito idoneo, oppure riduci la risoluzione delle immagini, il numero di input e le chiamate al modello/provider.
- Il deployment è in preparazione o arrestato: attendi che sia pronto oppure avvialo da Deployments.
- Manca una chiave del provider: collega il provider selezionato in Settings > API Keys. In un workspace del team, chiedi al proprietario del workspace di aggiungere o sostituire la chiave.
- Nessuna immagine raggiunge la destinazione: controlla la condizione e la soglia di confidenza delle previsioni. I risultati di rilevamento vuoti non soddisfano mai un intervallo di confidenza.
- Le immagini raccolte non hanno etichette: la raccolta aggiunge le immagini originali da esaminare. Usa gli strumenti di annotazione esistenti per etichettarle.