Agenti#
Agenti collega immagini, modelli, condizioni e azioni in un flusso di lavoro visivo. Usa YOLO per decidere quali immagini meritano un esame più attento, chiedi a un modello visione-linguaggio di descriverle oppure raccogli le immagini selezionate in un dataset da esaminare.
Apri Agenti nella barra laterale oppure vai su platform.ultralytics.com/agents. Agenti compare nella barra laterale per ogni utente che ha effettuato l'accesso, negli spazi di lavoro personali e di team, senza bisogno di attivare l'impostazione Early access.
Esegui il tuo primo flusso di lavoro#
- Apri Agenti, fai clic su Aggiungi blocco > Modelli e scegli YOLO → Monitor VLM.
- Seleziona il blocco Immagine di input, scegli un dataset caricato e seleziona un'immagine che contenga una persona. Per la prova condivisa, usa un'immagine fino a 4 megapixel.
- Mantieni il modello nano YOLO26 predefinito. La condizione viene soddisfatta quando YOLO rileva almeno una persona.
- Seleziona Descrivi la scena, scegli un modello visione-linguaggio e inserisci un prompt. Se non l'hai già fatto, aggiungi la chiave del provider corrispondente in Impostazioni > Chiavi API. In uno spazio di lavoro del team, chiedi al proprietario dello spazio di lavoro di aggiungere o sostituire la chiave del provider.
- Per una breve esecuzione, lascia selezionata l'opzione Prova condivisa · 60 secondi, quindi fai clic su Esegui.
- Osserva l'aggiornamento dei blocchi e controlla l'Output. Se non viene rilevata alcuna persona, la condizione termina senza eseguire il ramo di descrizione.
Puoi eseguire una bozza prima di salvarla. Usa Salva flusso di lavoro per assegnare un nome al flusso e salvarlo per dopo; salvalo di nuovo dopo aver apportato modifiche. Il pulsante Python mostra il codice generato per il flusso di lavoro.
Inizia con un modello#
| Modello | Flusso di lavoro | Utile per |
|---|---|---|
| YOLO → Monitor VLM | Immagine → YOLO → condizione → modello visione-linguaggio → Output | Descrivere una scena solo quando viene rilevata una persona |
| Raccogli rilevamenti incerti | Dataset → Deployment → condizione sulla confidenza → Dataset | Creare un insieme da esaminare a partire da immagini con rilevamenti incerti |
| Acquisisci e avvisa | Immagine → YOLO → condizione → Dataset e Slack | Salvare un'immagine e inviare una notifica a un canale a partire dalla stessa condizione |
I modelli sono punti di partenza modificabili. Prima di eseguirli, seleziona le immagini, il deployment, il dataset di destinazione e le integrazioni per il tuo spazio di lavoro. Questi flussi di lavoro vengono eseguiti quando fai clic su Esegui; il modello Monitor analizza l'immagine di input selezionata.
Scegli dove eseguire#
Il selettore di esecuzione accanto a Esegui sceglie l'hardware per il flusso di lavoro.
| Scelta | Usala per | Limiti e prezzi |
|---|---|---|
| Prova condivisa · 60 secondi | Provare un flusso di lavoro breve | Fino a 60 secondi, 20 immagini di input totali fino a 4 megapixel ciascuna e 20 chiamate al modello/provider; un modello YOLO locale, con un modello nano YOLO26 ufficiale |
| Deployment dedicato esistente | Dataset più grandi, esecuzioni più lunghe o altri modelli locali | Usa l'hardware e i prezzi già previsti per quel deployment, incluso un deployment dedicato gratuito idoneo; nessun limite complessivo alla durata del flusso di lavoro o al numero di immagini |
| Nuovo deployment… | Creare hardware dedicato dal builder | Apre la finestra di dialogo esistente per la creazione e i prezzi dei deployment; scegli le risorse e attendi che il deployment sia pronto |
Le prove condivise consentono tre esecuzioni al minuto; le esecuzioni su un deployment dedicato non hanno limiti di frequenza. Le esecuzioni su Platform supportano fino a 20 blocchi. Le chiamate ai modelli/provider includono YOLO, i modelli visione-linguaggio, le predizioni dei deployment e le azioni Slack e Webhook; la ramificazione può aumentare il numero di chiamate per immagine di input.
Le esecuzioni dedicate proseguono tramite richieste con checkpoint sul deployment selezionato. Chiudere o ricaricare il browser non interrompe un'esecuzione. Restano validi i limiti dei deployment esistenti e dei provider, e l'utilizzo dei modelli linguistici viene fatturato dal provider associato alla tua chiave. Consulta i prezzi dei deployment per le opzioni hardware.
Un blocco Deployment seleziona l'endpoint utilizzato per una fase di predizione. Il selettore di esecuzione sceglie dove viene eseguito il flusso di lavoro. Puoi scegliere lo stesso deployment dedicato per entrambi.
Configura i blocchi#
| Blocco | Scopo |
|---|---|
| Immagine | Carica un'immagine o un video campionato, per impostazione predefinita, in un massimo di 10 fotogrammi, oppure seleziona un'immagine da un dataset caricato |
| Dataset senza una connessione in ingresso | Legge le immagini da un dataset e da una suddivisione selezionati, con un limite di input configurabile |
| YOLO | Esegue un modello ufficiale o un modello addestrato dello spazio di lavoro |
| Deployment | Esegue predizioni tramite un deployment Platform esistente e pronto |
| LLM | Invia l'immagine e il contesto dei blocchi precedenti al modello linguistico o visione-linguaggio selezionato |
| Gate | Controlla l'esecuzione dei blocchi successivi con una condizione o una cadenza |
| Dataset con una connessione in ingresso | Aggiunge l'immagine in ingresso a un dataset di destinazione |
| Slack | Invia un messaggio al canale Slack collegato allo spazio di lavoro |
| Webhook | POST un corpo JSON a un endpoint HTTPS |
| Esporta | Esporta un modello utilizzando il flusso di esportazione esistente di Platform |
| Output | Visualizza il risultato del blocco precedente |
Seleziona un blocco per modificarne le impostazioni. Collega l'output a un altro blocco per passargli il risultato. Un output può essere collegato a più blocchi: per esempio, collega una condizione sia a un dataset di destinazione sia a Slack. Ogni ramo usa la stessa condizione valutata.
Filtra i rilevamenti con una condizione#
Usa lo stesso blocco Gate per i conteggi dei rilevamenti e i filtri di confidenza. Scegli il risultato del blocco precedente, qualsiasi classe o una classe specifica e un confronto. Per esempio:
- Numero di persone ≥ 1: continua quando viene rilevata almeno una persona.
- Confidenza tra 0,25 e 0,5: continua quando almeno un rilevamento corrispondente rientra in quell'intervallo inclusivo.
- Una classe specifica in un intervallo di confidenza: raccogli solo i rilevamenti incerti di quella classe.
I filtri di confidenza esaminano i singoli rilevamenti. Un'immagine con punteggi di 0.3 e 0.9 soddisfa un intervallo 0.25–0.5 perché un rilevamento corrisponde ai criteri. Le immagini senza rilevamenti non soddisfano una condizione di confidenza. Imposta una soglia di confidenza sufficientemente bassa per il modello di predizione, così da mantenere i rilevamenti che vuoi valutare.
Una condizione non soddisfatta termina senza produrre output per i blocchi successivi. Le azioni collegate non vengono eseguite per quell'immagine.
Raccogli immagini da esaminare#
Apri Raccogli rilevamenti incerti, scegli il dataset e la suddivisione di origine, seleziona il deployment di predizione e configura l'intervallo di confidenza. Seleziona un dataset di destinazione esistente nell'ultimo blocco Dataset. Se necessario, crea prima un dataset dalla pagina Dataset.
Il dataset di destinazione riceve le immagini originali senza etichette nella suddivisione train. Le copie già esistenti vengono ignorate e si applicano le normali quote di archiviazione dei dataset. Le etichette di origine e le predizioni del modello non vengono copiate come annotazioni. Apri il dataset di destinazione nell'editor di annotazione esistente per esaminare ed etichettare le immagini raccolte.
Usa immagini ospitate a cui il tuo spazio di lavoro può accedere e un dataset di destinazione che puoi modificare. I dataset collegati ad archivi cloud e quelli on-premise non possono essere usati come destinazioni di raccolta.
Invia avvisi Slack condizionali#
Collega Slack in Impostazioni > Integrazioni, quindi collega una condizione a un blocco Slack. Inserisci il messaggio e usa {output} per includere il risultato del blocco precedente. Acquisisci e avvisa collega la stessa condizione anche a un dataset, così un'immagine corrispondente viene raccolta e viene inviato un messaggio al canale collegato.
I messaggi Slack del flusso di lavoro si configurano nel blocco. Sono separati dalle opzioni di notifica per l'addestramento, l'esportazione e i deployment disponibili in Impostazioni.
Invia webhook#
Un blocco Webhook invia un POST per ogni risultato con Content-Type: application/json a un URL HTTPS pubblico, così qualsiasi servizio che accetta una richiesta JSON può ricevere l'esito di una condizione. Inserisci l'URL di destinazione e un corpo JSON di massimo 10.000 caratteri con {output} all'interno di una stringa; il segnaposto verrà sostituito con il risultato del blocco precedente. Il blocco è terminale e non accetta connessioni in uscita. I reindirizzamenti non vengono seguiti, la connessione scade dopo 5 secondi e una risposta non 2xx causa il fallimento del blocco.
Segui i progressi e interrompi un'esecuzione#
I blocchi attivi mostrano una rotella verde. I blocchi completati mostrano un segno di spunta verde e un contorno verde; quelli non riusciti mostrano un contorno rosso. I conteggi indicano quali input hanno raggiunto ciascun blocco; i blocchi successivi non vengono eseguiti quando una condizione non è soddisfatta.
Ricaricando la pagina vengono ripristinati i progressi dell'esecuzione e il deployment selezionato per l'esecuzione. I risultati completati restano visibili per il flusso di lavoro corrispondente. Fai clic su Interrompi per annullare un'esecuzione attiva; l'annullamento attende che il blocco in esecuzione raggiunga un punto di annullamento. Interrompere o eliminare il deployment di esecuzione annulla anche il flusso di lavoro.
Risoluzione dei problemi#
- L'esecuzione supera i limiti della prova condivisa: seleziona un deployment dedicato, incluso un deployment gratuito idoneo, oppure riduci la risoluzione delle immagini, il numero di input e le chiamate al modello/provider.
- Il deployment è in preparazione o è fermo: attendi che sia pronto oppure avvialo da Deployment.
- Manca una chiave del provider: collega il provider selezionato in Impostazioni > Chiavi API. In uno spazio di lavoro del team, chiedi al proprietario dello spazio di lavoro di aggiungere o sostituire la chiave.
- Nessuna immagine raggiunge la destinazione: controlla la condizione e la soglia di confidenza della predizione. I risultati senza rilevamenti non soddisfano mai un intervallo di confidenza.
- Le immagini raccolte non hanno etichette: la raccolta aggiunge le immagini originali da esaminare. Usa gli strumenti di annotazione esistenti per etichettarle.