Agenti#
Agenti collega immagini, modelli, condizioni e azioni in un flusso di lavoro visivo. Usa YOLO per decidere quali immagini richiedono un controllo più attento, chiedi a un modello di visione-linguaggio di spiegarle o raccogli immagini selezionate in un dataset per la revisione.
Passa al tuo spazio di lavoro personale usando il selettore dello spazio di lavoro nella barra laterale e abilita Accesso anticipato in Impostazioni > Profilo. Apri quindi Agenti nella barra laterale o vai su platform.ultralytics.com/agents. L'accesso anticipato è una preferenza personale, anche quando lavori in uno spazio di lavoro di team.
Esegui il tuo primo flusso di lavoro#
- Apri Agenti, fai clic su Aggiungi blocco > Modelli e scegli YOLO → Monitor VLM.
- Seleziona il blocco Immagine di input, scegli un dataset caricato e seleziona un'immagine contenente una persona. Usa un'immagine fino a 4 megapixel per la prova condivisa.
- Mantieni il modello nano YOLO26 predefinito. La condizione si attiva quando YOLO rileva almeno una persona.
- Seleziona Descrivi la scena, scegli un modello di visione-linguaggio e inserisci un prompt. Aggiungi la chiave del provider corrispondente in Impostazioni > Chiavi API se non l'hai già fatto. In uno spazio di lavoro di team, chiedi al proprietario dello spazio di lavoro di aggiungere o sostituire la chiave del provider.
- Mantieni selezionato Prova condivisa · 60 secondi per un'esecuzione breve, quindi fai clic su Esegui.
- Osserva l'aggiornamento dei blocchi e ispeziona l'Output. Se non viene rilevata alcuna persona, la condizione termina senza eseguire il ramo di descrizione.
Puoi eseguire una bozza prima di salvarla. Usa Salva flusso di lavoro per dare un nome e salvare un flusso di lavoro per dopo, e salvalo di nuovo dopo aver apportato modifiche. Il pulsante Python mostra il codice del flusso di lavoro generato.
Inizia con un modello#
| Modello | Flusso di lavoro | Utile per |
|---|---|---|
| YOLO → Monitor VLM | Immagine → YOLO → condizione → modello di visione-linguaggio → Output | Descrivere una scena solo quando viene rilevata una persona |
| Raccogli rilevamenti incerti | Dataset → Distribuzione → condizione di confidenza → Dataset | Costruire un set di revisione da immagini con rilevamenti incerti |
| Acquisisci e avvisa | Immagine → YOLO → condizione → Dataset e Slack | Salvare un'immagine e inviare una notifica a un canale dalla stessa condizione |
I modelli sono punti di partenza modificabili. Seleziona le immagini, la distribuzione, il dataset di destinazione e le integrazioni per il tuo spazio di lavoro prima di eseguirli. Questi flussi di lavoro vengono eseguiti quando fai clic su Esegui; il modello del monitor analizza l'immagine di input selezionata.
Scegli dove eseguire#
Il selettore di esecuzione accanto a Esegui sceglie l'hardware per il flusso di lavoro.
| Scelta | Usalo per | Limiti e prezzi |
|---|---|---|
| Prova condivisa · 60 secondi | Provare un piccolo flusso di lavoro | Fino a 60 secondi, 20 immagini di input totali di massimo 4 megapixel ciascuna e 20 chiamate a modelli/provider; un modello YOLO locale, utilizzando un modello nano YOLO26 ufficiale |
| Distribuzione dedicata esistente | Dataset più grandi, esecuzioni più lunghe o altri modelli locali | Utilizza l'hardware e i prezzi esistenti di tale distribuzione, inclusa una distribuzione dedicata gratuita idonea; nessun limite complessivo sulla durata del flusso di lavoro o sul numero di immagini |
| Nuova distribuzione... | Creazione di hardware dedicato dal builder | Apre la finestra di dialogo di creazione e prezzo della distribuzione esistente; scegli le risorse e attendi che la distribuzione sia pronta |
Le prove condivise consentono due invii ogni cinque minuti. Le esecuzioni sulla piattaforma supportano fino a 20 blocchi. Le chiamate a modelli/provider includono YOLO, modelli di visione-linguaggio, predizioni di distribuzione e azioni Slack; la ramificazione può aumentare il numero di chiamate per immagine di input.
Le esecuzioni dedicate continuano in richieste salvate tramite checkpoint sulla distribuzione selezionata. La chiusura o il ricaricamento del browser non interrompono un'esecuzione. Si applicano ancora i limiti di distribuzione esistenti e i limiti dei provider, e l'utilizzo dei modelli linguistici viene fatturato dal provider associato alla tua chiave. Vedi i prezzi di distribuzione per le opzioni hardware.
Un blocco Distribuzione seleziona l'endpoint utilizzato per una fase di predizione. Il selettore di esecuzione sceglie dove viene eseguito il flusso di lavoro stesso. Puoi scegliere la stessa distribuzione dedicata per entrambi.
Configura i blocchi#
| Blocco | Scopo |
|---|---|
| Immagine | Seleziona un'immagine da un dataset caricato |
| Dataset senza una connessione in entrata | Legge le immagini da un dataset e da una suddivisione selezionati, con un limite di input configurabile |
| YOLO | Esegui un modello ufficiale o un modello addestrato dallo spazio di lavoro |
| Distribuzione | Esegui predizioni tramite una distribuzione della piattaforma esistente e pronta |
| LLM | Invia l'immagine e il contesto upstream al modello linguistico o di visione-linguaggio selezionato |
| Gate | Controlla l'esecuzione downstream con una condizione o una cadenza |
| Dataset con una connessione in entrata | Aggiunge l'immagine in entrata a un dataset di destinazione |
| Slack | Invia un messaggio al canale Slack connesso dello spazio di lavoro |
| Esporta | Esporta un modello utilizzando il flusso di lavoro di esportazione esistente della piattaforma |
| Output | Visualizza il risultato upstream |
Seleziona un blocco per modificarne le impostazioni. Collega un output a un altro blocco per passare il suo risultato downstream. Un output può essere collegato a più blocchi: ad esempio, collega una condizione sia a un dataset di destinazione sia a Slack. Ogni ramo utilizza la stessa condizione valutata.
Filtra i rilevamenti con una condizione#
Usa lo stesso blocco Gate per il conteggio dei rilevamenti e i filtri di confidenza. Scegli il risultato upstream, qualsiasi classe o una classe specifica e un confronto. Ad esempio:
- Conteggio persone ≥ 1: continua quando viene rilevata almeno una persona.
- Confidenza tra 0.25 e 0.5: continua quando almeno un rilevamento corrispondente rientra in tale intervallo inclusivo.
- Una classe specifica in un intervallo di confidenza: raccoglie i rilevamenti incerti solo per quella classe.
I filtri di confidenza esaminano i singoli rilevamenti. Un'immagine con punteggi di 0.3 e 0.9 supera un intervallo 0.25–0.5 perché un rilevamento corrisponde. Le immagini senza rilevamenti non superano una condizione di confidenza. Imposta la soglia di confidenza del modello di predizione su un valore sufficientemente basso da conservare i rilevamenti che desideri valutare.
Una condizione che non corrisponde si completa senza output downstream. Le sue azioni collegate non vengono eseguite per quell'immagine.
Raccogli immagini per la revisione#
Apri Raccogli rilevamenti incerti, scegli un dataset di origine e una suddivisione, seleziona la tua distribuzione di predizione e configura l'intervallo di confidenza. Seleziona un dataset di destinazione esistente nel blocco Dataset finale. Crea prima un dataset dalla pagina dei dataset, se necessario.
La destinazione riceve le immagini originali, non etichettate, nella sua suddivisione train. Le copie esistenti vengono saltate e si applicano le normali quote di archiviazione dei dataset. Le etichette di origine e le predizioni del modello non vengono copiate come annotazioni. Apri la destinazione nell'editor di annotazioni esistente per esaminare ed etichettare le immagini raccolte.
Usa immagini ospitate a cui il tuo spazio di lavoro può accedere e un dataset di destinazione che puoi modificare. I dataset di cloud storage connessi e on-premise non possono essere usati come destinazioni di raccolta.
Invia avvisi Slack condizionali#
Collega Slack in Impostazioni > Integrazioni, quindi collega una condizione a un blocco Slack. Inserisci il messaggio e usa {output} per includere il risultato upstream. Acquisisci e avvisa collega anche la stessa condizione a un dataset, in modo che un'immagine corrispondente venga raccolta e venga inviato un messaggio al canale connesso.
I messaggi Slack del flusso di lavoro sono configurati nel blocco. Sono separati dalle scelte di notifica di addestramento, esportazione e distribuzione in Impostazioni.
Segui l'avanzamento e interrompi un'esecuzione#
I blocchi attivi mostrano un'icona di caricamento verde. I blocchi completati mostrano un segno di spunta verde e un contorno verde; i blocchi non riusciti mostrano un contorno rosso. I conteggi mostrano quali input hanno raggiunto ciascun blocco e i blocchi downstream rimangono non eseguiti quando una condizione non corrisponde.
Il ricaricamento della pagina ripristina l'avanzamento dell'esecuzione e la distribuzione di esecuzione selezionata. I risultati completati rimangono visibili per il flusso di lavoro corrispondente. Fai clic su Interrompi per annullare un'esecuzione attiva; l'annullamento attende che il blocco in esecuzione raggiunga un punto di annullamento. L'interruzione o l'eliminazione della sua distribuzione di esecuzione annulla anche il flusso di lavoro.
Risoluzione dei problemi#
- Agenti non è presente nella barra laterale: abilita Accesso anticipato nel tuo Impostazioni > Profilo personale.
- L'esecuzione supera i limiti della prova condivisa: seleziona una distribuzione dedicata, inclusa una distribuzione gratuita idonea, oppure riduci la risoluzione dell'immagine, il conteggio degli input e le chiamate a modelli/provider.
- La distribuzione è in fase di preparazione o è interrotta: attendi che sia pronta o avviala da Distribuzioni.
- Manca una chiave del provider: collega il provider selezionato in Impostazioni > Chiavi API. In uno spazio di lavoro di team, chiedi al proprietario dello spazio di lavoro di aggiungere o sostituire la chiave.
- Nessuna immagine raggiunge la destinazione: ispeziona la condizione e la soglia di confidenza della predizione. I risultati di rilevamento vuoti non soddisfano mai un intervallo di confidenza.
- Le immagini raccolte non hanno etichette: la raccolta aggiunge le immagini originali per la revisione. Usa gli strumenti di annotazione esistenti per etichettarle.