Агенты#
Агенты объединяют изображения, модели, условия и действия в визуальном рабочем процессе. Используй YOLO, чтобы определить, какие изображения нужно рассмотреть внимательнее, попроси визуально-языковую модель объяснить их или собери выбранные изображения в набор данных для проверки.
Открой Агенты на боковой панели или перейди на страницу platform.ultralytics.com/agents. Раздел «Агенты» отображается на боковой панели у всех вошедших пользователей — как в личных, так и в командных рабочих пространствах. Включать параметр Early access не нужно.
Запусти первый рабочий процесс#
- Открой Агенты, нажми Добавить блок > Шаблоны и выбери YOLO → Монитор VLM.
- Выбери блок Входное изображение, укажи загруженный набор данных и выбери изображение с человеком. Для общей пробной версии используй изображение размером не более 4 мегапикселей.
- Оставь модель YOLO26 nano по умолчанию. Условие выполняется, если YOLO обнаруживает хотя бы одного человека.
- Выбери Описать сцену, укажи визуально-языковую модель и введи запрос. Если ты ещё этого не сделал, добавь ключ выбранного провайдера в разделе Настройки > Ключи API. В командном рабочем пространстве попроси владельца рабочего пространства добавить или заменить ключ провайдера.
- Для небольшого запуска оставь выбранным вариант Общая пробная версия · 60 секунд, затем нажми Запустить.
- Следи за обновлением блоков и проверь Вывод. Если человек не обнаружен, условие завершится без запуска ветки описания.
Перед сохранением можно запустить черновик. Нажми Сохранить рабочий процесс, чтобы задать ему имя и сохранить для дальнейшего использования. После внесения изменений сохрани его ещё раз. Кнопка Python показывает сгенерированный код рабочего процесса.
Начни с шаблона#
| Шаблон | Рабочий процесс | Для чего подходит |
|---|---|---|
| YOLO → Монитор VLM | Изображение → YOLO → условие → визуально-языковая модель → вывод | Описание сцены только при обнаружении человека |
| Сбор неуверенных обнаружений | Набор данных → развёртывание → условие по уверенности → набор данных | Создание набора для проверки из изображений с неуверенными обнаружениями |
| Захват и оповещение | Изображение → YOLO → условие → набор данных и Slack | Сохранение изображения и отправка уведомления в канал при выполнении одного и того же условия |
Шаблоны — это редактируемые заготовки. Перед запуском выбери изображения, развёртывание, целевой набор данных и интеграции для своего рабочего пространства. Эти рабочие процессы запускаются по нажатию Запустить; шаблон «Монитор» анализирует выбранное входное изображение.
Выбери, где запускать#
С помощью переключателя выполнения рядом с кнопкой Запустить выбери оборудование для рабочего процесса.
| Вариант | Для чего использовать | Ограничения и цены |
|---|---|---|
| Общая пробная версия · 60 секунд | Для проверки небольшого рабочего процесса | Не более 60 секунд, 20 входных изображений суммарно размером до 4 мегапикселей каждое и 20 вызовов моделей/провайдеров; одна локальная модель YOLO на основе официальной модели YOLO26 nano |
| Существующее выделенное развёртывание | Для больших наборов данных, длительных запусков или других локальных моделей | Используются существующее оборудование и тариф этого развёртывания, в том числе подходящее бесплатное выделенное развёртывание; общих ограничений на длительность рабочего процесса или количество изображений нет |
| Новое развёртывание… | Для создания выделенного оборудования в конструкторе | Откроется существующий диалог создания развёртывания и выбора тарифа; выбери ресурсы и дождись готовности развёртывания |
В рамках общих пробных запусков разрешено выполнять три запуска в минуту; для запусков на выделенном развёртывании ограничений частоты нет. Запуски на платформе поддерживают до 20 блоков. К вызовам моделей и провайдеров относятся вызовы YOLO, визуально-языковых моделей, предсказаний развёртывания, а также действия Slack и Webhook. Ветвление может увеличить число вызовов на каждое входное изображение.
Выделенные запуски продолжаются в виде запросов с контрольными точками на выбранном развёртывании. Закрытие или перезагрузка браузера не останавливает запуск. Ограничения существующего развёртывания и провайдера по-прежнему действуют, а использование языковой модели оплачивается провайдеру, связанному с твоим ключом. Варианты оборудования смотри на странице тарифов развёртываний.
Блок Развёртывание выбирает конечную точку для шага предсказания. Переключатель выполнения определяет, где запускается сам рабочий процесс. Для обоих вариантов можно выбрать одно и то же выделенное развёртывание.
Настрой блоки#
| Блок | Назначение |
|---|---|
| Изображение | Загрузи изображение или видео, которое по умолчанию будет преобразовано максимум в 10 кадров, либо выбери одно изображение из загруженного набора данных |
| Набор данных без входящего соединения | Чтение изображений из выбранного набора данных и его раздела с настраиваемым ограничением на количество входных данных |
| YOLO | Запусти официальную модель или обученную модель из рабочего пространства |
| Развёртывание | Выполни предсказание с помощью готового развёртывания на платформе |
| LLM | Передай изображение и предшествующий контекст выбранной языковой или визуально-языковой модели |
| Шлюз | Управляй выполнением последующих блоков с помощью условия или периодичности |
| Набор данных с входящим соединением | Добавь входящее изображение в целевой набор данных |
| Slack | Отправь сообщение в подключённый канал Slack рабочего пространства |
| Webhook | POST JSON-тело на конечную точку HTTPS |
| Экспорт | Экспортируй модель с помощью существующего процесса экспорта платформы |
| Вывод | Показать результат предшествующего блока |
Выбери блок, чтобы изменить его настройки. Соедини выход одного блока с другим, чтобы передать результат дальше. Один выход можно соединить с несколькими блоками: например, подключить одно условие и к целевому набору данных, и к Slack. Для каждой ветки используется результат проверки одного и того же условия.
Фильтруй обнаружения по условию#
Используй один и тот же блок Шлюз для фильтрации по количеству обнаружений и уверенности. Выбери результат предшествующего блока, любой класс или конкретный класс, а также условие сравнения. Например:
- Количество людей ≥ 1: продолжить, если обнаружен хотя бы один человек.
- Уверенность от 0,25 до 0,5: продолжить, если хотя бы одно подходящее обнаружение попадает в этот диапазон, включая его границы.
- Конкретный класс в диапазоне уверенности: собирать неуверенные обнаружения только для этого класса.
Фильтры уверенности проверяют отдельные обнаружения. Изображение с оценками 0.3 и 0.9 проходит проверку по диапазону 0.25–0.5, если ему соответствует хотя бы одно обнаружение. Изображения без обнаружений не проходят условие по уверенности. Установи достаточно низкий порог уверенности модели предсказания, чтобы сохранить обнаружения, которые нужно проверить.
Если условие не выполнено, его выполнение завершается без выходных данных для последующих блоков. Подключённые к нему действия для этого изображения не запускаются.
Собирай изображения для проверки#
Открой Сбор неуверенных обнаружений, выбери исходный набор данных и его раздел, укажи развёртывание для предсказаний и настрой диапазон уверенности. В последнем блоке Набор данных выбери существующий целевой набор данных. Если нужно, сначала создай набор данных на странице «Наборы данных».
В целевой набор данных добавляются исходные изображения без разметки в раздел train. Уже имеющиеся копии пропускаются; действуют обычные квоты на хранение данных. Исходные метки и предсказания модели не копируются в качестве аннотаций. Открой целевой набор в существующем редакторе аннотаций, чтобы проверить и разметить собранные изображения.
Используй размещённые изображения, доступные твоему рабочему пространству, и целевой набор данных, который ты можешь редактировать. Наборы данных в подключённом облачном хранилище и в локальной инфраструктуре нельзя использовать в качестве целевых для сбора.
Отправляй уведомления в Slack при выполнении условия#
Подключи Slack в разделе Настройки > Интеграции, затем подключи условие к блоку Slack. Введи сообщение и используй {output}, чтобы добавить результат предшествующего блока. В шаблоне Захват и оповещение это же условие подключено и к набору данных: при его выполнении изображение добавляется в набор данных, а сообщение отправляется в подключённый канал.
Сообщения Slack для рабочего процесса настраиваются в блоке. Они не связаны с параметрами уведомлений об обучении, экспорте и развёртывании в настройках.
Отправляй вебхуки#
Блок Webhook отправляет по одному POST для каждого результата с Content-Type: application/json на общедоступный URL HTTPS, поэтому результат выполнения условия получит любая служба, принимающая JSON-запросы. Введи URL назначения и JSON-тело длиной до 10 000 символов, содержащее {output} внутри строки; вместо этого маркера подставляется результат предшествующего блока. Блок является конечным и не поддерживает исходящие соединения. Перенаправления не обрабатываются, время ожидания соединения составляет 5 секунд, а ответ с кодом, отличным от 2xx, приводит к сбою блока.
Следи за ходом выполнения и останавливай запуск#
У активных блоков отображается зелёный индикатор выполнения. У завершённых блоков — зелёная галочка и зелёная рамка; у блоков с ошибкой — красная рамка. Счётчики показывают, сколько входных данных достигло каждого блока. Если условие не выполнено, последующие блоки не запускаются.
После перезагрузки страницы восстанавливаются ход выполнения и выбранное развёртывание для запуска. Результаты завершённых блоков остаются видимыми для соответствующего рабочего процесса. Нажми Остановить, чтобы отменить активный запуск; отмена произойдёт, когда выполняющийся блок достигнет точки отмены. Остановка или удаление развёртывания, на котором выполняется запуск, также отменяет рабочий процесс.
Устранение неполадок#
- Запуск превышает ограничения общей пробной версии: выбери выделенное развёртывание, в том числе подходящее бесплатное, либо уменьши разрешение изображений, количество входных изображений и число вызовов моделей/провайдеров.
- Развёртывание готовится или остановлено: дождись его готовности или запусти его на странице «Развёртывания».
- Отсутствует ключ провайдера: подключи выбранного провайдера в разделе Настройки > Ключи API. В командном рабочем пространстве попроси владельца рабочего пространства добавить или заменить ключ.
- До целевого набора данных не доходят изображения: проверь условие и порог уверенности предсказания. Пустые результаты обнаружения никогда не удовлетворяют диапазону уверенности.
- У собранных изображений нет меток: при сборе добавляются исходные изображения для проверки. Разметь их с помощью имеющихся инструментов аннотирования.