Агенты#
Agents связывает изображения, модели, условия и действия в визуальный рабочий процесс. Используй YOLO, чтобы определить, какие изображения требуют более внимательного изучения, запроси у модели «видео-текст» объяснение или собери выбранные изображения в набор данных для проверки.
Переключись на свое личное рабочее пространство с помощью селектора рабочей области на боковой панели и включи Ранний доступ в разделе Настройки > Профиль. Затем открой Agents на боковой панели или перейди по адресу platform.ultralytics.com/agents. Ранний доступ — это персональная настройка, которая действует и тогда, когда ты работаешь в рабочей области команды.
Запусти свой первый рабочий процесс#
- Открой Agents, нажмите Добавить блок > Шаблоны и выбери YOLO → VLM Monitor.
- Выбери блок Входное изображение, выбери загруженный набор данных и выбери изображение, на котором присутствует человек. Для общего пробного периода используй изображение размером до 4 мегапикселей.
- Сохрани модель YOLO26 nano по умолчанию. Условие срабатывает, когда YOLO обнаруживает хотя бы одного человека.
- Выбери Описать сцену, выбери модель «видео-текст» и введи подсказку. Добавь ключ соотвествующего провайдера в разделе Настройки > Ключи API, если ты еще этого не сделал. В командной рабочей области попроси владельца рабочей области добавить или заменить ключ провайдера.
- Оставь выбранным пункт Общий пробный период · 60 секунд для небольшого запуска, а затем нажмите Запустить.
- Следи за обновлением блоков и проверяй Вывод. Если человек не обнаружен, условие завершается без выполнения ветки описания.
Ты можешь запустить черновик перед его сохранением. Используй Сохранить рабочий процесс, чтобы дать рабочему процессу имя и сохранить его на будущее, и сохраняй снова после внесения изменений. Кнопка Python показывает сгенерированный код рабочего процесса.
Начни с шаблона#
| Шаблон | Рабочий процесс | Полезно для |
|---|---|---|
| YOLO → VLM Monitor | Изображение → YOLO → условие → модель «видео-текст» → Вывод | Описание сцены только тогда, когда обнаружен человек |
| Сбор неопределенных результатов обнаружения | Набор данных → Развертывание → условие достоверности → Набор данных | Создание набора для проверки из изображений с неопределенными результатами обнаружения |
| Захват и оповещение | Изображение → YOLO → условие → Набор данных и Slack | Сохранение изображения и отправка уведомления в канал по тому же условию |
Шаблоны представляют собой редактируемые отправные точки. Перед их запуском выбери изображения, развертывание, целевой набор данных и интеграции для своего рабочего пространства. Эти рабочие процессы выполняются при нажатии кнопки Запуск; шаблон монитора анализирует выбранное входное изображение.
Выбери место запуска#
Селектор выполнения рядом с кнопкой Запуск позволяет выбрать оборудование для рабочего процесса.
| Выбор | Используй его для | Лимиты и цены |
|---|---|---|
| Общий пробный период · 60 секунд | Тестирование небольшого рабочего процесса | До 60 секунд, до 20 входных изображений размером до 4 мегапикселей каждое и до 20 вызовов моделей/провайдеров; одна локальная модель YOLO с использованием официальной модели YOLO26 nano |
| Существующее выделенное развертывание | Большие наборы данных, более длительные запуски или другие локальные модели | Использует существующее оборудование и тарифы этого развертывания, включая подходящее бесплатное выделенное развертывание; общая длительность рабочего процесса и количество изображений не ограничены |
| Новое развертывание… | Создание выделенного оборудования с помощью конструктора | Открывает существующий диалог создания и ценообразования развертывания; выбери ресурсы и дождись готовности развертывания |
Общие пробные периоды разрешают две отправки каждые пять минут. Запуски на платформе поддерживают до 20 блоков. Вызовы моделей/провайдеров включают YOLO, модели «видео-текст», предсказания развертывания и действия в Slack; ветвление может увеличить количество вызовов на одно входное изображение.
Выделенные запуски продолжаются в рамках запросов с контрольными точками на выбранном развертывании. Закрытие или перезагрузка браузера не останавливает выполнение. Применяются существующие лимиты развертывания и ограничения провайдера, а использование языковой модели оплачивается провайдером, связанным с твоим ключом. См. информацию об ценообразовании развертывания для выбора вариантов оборудования.
Блок Развертывание выбирает конечную точку, используемую для этапа предсказания. Селектор выполнения определяет, где запускается сам рабочий процесс. Ты можешь выбрать одно и то же выделенное развертывание для обоих случаев.
Настройка блоков#
| Блок | Назначение |
|---|---|
| Изображение | Выбор одного изображения из загруженного набора данных |
| Набор данных без входящего соединения | Чтение изображений из выбранного набора данных и разбиения с настраиваемым лимитом ввода |
| YOLO | Запуск официальной модели или обученной модели из рабочей области |
| Развертывание | Предсказание с использованием существующего готового развертывания платформы |
| LLM | Отправка изображения и вышестоящего контекста в выбранную языковую модель или модель «видео-текст» |
| Шлюз | Управление последующим выполнением с помощью условия или тактовой частоты |
| Набор данных с входящим соединением | Добавление входящего изображения в целевой набор данных |
| Slack | Отправка сообщения в подключенный канал Slack рабочей области |
| Экспорт | Экспорт модели с использованием существующего рабочего процесса экспорта платформы |
| Вывод | Отображение результата предыдущего этапа |
Выбери блок, чтобы изменить его настройки. Подключи вывод к другому блоку, чтобы передать его результат дальше по цепочке. Один вывод может подключаться к нескольким блокам: например, подключи одно условие как к целевому набору данных, так и к Slack. Каждая ветка использует одно и то же вычисленное условие.
Фильтрация обнаружений с помощью условия#
Используй тот же блок Шлюз для подсчета обнаружений и фильтров уверенности. Выбери результат предыдущего этапа, любой класс или конкретный класс, а также сравнение. Например:
- Количество людей ≥ 1: продолжать, если обнаружен хотя бы один человек.
- Уверенность от 0.25 до 0.5: продолжать, если хотя бы одно подходящее обнаружение попадает в этот диапазон включительно.
- Конкретный класс в диапазоне уверенности: сбор неопределенных результатов обнаружения только для этого класса.
Фильтры уверенности проверяют отдельные обнаружения. Изображение с оценками 0.3 и 0.9 проходит диапазон 0.25–0.5, поскольку одно обнаружение совпадает. Изображения без обнаружений не проходят условие уверенности. Установи порог уверенности модели предсказания достаточно низким, чтобы сохранить обнаружения, которые ты хочешь оценить.
Условие, которое не совпадает, завершается без вывода вниз по цепочке. Связанные с ним действия для этого изображения не выполняются.
Сбор изображений для проверки#
Открой Сбор неопределенных результатов обнаружения, выбери исходный набор данных и разбиение, выбери развертывание предсказаний и настрой диапазон уверенности. Выбери существующий целевой набор данных в финальном блоке Набор данных. При необходимости создай набор данных на странице наборов данных заранее.
Целевой объект получает исходные изображения без разметки в своем разбиении train. Существующие копии пропускаются, и применяются обычные квоты хранения наборов данных. Исходные метки и предсказания моделей не копируются в качестве аннотаций. Открой целевой объект в существующем редакторе аннотаций, чтобы проверить собранные изображения и разметить их.
Используй размещенные изображения, к которым у твоей рабочей области есть доступ, и целевой набор данных, который ты можешь редактировать. Подключенные хранилища в облаке и локальные наборы данных нельзя использовать в качестве целевых объектов сбора.
Отправка условных оповещений в Slack#
Подключи Slack в разделе Настройки > Интеграции, а затем подключи условие к блоку Slack. Введи сообщение и используй {output}, чтобы включить результат предыдущего этапа. Захват и оповещение также связывает это же условие с набором данных, поэтому подходящее изображение собирается, а в подключенный канал отправляется сообщение.
Сообщения Slack для рабочего процесса настраиваются в самом блоке. Они отделены от параметров уведомлений об обучении, экспорте и развертывании в Настройках.
Отслеживание прогресса и остановка запуска#
Активные блоки отображают зеленый индикатор загрузки. Завершенные блоки отображают зеленую галочку и зеленый контур; неудачные блоки отображают красный контур. Счетчики показывают, какие входные данные дошли до каждого блока, а последующие блоки остаются невыполненными, если условие не выполнено.
Перезагрузка страницы восстанавливает прогресс выполнения и выбранное развертывание для запуска. Завершенные результаты остаются видимыми для соответствующего рабочего процесса. Нажми Остановить, чтобы отменить активный запуск; отмена ожидает достижения выполняемым блоком точки отмены. Остановка или удаление его развертывания также отменяет рабочий процесс.
Устранение неполадок#
- Agents отсутствует на боковой панели: включи Ранний доступ в своем личном разделе Настройки > Профиль.
- Запуск превышает лимиты общего пробного периода: выбери выделенное развертывание, включая подходящее бесплатное развертывание, или уменьши разрешение изображения, количество входных данных и количество вызовов моделей/провайдеров.
- Развертывание подготавливается или остановлено: дождитесь его готовности или запусти его из раздела Deployments.
- Ключ провайдера отсутствует: подключи выбранного провайдера в разделе Настройки > Ключи API. В командной рабочей области попроси владельца рабочей области добавить или заменить ключ.
- Ни одно изображение не доходит до конечной точки: проверь условие и порог уверенности предсказания. Пустые результаты обнаружения никогда не удовлетворяют диапазону уверенности.
- Собранные изображения не содержат меток: сбор добавляет исходные изображения для проверки. Используй существующие инструменты аннотирования, чтобы разметить их.