YOLO Vision 2026:

智能体#

智能体在可视化工作流中将图像、模型、条件和操作连接起来。使用 YOLO 决定哪些图像需要仔细查看,让视觉语言模型对其进行解释,或者将选定的图像收集到数据集中以供审查。

使用侧边栏的工作室选择器切换到你的个人工作室,并在 设置 > 个人资料 中启用抢先体验。然后在侧边栏中打开智能体,或访问 platform.ultralytics.com/agents。抢先体验是一项个人偏好设置,即使你在团队工作室中工作也适用。

Ultralytics Platform 智能体画布,显示连接到 YOLO、条件、视觉语言模型和输出块的图像

运行你的第一个工作流#

  1. 打开智能体,点击添加块 > 模板,然后选择 YOLO → VLM 监控器
  2. 输入图像块,选择一个已上传的数据集,并选择一张包含人物的图像。在共享试用中使用最大 400 万像素(4 megapixels)的图像。
  3. 保持默认的 YOLO26 nano 模型不变。当 YOLO 检测到至少一个人时,条件通过。
  4. 选择描述场景,选择一个视觉语言模型,并输入提示词。如果尚未添加,请在 Settings > API Keys添加匹配的提供商密钥。在团队工作室中,请让工作室拥有者添加或替换提供商密钥。
  5. 保持选中共享试用 · 60 秒以进行小型运行,然后点击运行
  6. 观察块的更新并检查输出。如果未检测到人员,条件将在不运行描述分支的情况下结束。

你可以在保存草稿之前运行它。使用保存工作流命名并保存工作流以便以后使用,并在修改后再次保存。Python 按钮显示生成的工作流代码。

从模板开始#

模板工作流适用于
YOLO → VLM 监控器图像 → YOLO → 条件 → 视觉语言模型 → 输出仅在检测到人物时描述场景
收集不确定检测结果数据集 → 部署 → 置信度条件 → 数据集从具有不确定检测结果的图像中构建审查集
捕获并警报图像 → YOLO → 条件 → 数据集和 Slack从同一条件保存图像并向频道发送通知

模板是可编辑的起点。在运行它们之前,请为你的工作室选择图像、部署、目标数据集和集成。这些工作流在你点击运行时执行;监控器模板会分析选定的输入图像。

Ultralytics Platform 智能体模板选择器,包含 YOLO 到 VLM 监控器、收集不确定检测结果以及捕获和警报

选择运行位置#

运行旁边的执行选择器用于选择工作流的硬件。

选项将其用于限制与定价
共享试用 · 60 秒尝试小型工作流最长 60 秒,总共最多 20 个输入图像(每个最大 400 万像素),以及最多 20 次模型/提供商调用;一个本地 YOLO 模型,使用官方的 YOLO26 nano 模型
现有专用部署更大的数据集、更长的运行时间或其他本地模型使用该部署现有的硬件和定价,包括符合条件的免费专用部署;没有总体工作流时长或图像数量上限
新部署…从构建器创建专用硬件打开现有的部署创建和定价对话框;选择资源并等待部署就绪

共享试用每五分钟允许两次提交。Platform 运行支持最多 20 个块。模型/提供商调用包括 YOLO、视觉语言模型、部署预测和 Slack 操作;分支可能会增加每个输入图像的调用次数。

专用运行在所选部署的检查点请求中继续。关闭或重新加载浏览器不会停止运行。现有的部署限制和提供商限制仍然适用,语言模型的使用费用由与你的密钥关联的提供商结算。有关硬件选项,请参阅部署定价

部署块选择用于预测步骤的端点。执行选择器选择工作流本身的运行位置。你可以为两者选择相同的专用部署。

Ultralytics Platform 智能体执行选择器,显示共享 60 秒试用、现有专用部署和新部署

配置块#

用途
图像从上传的数据集中选择一张图像
无入站连接的数据集从选定的数据集和数据划分中读取图像,并具有可配置的输入限制
YOLO运行官方模型或来自工作室的训练模型
部署通过现有的就绪 Platform 部署进行预测
LLM将图像和上游上下文发送到选定的语言模型或视觉语言模型
门控使用条件或步调控制下游执行
带有入站连接的数据集将入站图像添加到目标数据集
Slack向工作室连接的 Slack 频道发送消息
导出使用 Platform 现有的导出工作流导出模型
输出显示上游结果

选择一个块来编辑其设置。将一个输出连接到另一个块以将其结果传递到下游。一个输出可以连接到多个块:例如,将一个条件同时连接到目标数据集和 Slack。每个分支使用相同的评估条件。

使用条件过滤检测结果#

使用相同的门控块进行检测计数和置信度过滤。选择上游结果、任意类别或特定类别以及比较方式。例如:

  • 人数 ≥ 1:检测到至少一个人时继续。
  • 置信度在 0.25 到 0.5 之间:至少有一个匹配的检测结果落入该包含性范围内时继续。
  • 置信度范围内的特定类别:仅收集该类别的不确定检测结果。

置信度过滤器检查单个检测结果。分数为 0.30.9 的图像可以通过 0.25–0.5 范围,因为有一个检测结果匹配。没有检测结果的图像不会通过置信度条件。将预测模型的置信度截断值设置得足够低,以便保留你想要评估的检测结果。

不匹配的条件在完成时没有下游输出。其连接的操作不会针对该图像运行。

Ultralytics Platform 智能体条件设置,选择任意类别和从 0.25 到 0.5 的包含性检测置信度范围

收集图像以供审查#

打开收集不确定检测结果,选择源数据集和数据划分,选择你的预测部署,并配置置信度范围。在最终的Dataset块中选择现有的目标数据集。如果需要,请先从数据集页面创建一个数据集。

目标端会收到未标记的原始图像,保存在其 train 划分中。现有的副本会被跳过,并且常规的数据集存储配额适用。源标签和模型预测不会作为标注复制。在现有的标注编辑器中打开目标端以审查和标注收集到的图像。

使用你的工作室可以访问的托管图像以及你可以编辑的目标数据集。连接的云存储和本地数据集不能用作收集目标。

发送条件 Slack 警报#

Settings > Integrations连接 Slack,然后将条件连接到 Slack 块。输入消息并使用 {output} 包含上游结果。捕获并警报还将该相同条件连接到数据集,以便收集匹配的图像并向连接的频道发送消息。

工作流 Slack 消息在块中进行配置。它们与设置中的训练、导出和部署通知选项是分开的。

跟踪进度并停止运行#

活动块显示绿色旋转图标。已完成的块显示绿色勾号和绿色轮廓;失败的块显示红色轮廓。计数显示哪些输入已到达每个块,当条件不匹配时,下游块保持未执行状态。

重新加载页面会恢复运行的进度和所选的执行部署。已完成的结果对于匹配的工作流保持可见。点击停止以取消活动运行;取消操作会等待正在执行的块到达取消点。停止或删除其执行部署也会取消工作流。

Ultralytics Platform 智能体已完成的图像到 YOLO 到输出工作流,带有绿色勾号、处理后的图像计数和检测结果

故障排除#

  • 侧边栏中缺少智能体:在你的个人 Settings > Profile 中启用抢先体验
  • **运行超出共享试用限制:**选择专用部署(包括符合条件的免费部署),或减小图像分辨率、输入数量和模型/提供商调用次数。
  • **部署正在准备中或已停止:**等待其就绪或从部署中启动它。
  • **缺少提供商密钥:**在 Settings > API Keys连接选定的提供商。在团队工作室中,请让工作室拥有者添加或替换密钥。
  • **没有图像到达目标端:**检查条件和预测置信度截断值。空的检测结果永远无法满足置信度范围。
  • **收集到的图像没有标签:**收集操作会添加原始图像以供审查。使用现有的标注工具对其进行标注。

评论