UI 坐席包 - UI 坐席 是 Automation Anywhere 的完全自主推理引擎,可通过自然语言提示来构建和执行可靠的无人值守 UI 自动化。

Automation 360

UI 坐席 是 Automation Anywhere 的完全自主推理引擎,可通过自然语言提示来构建和执行可靠的无人值守 UI 自动化。

注: 生成式 AI 模型可能会产生错误或错误地显示它们生成的信息。 建议核实人工智能模型生成内容的准确性、可靠性和完整性。

概览

虽然 RPA 可以编写单击脚本,UI 坐席(或计算机使用)能让我们以目标驱动的计划替代选择器与僵化流程,以此描述结果;该计划可适配 UI 变化,并在运行时执行复杂推理。

这种灵活性使 UI 坐席 非常适合团队在不重写系统的情况下对脆弱且复杂的自动化进行现代化改造。

优势

易于构建和维护: UI 坐席 本质上是基于目标的 AI 坐席,专为在浏览器上运行而设计。UI 坐席 以自然语言编写的目标作为输入,并直接在目标应用中执行该目标。 因此,它们极易构建,维护起来也更为简便。

自适应且具备弹性: UI 坐席 不依赖于特定布局的脚本。 它们能够理解页面状态,分析所呈现的信息,并决定下一步的操作——因此,自动化能够在网站发生变化时持续运行,并且只需极少的返工即可扩展到多个站点。

自动化端到端工作流导航: 我们还设计了这些 UI 坐席,使其能够与 RPA 操作协同工作。 这表示您可以轻松地在同一个编辑器中自动处理跨浏览器和非浏览器步骤的端到端流程。

运作方式


图像展示 UI 坐席 的工作流。
UI 坐席 以自然语言目标作为输入,然后自动启动目标网站。

首先,它会观察页面的当前状态,然后为分配给它的目标创建一个计划。 然后,它会在浏览器上执行这些计划的操作,并检查用户目标是否已完成,或是否需要更多操作。 如果需要更多操作,则它会再次观察网站状态,创建新计划,执行并检查输出。

坐席将持续运行此循环,直到用户目标完全达成。

关键特性与价值主张

我们总结一下 UI 坐席 的一些关键特性:

  • 它利用大型动作模型 (LAM),对网站导航具有深刻理解,可实现高度的可靠性和准确性。
  • 它还无缝集成于同一自动化编辑器中,从而缩短学习曲线,并使用户能够在同一界面轻松构建复杂的自动化。
  • 它还内置了治理功能和防护机制,确保您能够安全地执行这些操作。
  • 最后,我们会在每个操作模型上线前,严格审核其可靠性、稳定性和准确性。

通过这些特性,您获得的一个关键成果是更快的价值实现时间,您可以非常快速地构建自动化;同时能够解锁此前难以实现自动化的新场景。

日志与审计

执行 UI 坐席 时,每个提示和响应都会作为治理事件被记录在 AI 治理 > 提示和事件下。 事件由来源和提示类型标识。 每个会话都会记录每一步的 AI 输入和响应。 这些日志有助于确保操作轨迹的健康性和准确性。

在 AI 治理 中审核坐席的三个核心场景:

  • 开发验证: 审查发送提示和已收到响应事件对,以诊断异常行为是源自提示结构还是模型输出。
  • 问题解决方案: 观察运行失败时的情形以及来自模型的详细信息,而无需重新运行。
  • 合规与监督: 活动现在可与其它 AI 功能一同接受审计,从而在整个平台上实现一致的策略执行。

关键术语和数据点

术语 值 定义
源 UI 坐席 在提示和事件中使用此过滤器以隔离 UI 坐席 会话。
提示类型 自由形式 应用于所有 UI 坐席 AI 交互的分类。
事件类型 发送提示和收到回复 记录会话中每次 AI 交互的日志。
模型
  • Amazon Nova Act
  • Automation Anywhere Narada
  • Open AI GPT-5.4
  • Anthropic Claude 4.6 Opus
  • Nvidia Nemotron
支持坐席的模型。
注: 安全变量被有意排除在所有治理日志之外。 缺少预期值并非日志记录错误。

先决条件

确保您的系统符合以下指南。
  • 许可: 以下任一类——Bot Creator、平民开发者、有人值守机器人运行程序、无人值守机器人运行程序。
    注: 无需特定的平台许可证。
  • 角色: 以下任一类——AAE_Basic、专业开发者自定义角色、平民开发者自定义角色
  • 浏览器: Google Chrome(最新版本)
  • 操作系统: Windows 或 MacOS
  • 配置大型行动模型: 请参阅 为 UI 坐席设置 Narada

相关链接: