Generative Recorder

当网页应用程序发生变化或具有动态 UI 元素时，bots 自动化可能无法可靠运行。 Recorder actions 可能会失败，因为它们可能在运行时找不到 UI 元素。 借助新的 Generative Recorder 回退机制，您可以更可靠地自动化此类动态网页。

注： 生成式 AI 模型可能会产生错误和/或错误地显示它们生成的信息。 建议核实 AI 模型生成内容的准确性、可靠性和完整性。

另请参阅 Generative Recorder Product Club。

架构

Generative Recorder 架构图展示了系统的框架，重点突出了生成式 AI 在弹性 UI 自动化中的集成。

生成录制器架构

数据流

生成式录制器流程图概述了操作顺序，展示了如何使用生成式 AI 检测和适应界面变化，确保实现持续、有弹性的自动化。

生成式录制器数据流

可用性

需要获得 Automator AI Platorm Base 许可证才能启用 Generative Recorder 功能。 该许可证在所有 Cloud 地区均有提供。 分配许可证后，Generative Recorder 功能将提供给具有以下角色和设备许可证的所有用户：
  • 角色: AAE_Basic 和 AAE_Bot 开发人员
  • 设备许可证：Bot Creator 或 Citizen Developer
注：
  • 此功能当前仅适用于 AWS。
  • 确保您系统上的最低 Bot Agent 版本和 Control Room 版本是随 Automation 360 v.32 发布的版本。
  • 该功能目前在 Google Chrome 和 Microsoft Edge 浏览器中仅支持 HTML 技术。
  • 确保您使用机器人兼容性版本 6，以利用生成式 AI 和本地回退功能增强自动化的弹性。 如果您将机器人兼容性版本设置为 5，在自动化中使用以下任何条件，并在调试模式下运行，则在 bot 运行期间每当成功回退时，更新 DOMXPath 值为推荐的回退值时，您可能会遇到问题：

    Recorder 条件，例如 if、Else if、等待条件和 whilewhile 循环 actions 中的对象存在和对象不存在。

支持性

录制器本地支持和基于生成式 AI 的回退还支持以下 actions 中的对象存在和对象不存在条件：
  • If action
  • 循环 > 当 action
  • 等待 > 等待条件 action
注：
  • 当您选择高级超时 > 停止机器人并显示错误消息选项时，bot 将不会显示错误消息。
  • Google Chrome 和 Microsoft Edge 浏览器支持此功能。
  • Generative Recorder 可提供弹性支持，有一个锚点 UI 元素用于回退，并且该 UI 元素标签在页面仅出现一次。

生成式 AI 的优势

  • 回退： 当 Recorder 无法自动化一个网页 UI 元素时，利用生成式 AI 和本地回退获取最新 UI 元素详细信息并进行自动化。
  • 安全： 仅在编辑和匿名化后使用特定于 UI 元素的数据。 不使用与自动化 UI 元素无关的业务应用数据。
  • 验证： 通过另一层验证处理生成式 AI 响应，以帮助提高回退的准确性。
  • 可选： 如果您不想使用回退选项，您可以选择退出。
  • 可追踪： 公民开发人员、专业开发人员和自动化管理员将在成功使用生成式 AI 回退时收到通知。

Generative Recorder 的优势

自动化的回退通知弹窗

当在本地、文本或基于视觉的自动化中发生回退时，回退通知弹窗可帮助您快速识别和管理动态属性，从而简化故障排查并提升您的自动化体验。

在回退弹窗中显示的动态属性

以下是此回退弹窗的一些主要功能：
  • 动态属性的可见性： 所有与该操作相关的动态属性现在都会显示在回退弹窗中。 这使您能够查看哪些属性已发生变化，这些变化可能会导致自动化失败。
    注： 回退弹窗会显示所选对象属性中的动态属性，但 DOMXPath 除外，无论是否未选中或被修改，该属性始终显示。
  • 复制值： 您可以直接从弹窗复制任何属性的新值，并粘贴到其他位置，例如记事本。
  • 可编辑和只读属性：
    • 要更新动态属性，请确保您已通过复选框进行选择，然后单击更新属性选项。 在保存您的自动化之前，您可以撤销或重做您的操作。
    • 当您取消选择某个属性时，该属性将变为只读状态，但您仍可复制其值。
  • 保存并再次执行： 保存新值并重新运行自动化后，除非这些属性再次发生变化，否则不会触发回退。 这可以防止重复回退，并简化您的自动化运行流程。
  • DOMXPath 属性： DOMXPath 属性始终处于选中状态，并默认设置为只读，因为无论在何种场景下，该属性都必须包含在对象属性中。
  • 弹窗显示逻辑： 如果某个属性的已保存值和新值相同，则该属性不会显示在回退弹窗中。 仅显示有变化的属性，以减少杂乱。
  • 更新对象属性： 弹窗只允许您更新对象属性。 它不允许您在条件中添加或删除属性，必须手动操作。 复选框仅用于更新现有属性的值。
  • 值输入： 始终在值字段中输入纯文本值；不要使用变量。
  • 运行模式 vs. 调试模式： 在运行模式下，您可以复制和粘贴属性值，但不能像在调试模式下那样直接更新属性。

这些回退弹窗使动态属性的识别、更新和管理更为便捷，减少重复的回退中断，并提升自动化流程在本地、文本及视觉场景中的可靠性。

资源