生成式录制器 - 基于视觉的回退

生成式录制器中基于视觉的回退旨在通过利用视觉模型作为额外的回退机制，提高自动化的弹性。 基于视觉的回退提升了回退效率，并带来诸如保障业务连续性、减少维护工作量以及遵守组织 SLA 等优势。

视觉模型 AI，通常称为计算机视觉模型，是一种人工智能系统，旨在通过先进的机器学习技术来解释、分析和理解视觉数据（例如图像或视频）。 基于视觉的回退是在自动化流程中应用的一种机制，旨在提升系统的弹性并降低执行失败的风险。 包括使用视觉模型来识别变化并实时更新，确保即使发生意外变化，自动化任务也能顺利进行。
注： 生成式录制器、基于文本的回退和本地回退不会使用您的 Automator AI 配额中的任何推荐。然而，生成式录制器 的基于视觉的回退每次会消耗一个推荐，但仅在运行时实际触发回退时才会计入。 基于视觉的回退已启用的自动化数量不会影响您的配额。 只有在执行期间激活基于视觉的回退时，才会扣除推荐。

功能

生成式录制器利用我们的自动化调整集成模型，实现对业务应用的深入可视化理解。

基于视觉的回退可以：
  • 准确识别传统方法可能忽略的修改后的 UI 结构。
  • 适应布局和设计变更，无需人工干预。
  • 防止故障，提高自动化效率。

有关可用功能的信息，请参见生成式录制器。

要启用基于视觉的回退：
  1. 以 Bot Creator 的身份登录。
  2. 从机器人编辑器，导航到高级设置 > 软件包设置。
  3. 在软件包设置 > 录制器中，启用基于生成式 AI 视觉的回退。
    注： 我们建议将视觉回退超时时间设置为 90 秒或更长，以确保在您的环境中实现可靠运行。

基于视觉的回退选择设置

基于视觉的回退中的图像净化

注： 如果系统中存在独立的 Python 安装，基于视觉的回退可能无法正常运行，因为这会导致图像遮罩失败。 具体而言，图像遮罩所用的嵌入式 Python 仅在机器人执行期间被提取，并且不会造成干扰；然而，在控制面板 > 程序和功能中可见的任何其他 Python 安装都可能会影响基于视觉的回退操作。 为确保基于视觉的回退功能可靠运行，请在程序和功能中卸载发现的任何此类 Python 安装。

生成式录制器中的图像净化功能可确保所有屏幕截图在数据传出环境前均经过净化处理，从而保护敏感的业务信息。

在自动化过程中捕获的屏幕截图可能包含敏感的业务信息，例如个人身份信息 (PII)、财务数据、客户记录、内部仪表板或专有内容。 若未进行数据净化处理，在与基于云端或外部的 AI 服务交互时，这些信息可能会被无意中泄露。

在任何 AI 服务处理图像之前进行净化，生成式录制器可确保：
  • 保密性： 在源头对敏感数据进行编辑，消除了暴露风险。
  • 受控数据流： 只有已清除敏感业务信息的图像和文本才会被发送到环境外部。
  • 安全设计原则： 数据净化过程自动且一致地执行，减少了对用户判断或配置的依赖。
注： 仅英文文本会在应用程序屏幕截图中进行净化处理。
根据您组织的性能需求和合规要求，您可以通过选择图像净化方法设置选择如何执行净化操作：
  • 基于云的净化： 目标应用程序的屏幕截图会安全发送到 Automation Anywhere Cloud Service。 图像接收后，会在云端自动进行净化，随后由 AI 模型进行分析处理。

    如果您希望通过集中处理来提升性能，并最大限度减少对本地设备性能的影响，可选择此选项。

  • 本地净化： 屏幕截图的净化会在您的设备上直接完成，然后才会发送任何图像进行 AI 分析。 此过程完全由设备上运行的 录制器 软件包 进行处理。

    如果您的组织优先考虑本地数据处理、合规性要求或受限的网络环境，可选择此选项。