生成式录制器 - 视觉回退

生成式录制器中的视觉模型回退旨在通过使用视觉模型作为额外的回退机制来增强自动化的弹性。 视觉模型回退提高了回退效率,并提供业务连续性、最小化维护工作量和遵守组织 SLA 等好处。

视觉模型 AI,通常称为计算机视觉模型,是一种人工智能系统,旨在通过先进的机器学习技术来解释、分析和理解视觉数据(例如图像或视频)。 视觉模型回退是自动化流程中的一种机制,用于提高弹性和减少执行失败。 包括使用视觉模型来识别变化并实时更新,确保即使发生意外变化,自动化任务也能顺利进行。
注: 生成式录制器、基于文本的回退和本地回退不会使用您的 Automator AI 配额中的任何推荐。然而,生成式录制器 的视觉回退每次会消耗一个推荐,但是仅限在运行时实际触发回退的情况下。 视觉回退已启用的自动化数量不会影响您的配额。 只有在执行期间激活视觉回退时,才会扣除推荐。

功能

生成式录制器利用我们的自动化调整集成模型,实现对业务应用的深入可视化理解。

视觉回退可以:
  • 准确识别传统方法可能忽略的修改后的 UI 结构。
  • 适应布局和设计变更,无需人工干预。
  • 防止故障,提高自动化效率。

有关可用功能的信息,请参见生成式录制器

要启用视觉模型回退:
  1. Bot Creator 的身份登录。
  2. 机器人编辑器,导航到高级设置 > 软件包设置
  3. 软件包设置 > 录制器中,启用基于生成式 AI 图像的回退

视觉模型回退选择设置

基于视觉的回退中的图像净化

注: 如果系统中存在独立的 Python 安装,基于视觉的回退可能无法正常运行,因为这会导致图像遮罩失败。 具体而言,图像遮罩所用的嵌入式 Python 仅在机器人执行期间被提取,并且不会造成干扰;然而,在控制面板 > 程序和功能中可见的任何其他 Python 安装都可能会影响视觉回退操作。 为确保基于视觉的回退功能可靠运行,请在程序和功能中卸载发现的任何此类 Python 安装。

为降低数据安全和隐私风险,生成式录制器会在您的设备上对图像进行本地净化,然后才会将任何数据发送至外部环境。 此过程完全由设备上运行的 录制器 软件包 进行处理。

在净化过程中,捕获的应用程序图像中可见的所有业务数据都会被编辑。 这不仅包括个人可识别信息 (PII),还包括屏幕上出现的任何敏感业务内容。

只有在完成全面的本地净化后,生成的图像和提取的文本才会发送到基于区域的 AI 服务进行进一步处理。 在任何情况下,原始或未经净化的图像数据均不会在您的环境之外共享。