查看 v.40 版本中 AI Governance、AI Guardrails 和 AI Evaluations 的新增内容、修复内容及限制。
重要： 这些发行说明仅适用于 Cloud-沙盒环境的 Automation 360 v.40 版本（内部版本 45794）。 适用于 Cloud 的 v.40 版本尚未全面发布 (GA)，因此这些页面上的内容在 Cloud GA 之前可能会有所变动。

新增内容

AI Evaluations 为坐席和技能提供受管控的、可操作的绩效洞察

AI Evaluations 引入了 AI Agents 和 AI Skills 的受控、计量评估，将许可和 AI 积分使用与云环境中的权限跟踪和强制执行相结合。 此功能确保团队能够在 AI 坐席开发生命周期中，通过内置的自动化评估来验证和基准测试 AI 性能。 授权用户可通过 AI 菜单下的新评估页面访问评估功能以及自动评分和详细信息。 请参阅 AI Evaluations。

仅适用于 Cloud 环境。

• 权限与使用控制： 需要适当的许可（APA Essentials 或 APA Pro）以及包含使用跟踪和强制执行功能的 AI 积分。

• 自动化与手动工具： 内置支持，可使用预定义指标对性能和评分细节进行自动和手动评估。

• 详细的洞察： 评分以行业和研究指标为支撑，并通过细分展示预期与实际交互、执行顺序及行为模式的对比。

• 灵活的数据集支持： 上传、复用或手动定义数据集，并通过安全、符合审计要求的保留机制，实现可重复的评估周期。 最大文件大小为 50 MB。 数据集将保留 1 年（在使用时重置）。
注： 仅在评估 AI Skills 时才可上传。

在实际正式部署前后，AI Evaluations 帮助团队优化 AI 驱动的自动化和坐席流程的质量、可靠性与治理。
为 AI Skills 和 AI Agents 执行 AI Evaluations，并在详细评估视图中查看洞察

运行评估流程现在支持 AI Agents。 用户可以通过评估页面调用坐席评估，或直接从坐席编辑器中调用。 您也可以查看

您可以在坐席编辑器和评估登录页查看评估结果。 摘要可用于总体评估。 通过在页面上选择评估详细信息，可以进行更深入的调查。 这提供了已执行数据集的分数汇总。 可以通过坐席输出详情查看每个数据集执行情况的详细视图。 其中部分详细信息包括：
  • 指标
  • 分数
  • 推理
适用于 AI Evaluations 的事件日志和数据保留政策

当 AI Evaluations 运行时，系统会在 AI Governance 中创建一个用于审核的事件日志。 来自 AI Evaluations 的数据包括日期和用户信息，确保版本和修改内容的安全和控制。 此数据的存储和保留遵循我们平台框架下现有的保留政策。 请参阅 数据保留策略。
AI Governance 中现已提供 AI 坐席审核日志
提供对 AI 坐席活动及其与 LLM 模型交互的全面可见性与可追溯性，确保进行治理和合规审计。 通过全面的审计跟踪，确保符合安全政策和负责任的 AI 治理要求。
  • 通过详细的输入/输出日志记录，跟踪所有坐席的完整执行过程。
  • 实时监控 LLM 交互、工具调用和系统响应。
  • 日志保留 180 天，可支持深入调查。

更改内容

针对系统提示扩展了 AI Governance 日志记录，包含有害内容可见性

AI Governance 现在会在提示日志和事件日志中捕获系统提示详情和有害内容分数，即使用户提示被 AI Guardrails 阻止。 当系统或用户提示超过每项防护机制针对毒性配置的阈值时，系统将应用阻止，并在日志中记录系统和用户提示毒性级别。

这种增强的可见性阐明了提示被阻止的原因，并支持对系统提示有害内容与用户输入进行评分和分析，从而提升可审计性，并与防护机制政策保持一致，实现更安全、更透明的自动化行为。

AI Guardrails 屏蔽功能现在支持更多实体和扩展的区域语言

增强功能通过扩大实体覆盖范围并在更多全球语言中实现可靠掩码，增强了数据丢失防护 (DLP) 控制。 在所有三类敏感数据（PII、PCI、PHI）中，掩码和去掩码操作均可完全正常运行。请查看完整列表，AI 中的数据屏蔽。

AI Guardrails 现在支持以下语言的掩码和去掩码功能： 俄语、印地语、日语、韩语、普通话（繁体中文）和葡萄牙语。

修复

AI 提示日志在 AI Governance 中显示超过 1000 条记录，符合预期。 以前，记录不会被加载。

限制

在阿拉伯语中，仅部分支持掩码功能。 对于某些实体，可能无法一致性地进行检测或屏蔽。