新增内容
|
AI Evaluations 为坐席和技能提供受管控的、可操作的绩效洞察
AI Evaluations 引入了 AI Agents 和 AI 技能 的受控、计量评估，将许可和 AI 积分使用与云环境中的权限跟踪和强制执行相结合。 此功能确保团队能够在 AI 坐席开发生命周期中，通过内置的自动化评估来验证和基准测试 AI 性能。 授权用户可通过 AI 菜单下的新评估页面访问评估功能以及自动评分和详细信息。 请参阅 AI 评估。 仅适用于 Cloud 环境。 • 权限与使用控制： 需要适当的许可（APA Essentials 或 APA Pro）以及包含使用跟踪和强制执行功能的 AI 积分。 请参阅 AI 评估的模型许可。 • 自动化与手动工具： 内置支持，可使用预定义指标对性能和评分细节进行自动和手动评估。 请参阅 手动运行 AI 评估 和 自动运行 AI 评估。 • 详细的洞察： 评分以行业和研究指标为支撑，并通过细分展示预期与实际交互、执行顺序及行为模式的对比。 请参阅 AI 评估的指标。 在实际正式部署前后，AI Evaluations 帮助团队优化 AI 驱动的自动化和坐席流程的质量、可靠性与治理。 |
|
为 AI 技能 和 AI Agents 执行 AI Evaluations，并在详细评估视图中查看洞察
运行评估流程现在支持 AI Agents。 用户可以通过评估页面调用坐席评估，或直接从坐席编辑器中调用。 您可以在坐席编辑器和评估登录页查看评估结果。 摘要可用于总体评估。 通过在页面上选择评估详细信息，可以进行更深入的调查。 这提供了已执行数据集的分数汇总。 可以通过坐席输出详情查看每个数据集执行情况的详细视图。 其中部分详细信息包括：
|
|
适用于 AI Evaluations 的事件日志和数据保留政策
当 AI Evaluations 运行时，系统会在 AI 治理 中创建一个用于审核的事件日志。 来自 AI Evaluations 的数据包括日期和用户信息，确保版本和修改内容的安全和控制。 此数据的存储和保留遵循我们平台框架下现有的保留政策。 请参阅 数据保留策略。 |
|
AI Governance 中现已提供 AI 坐席审核日志
提供对 AI 坐席活动及其与 LLM 模型交互的全面可见性与可追溯性，确保进行治理和合规审计。 通过全面的审计跟踪，确保符合安全政策和负责任的 AI 治理要求。
|
更改内容
|
针对系统提示扩展了 AI 治理 日志记录，包含有害内容可见性 AI 治理 现在会在提示日志和事件日志中捕获系统提示详情和有害内容分数，即使用户提示被 AI 防护机制 阻止。 当系统或用户提示超过每项防护机制针对毒性配置的阈值时，系统将应用阻止，并在日志中记录系统和用户提示毒性级别。 这种增强的可见性阐明了提示被阻止的原因，并支持对系统提示有害内容与用户输入进行评分和分析，从而提升可审计性，并与防护机制政策保持一致，实现更安全、更透明的自动化行为。 |
|
AI 防护机制 屏蔽功能现在支持更多实体 增强功能通过扩大实体覆盖范围来加强数据丢失防护 (DLP) 控制。 在所有三类敏感数据（PII、PCI、PHI）中，掩码和去掩码操作均可完全正常运行。 请查看完整列表，AI 中的数据屏蔽。 |
修复
| AI 提示日志在 AI 治理 中显示超过 1000 条记录，符合预期。 以前，记录不会被加载。 |
限制
| 在 AI 技能 页面上，当使用查看评估按钮重定向时，对 AI 技能 的评估进行筛选，会将带有空格的 AI 技能 名称转换为 camelCase，导致该特定 AI 技能 无法在评估页面上显示。 解决方法：直接在评估页面上使用过滤器。 |
| 在从使用特殊字符（例如 #、$、%、等）标记的文件夹中运行时，AI Evaluations 无法解析。 解决方法：将该实体移动到不包含特殊字符的文件夹中，然后重试。 |
| 当为 AI 技能 的文本摘要任务创建 AI Evaluations 时，生成的分数未按预期显示。 解决方法：不要在评估中包含文本摘要任务。 |
| 当对包含人机回圈 (HITL) 的坐席运行评估时，执行将在人工步骤处自动终止。 执行是根据在 HITL 之前完成的步骤进行评估的。 我们计划在下一版本中解决此限制。 |
|
AI 防护机制 服务在提交德语文本输入时返回空白响应。 我们将在下一版本 (v.41) 中提供对此问题的修复。 Service Cloud 工单 ID： 02316305 |