AI prompt log

AI prompt log 用于审计和监控与基础模型的交互，并提供一个综合摘要视图，可显示在自动化执行期间所有模型交互会话的情况。

在一个会话中可能会与多个模型进行交互。 每个自动化执行都会被分配一个会话 ID，允许将所有事件聚合到一个单一的会话 ID 中。

通过单击会话 ID链接，可以深入查看详细的会话专属视图。 详细视图包括与基础模型交换的提示、响应和其他参数。

AI prompt log 表格详细信息

要访问提示日志，请导航到 AI > 治理 > AI 提示日志。 AI prompt log 表根据以下列对详细信息进行排序和显示：

AI 提示日志更新

一
持续时间： 显示会话执行的开始和结束时间。
注： 如果会话正在进行，则此信息不可用。
二

开始时间： 显示会话执行的开始时间。
三

会话 ID： 显示自动化执行的会话 ID。 一个会话可以包含多个模型交互，它们是同一自动化执行的一部分。 单击会话 ID 链接以查看该会话中所有模型交互的详细信息。
四

来源： 显示在产品的哪个位置输入了此提示。
五
提示类型： 显示自动化中使用的提示类型。 类型包括：
  • 自由格式（当使用 Generative AI packages 或 Co-Pilot for Automators 时）。
  • AI 技能（当使用 AI Skills packages 时。）
六

自动化名称： 显示使用该提示的自动化名称。
七

设备名称： 显示在其中执行自动化的设备的 ID。
八

用户： 显示运行自动化的用户的 ID。
九

AI guardrail : 显示应用于每个 AI 会话的特定准则。
十

文件夹路径： 已执行自动化的文件夹位置。 当 AI Skill 与自动化（父级或子级）集成时，显示的文件夹路径与父级自动化的文件夹路径相同。

AI prompt log 会话和模型交互详情

要查看更多关于特定 AI 交互的信息，请先单击 AI prompt log 表中的会话 ID。 这将在同一屏幕上显示更多会话详细信息。 由此，您可以展开基础模型的名称，查看该交互的完整详情。

注： 自动化类型字段显示了在模型交互会话中使用基础模型的模型类型。 其余字段与 AI prompt log 表的详细信息相同。

模型交互详情

表项目 描述
AI guardrail 已分配 显示应用于每个 AI 会话的特定准则。
毒性 显示提示和响应的毒性级别。
提示 显示在定义提示时用户在 User prompt 字段中输入的提示文本。
响应 显示从模型接收到的响应，用于提示请求。
当提示被 AI guardrail 阻止时，此事件会记录在 AI prompt log。 日志包括提示内容、评估的毒性级别以及执行的操作等详细信息。 需要注意，如果提示被防护机制策略阻止，将不会到达 LLM。
  • 允许的提示： 如果提示的毒性评分在可接受范围内，日志将包括模型的响应并屏蔽任何敏感数据。 还将记录响应的毒性评分和对响应采取的防护机制措施。
  • 已阻止的提示： 如果提示被防护机制阻止（在到达 LLM 之前）或由于其毒性评分，日志将明确说明所采取的防护机制操作，例如被防护机制阻止。
  • 被阻止的响应： 如果模型生成的响应被防护机制标记，日志将显示被屏蔽的响应、其毒性评分以及对其采取的防护机制操作，例如被防护机制阻止。

通常，自动化负责人和 GRC 负责人有权查看每个会话中模型交互的其他详细信息，因为他们会监控日志以确保在自动化中使用基础模型时遵守合规性和治理政策。

单击更多详细信息以查看模型交互的其他参数：
注： 只有当自动化管理员启用相关权限时，此附加的深入分析才对专业开发人员开放（ 查看 AI 治理日志 > 查看 AI 治理日志详情）。 否则，他们只能查看第一级会话的详细信息。
表项目 描述
会话持续时间 显示开始和结束时间。
发布者 显示基础模型提供商的名称。
模型 显示基础模型版本名称，例如： GPT 3.5 Turbo 用于 Azure OpenAI，VertexAI 用于 Google Vertex AI，Claude 用于 Amazon Bedrock 以及其他。
外部会话 ID 显示在会话中捕获的特定模型交互的会话 ID。 单个会话可以在一次自动化执行中包含多个模型交互。 可以使用此信息跟踪会话中发生的每次模型交互。
响应配置 显示用于提示的参数值，例如： Temperature、Top P、Max Tokens、Presence Penalty 等。 这些参数及其值因模型提供程序而异。
响应属性 显示响应中的属性和值。
模型连接类型 指定模型连接的类型。 模型连接类型可以是以下其中一项：
  • 标准
  • 微调
  • 以知识库为基础
  • 以数据存储为基础
  • 以企业知识为基础
  • 以 AI 搜索为基础
提示： 对于有多个模型交互的自动化执行，您会在会话日志中看到每个模型调用的单独可扩展面板。 这是一个为 generative AI Packages 执行自动化的典型场景。

AI Agents 提示日志

使用 AI Agents 时，AI prompt log 会捕捉坐席、LLM 以及与坐席相关的各种工具之间的交互。 以下是这些交互的关键方面：

决策过程与动态工具选择：
通过 AI Agent Studio，可以更便捷地完成决策过程，以确定执行操作时应选用何种工具。AI Agents 会根据上下文和提供给 LLM 的指令动态选择工具。 此选择过程已被记录，显示了所选工具及其理由。
发送给 LLM 的指令
日志捕获了发送给 LLM 的指令，包括角色、目标和操作。 这包括有关系统工具、最终状态工具和用户工具的详细信息
工具执行
AI prompt log 跟踪工具的执行情况，包括提供给工具的输入和收到的输出。
最终状态评估
LLM 评估上下文并确定目标是否达成。 AI prompt log 记录此次评估和最终决定，例如推荐一个成功工具。

通过监控 AI prompt log，可以深入了解 AI Agents 是如何做出决策的，使用了哪些工具，以及坐席是否达成了他们的目标。