AI prompt log

AI prompt log 提供一个综合摘要视图,可显示自动化执行中所有模型交互会话的情况。

在一个会话中可能会与多个模型进行交互。 每个自动化执行都会被分配一个会话 ID,允许将所有事件聚合到一个单一的会话 ID 中。

通过会话 ID 列中的AI 治理 > AI 提示日志 > 会话 ID 链接,您可以深入查看该会话 ID 的会话中发生的所有模型交互详细信息。 详细视图包括与基础模型交换的提示、响应和其他参数。 可通过会话 ID 优化搜索,以查看所选会话的更多详细信息。

注: 使用光标滚动操作图标以识别每个的特定功能。

AI prompt log 表格详细信息

AI prompt log 表根据以下列对详细信息进行排序和显示:

AI 提示日志更新

一
持续时间: 显示会话执行的开始和结束时间。
注: 如果会话正在进行,则此信息不可用。
二

开始时间: 显示会话执行的开始时间。

三

会话 ID: 显示自动化执行的会话 ID。 一个会话可以包含多个模型交互,它们是同一自动化执行的一部分。 单击会话 ID 链接以查看该会话中所有模型交互的详细信息。

四

来源: 显示在产品的哪个位置输入了此提示。

五
提示类型: 显示自动化中使用的提示类型。 类型包括:
  • 自由格式(当使用 Generative AI packages 时)。
  • AI 技能(当使用 AI Skills packages 时。)
六

自动化名称: 显示使用该提示的自动化名称。

七
设备名称: 显示在其中执行自动化的设备的 ID。
注: 如果该操作是在 Control Room 中执行的,则此信息不可用。
八

用户: 显示运行自动化的用户的 ID。

九

AI guardrail : 显示应用于每个 AI 会话的特定准则。

十

文件夹路径: 自动化执行所在的文件夹位置。 当一个 AI Skill 与自动化(父或子)集成时,显示的文件夹路径与父自动化的文件夹路径相同。

AI prompt log 会话和模型交互详情

AI prompt log 表中,您可以单击会话 ID 链接以深入查看会话的详细信息。

您可以通过展开该交互显示的基础模型名称,在同一屏幕中查看模型交互会话的其他详细信息。 单击详细信息部分中的提示或操作以查看提示或模型响应的更多详细信息。

注: 自动化类型字段显示了在模型交互会话中使用基础模型的模型类型。 其余字段与 AI prompt log 表的详细信息相同。

模型交互详情

表项目 描述
AI guardrail 已分配 显示应用于每个 AI 会话的特定准则。
毒性 显示提示和响应的毒性级别。
提示 显示在定义提示时用户在 User prompt 字段中输入的提示文本。
响应 显示从模型接收到的响应,用于提示请求。
当提示被 AI guardrail 阻止时,此事件会记录在 AI prompt log。 日志包括提示内容、评估的毒性级别以及执行的操作等详细信息。 需要注意,如果提示被请求防护机制阻止,将不会到达 LLM。
  • 允许的提示: 如果提示的毒性评分在可接受范围内,日志将包括模型的响应并屏蔽任何敏感数据。 还将记录响应的毒性评分和对响应采取的防护机制措施。
  • 已阻止的提示: 如果提示被防护机制阻止(在到达 LLM 之前)或由于其毒性评分,日志将明确说明所采取的防护机制操作,例如被防护机制阻止
  • 被阻止的响应: 如果模型生成的响应被防护机制标记,日志将显示被屏蔽的响应、其毒性评分以及对其采取的防护机制操作,例如被防护机制阻止

通常,自动化负责人和 GRC 负责人有权查看每个会话中模型交互的其他详细信息,因为他们会监控日志以确保在自动化中使用基础模型时遵守合规性和治理政策。

单击更多详细信息以查看模型交互的其他参数:
注: 只有当自动化管理员启用相关权限时,此附加的深入分析才对专业开发人员开放( 管理 > 角色 > AI 治理 > 查看 AI 提示日志 > 查看 AI 提示详细信息)。 否则他们只能查看第一级会话的详细信息。
表项目 描述
会话持续时间 显示开始和结束时间。
发布者 显示基础模型提供商的名称。
模型 显示基础模型版本名称,例如: GPT 3.5 Turbo 用于 Azure OpenAI,VertexAI 用于 Google Vertex AI,Claude 用于 Amazon Bedrock 以及其他。
外部会话 ID 显示在会话中捕获的特定模型交互的会话 ID。 单个会话可以在一次自动化执行中包含多个模型交互。 可以使用此信息跟踪会话中发生的每次模型交互。
响应配置 显示用于提示的参数值,例如: Temperature、Top P、Max Tokens、Presence Penalty 等。 这些参数及其值因模型提供程序而异。
响应属性 显示响应中的属性和值。
模型连接类型 指定模型连接的类型。 模型连接类型可以是以下其中一项:
  • 标准
  • 微调
  • 以知识库为基础
  • 以数据存储为基础
  • 以企业知识为基础
  • 以 AI 搜索为基础
提示: 对于有多个模型交互的自动化执行,您会在会话日志中看到每个模型调用的单独可扩展面板。 这是一个为 generative AI Packages 执行自动化的典型场景。