通过审查 Top Automations using AI、Most used models、Gen AI 模型调用、Model utilization、Token consumption 和 Token consumption 详细信息小部件的数据，来查看、监控和分析在您企业的自动化开发和自动化执行过程中模型交互所产生的 AI 数据，增强您的 AI Governance 仪表板体验。

权限

通过这些需要由自动化管理员启用的设置，GRC 负责人、自动化负责人和专业开发人员可以使用 AI Governance 仪表板：
  • 角色 > AI 智能 > 查看 AI 仪表板
  • 角色 > AI > 查看 AI 提示日志 > 查看 AI 提示日志详细信息
  • 角色 > AI > 查看 AI 事件日志 > 查看 AI 事件日志详细信息
注：
启用查看 AI 仪表板设置将显示 AI Governance 仪表板。 要进一步向下钻取并访问 AI 提示日志和事件日志选项卡中的详细日志，必须启用以下附加设置：
  • AI > 查看 AI 提示日志 > 查看 AI 提示详细信息
  • AI > 查看 AI 事件日志 > 查看 AI 事件详细信息

请参阅 分配角色和权限以启用 AI Governance。

Top Automations using AI 小部件

此仪表板小部件显示一个条形图，展示了使用 AI 交互的十大常用自动化操作。 您可以查看过去 24 小时内前十大自动化的名称及其执行次数。 将鼠标悬停在小部件中的自动化栏上，会显示一个包含自动化名称和总执行次数的简短说明。

单击条形图以向下钻取并查看更多详细信息。 单击自动化栏会将您导航到 Control Room 中的 AI > AI 治理 > AI 提示日志 选项卡，您可以在其中查看按会话列出的所有自动化执行列表。 单击每个会话可显示详细信息。 您可以在此屏幕中更改时间筛选器。

请参阅 AI prompt log。

注： 如果专业开发人员在 AI Skills 屏幕中为特定 AI Skill 禁用了数据记录开关，您将不会在自动化执行会话详细信息中看到提示文本、提示响应和模型参数设置数据。

Most used models 小部件

GRC 负责人和自动化负责人将使用此小部件来监控和跟踪自动化中 Most used models 的 Model utilization，以有效管理订阅。 这将帮助用户实施使用经批准且受支持的、来自超大规模云供应商的模型。

Most used models 小部件提供了对自动化中使用最广泛的前五个模型的可见性，这些模型使用 Generative AI Package 和 AI Skills Package 在实际正式环境中执行自动化。

让我们查看 Most used models 小部件的详细信息。 数据以条形格式表示，并按自动化名称、超大规模云供应商的模型名称、软件包名称及其使用情况进行排序。 默认情况下，Most used models 小部件显示过去 24 小时的数据。 每个条形代表以下内容：
  • 自动化名称及其使用的软件包，无论是使用 Generative AI Packages 还是 AI Skills package。
  • 超大规模云供应商提供的模型，例如： OpenAI 集成的 GPT-4

将鼠标悬停在条形上方以查看详细信息的摘要。

单击柱状图会将您导航到 Control Room 中的 AI > AI 治理 > 事件日志 选项卡，您可以在其中查看按模型名称筛选的日志列表。 此操作执行该模型的精确搜索（例如，"=GPT-3.5 (Turbo)"），并显示按事件类型分类的相关事件日志。 日志按事件类型显示。 单击事件类型以查看自动化执行过程中发生的模型交互的更多详细信息。

请参阅 Event log。

  1. 除了条形图中的向下钻取选项之外，还可以单击右上角的省略号，选择查看详细信息以获取详细信息视图。
  2. AI Governance 仪表板屏幕显示 Model utilization 选项卡的详细信息。

GenAI 模型调用小部件

GenAI 模型调用小部件为您提供组织内 GenAI 模型使用情况的视图。 此仪表板根据执行提示的数量，显示了前五个最常调用的 GenAI 模型。 它专门跟踪在公共工作区运行的自动化调用情况，包括成功和失败的运行，以及有人值守和无人值守的执行。

该小部件排除了连接和身份验证调用，仅专注于在 GenAI 命令操作和 AI Skill 命令操作中的提示执行。 重要的是，如果命令操作位于循环中，则该循环中的每次提示执行都算作独立的模型调用。 您可以选择一个时间窗口来分析模型使用趋势。 单击小部件中的模型名称将跳转至 AI Governance 事件日志，该日志已预先筛选以显示与该特定模型相关的所有事件，从而实现更深入的分析和故障排除。

Model utilization 小部件

Model utilization 小部件显示前五个自动化。 默认情况下，它显示过去 24 小时的数据，可以在屏幕顶部更改为不同的时间过滤器。

单击模型名称将您导航到 Control Room 中的 AI > AI 治理 > 事件日志 选项卡，您可以在其中查看按模型名称筛选的日志列表。 此操作执行该模型的精确搜索（例如，"=GPT-3.5 (Turbo)"），并显示按事件类型分类的相关事件日志。 日志按事件类型显示。 单击事件类型以查看自动化执行过程中发生的模型交互的更多详细信息。

通过单击导出项目为 .csv，根据小部件中显示的数据导出报告。

当您单击查看更多以查看所有模型的使用情况时， Most used models 的 Model utilization 详细信息界面将出现。 下表提供了各列的详细信息：

表 1. Model utilization 的详细信息屏幕用于 Most used models
列标题 描述
模型名称 这是用于特定自动化的模型，例如来自 OpenAI 的 GPT-4。 您可以单击模型进入 Control Room 中的 AI > AI 治理 > 事件日志选项卡，您可以在其中查看按模型名称筛选的所有日志。

请参阅 Event log。
发布者 支持的超大规模云供应商包括 Amazon Bedrock、Google Vertex AI、Azure OpenAI 或 OpenAI。
自动化 在使用 Generative AI Package 和 AI Skills Package 进行自动化执行时使用的 generative AI 命令操作的数量。
AI Skills 使用 AI Skills 执行的调用自动化次数。
模型调用 调用模型的次数。
设备 在模型交互过程中使用的设备数量。

Token consumption 小部件

Token consumption 小部件提供了对每个模型聚合的令牌数量最多的顶级自动化的可见性。 要计算模型的 Token consumption 总数，指标是基于自动化名称、文件夹路径和超大规模云供应商的模型名称来计算的。 将鼠标悬停在小部件中的某个条形上方，查看特定自动化的 Token consumption 详细信息。

默认情况下，Token consumption 小部件显示最近 24 小时的数据，您可以在屏幕顶部更改为其他时间筛选条件。

GRC 负责人和自动化负责人将使用此小部件来监控和跟踪模型在自动化过程中的交互和执行时的令牌使用情况，以有效管理成本和订阅。 这将帮助他们根据模型偏好预测 Token consumption。

Token consumption 详细信息小部件

Token consumption 详细信息小部件显示前五个自动化。 默认情况下，它显示过去 24 小时的数据，可以在屏幕顶部更改为不同的时间过滤器。

注： 您可以根据自动化名称、文件夹路径、发布者、模型名称或工作区来筛选令牌使用详细信息表。 要搜索确切的短语，请将搜索短语放在双引号内（例如 "Amazon Bedrock"）。

通过单击导出项目为 .csv，根据小部件中显示的数据导出报告。

当您单击查看更多以查看所有令牌的使用情况时， Token consumption 详细信息页面将出现。 下表提供了各列的详细信息：

表 2. Token consumption 详细信息屏幕
列标题 描述
自动化名称 已执行自动化的名称。 您可以单击名称进入 Control Room 中的 AI > AI 治理 > AI 提示日志 选项卡，您可以在其中查看按自动化名称筛选的所有日志。

请参阅 AI prompt log。
文件路径 执行自动化的文件夹位置。
发布者 支持的超大规模云供应商包括 Amazon Bedrock、Google Vertex AI、Azure OpenAI 或 OpenAI。
模型名称 这是用于特定自动化的模型，例如来自 OpenAI 的 GPT-4。
用户 用户数量。
工作区 这可以是执行自动化的私有或公共文件夹。
AI Skills 在自动化中使用的 AI Skills 数量。
令牌 模型使用的总令牌数。