了解 AI Evaluations 如何根据 AI Skills 和 AI Agents 评估场景中的令牌使用情况消耗积分。

AI 评估的模型许可

AI Evaluations 消耗自动化 AI 积分，利用 AI Agents 使用的相同底层积分框架。 然而，评估的消耗由评估指标和执行范围驱动，而不是由坐席任务执行驱动。

  • 企业平台许可证包含自动化 AI 积分的基础池。

  • 这些积分可在各项 AI 驱动的服务之间共享，包括 AI Agents、AI Skills 和 AI Evaluations。

自动化 AI 积分

自动化 AI 积分会在 AI Evaluations 成功运行时扣除。AI Evaluations 根据以下内容消耗积分：
  • AI Evaluations 在选择自动评估时会消耗 AI 积分（手动评估不消耗）。
  • 从公共工作区执行时用于评估 AI Agents 时的令牌。
  • 对于 AI Skills，当使用开箱即用的模型时，会消耗额外的令牌。

  • 积分消耗取决于数据集的大小。

每次评估都可能根据数据集的大小触发多次模型调用和坐席执行，这会直接影响积分消耗。

密钥解释

  • 基于令牌的计费模型：

    AI Evaluations 消耗完全由令牌使用量（输入 + 输出）驱动，而不是由执行次数驱动。

  • 费用层级：

    • AI Skills < AI Agents

    • 输入令牌 < 输出令牌

  • 为什么会有差异：

    • AI Skills 评估通常涉及单步模型响应

    • AI Agents 评估涉及多步推理、工具使用和编排，从而增加令牌使用量和成本。

  • 实际影响：

    一次评估的总积分消耗可估算为：

    Total Credits = 
  (Input Tokens × Input Rate) + 
  (Output Tokens × Output Rate)

    费率因评估类型而异（技能 vs 坐席）。

  • 此外，在公共工作区中执行坐席执行时也会消耗积分，并且使用开箱即用的模型连接也会消耗积分。 这种消耗会根据数据集的大小而变化。

宽限政策

如果已购买的积分已用尽，则最多可消耗 10% 额外积分作为宽限缓冲，以防止评估工作流中断。

可见性

管理员可以在 Control Room 许可证页面中监控与评估相关的积分使用情况，包括：

  • 已购买积分总数

  • 已用积分

  • 剩余余额

  • 宽限量使用情况

评估消耗规则
已扣费（积分已扣除） 未收费（未扣除）
AI Evaluations 在使用自动评估时，公共和私有都会计费。 使用手动评估时，公共和私有不会计费。
所有成功评估。 失败的评估。