AI EvaluationsAI SkillsAI Agents の評価シナリオ全体でのトークン使用量に基づいてクレジットを消費する仕組みを理解します。

AI 評価のライセンスモデル

AI EvaluationsAutomation AI クレジット を消費し、AI Agents で使用されているのと同じ基盤のクレジットフレームワークを活用します。 ただし、評価の消費は、エージェントのタスク実行ではなく、評価メトリクスおよび実行範囲 によって決まります。
  • エンタープライズ プラットフォーム ライセンスには、Automation AI クレジットの基本プールが含まれています。

  • これらのクレジットは、AI AgentsAI Skills、およびAI Evaluationsを含む AI 搭載サービス全体で共有されます。

Automation AI クレジット

Automation AI クレジットは、AI Evaluations実行後に差し引かれます。AI Evaluationsは以下に基づいてクレジットを消費します:
  • AI Evaluations 自動評価が選択されている場合、AI クレジットを消費します(手動評価では消費されません)。
  • パブリック ワークスペースから実行された場合に AI Agents の評価に消費されたトークン。
  • AI Skills では、標準モデルを使用すると追加のトークンが消費されます。
  • クレジット消費はデータセットのサイズによって異なります。

各評価は、データセットのサイズに応じて複数のモデル呼び出しとエージェント実行をトリガーする場合があり、これがクレジット消費に直接影響します。

主要な解釈

  • トークンベース課金モデル:

    AI Evaluations の消費は、実行回数ではなく、トークン使用量(入力 + 出力) のみによって決まります。

  • コスト階層:

    • AI Skills < AI Agents

    • 入力トークン < 出力トークン

  • 違いの理由:

    • AI Skills評価は通常、単一ステップのモデル応答を伴います

    • AI Agents評価には、複数ステップの推論、ツールの使用、およびオーケストレーションが含まれ、トークンの使用量とコストが増加します。

  • 実用上の意味:

    評価の総クレジット消費は、次のように見積もることができます:

    Total Credits = 
      (Input Tokens × Input Rate) + 
      (Output Tokens × Output Rate)
    

    評価タイプ(スキルまたはエージェント)によって料金は異なります。

  • また、パブリックワークスペースから実行された場合のエージェント実行、および標準搭載のモデル接続の使用にもクレジットが消費されます。 この消費量は、データセットのサイズによって異なります。

猶予ポリシー

購入済みクレジットを使い切った場合、評価ワークフローの中断を防ぐための猶予バッファーとして、最大で10%の追加クレジットを消費できます。

可視性

管理者は、Control Room Licenses ページで以下を含む評価関連のクレジット使用状況を監視できます:
  • 購入済みクレジットの総額

  • 使用済みクレジット

  • 残高

  • 猶予分の使用

評価消費ルール
請求済み(クレジット減算済み) 未請求(減算なし)
AI Evaluations 自動評価を使用する場合、公開と非公開の両方に対して課金されます。 手動評価を使用する場合、公開および非公開からは評価料金は請求されません。
すべての成功した評価。 失敗した評価。