AI Governance ダッシュボード ウィジェットを使用する

AI Governance ダッシュボード体験を向上させるために、Top Automations using AI、Most used models、Gen AI モデルコール、Model utilization、Token consumption、および Token consumption 詳細ウィジェットのデータをレビューして、企業全体の自動化開発および自動化実行中のモデルインタラクションから得られた AI データを表示、監視、分析します。

権限

GRC リード、オートメーション リード、プロ開発者は、オートメーション管理者によって有効にされる必要があるこれらの設定を介してAI Governanceダッシュボードを使用します：
  • ロール > AI > AIダッシュボードを表示
  • [ロール] > [AI] > [AI プロンプト ログの表示] > [AI プロンプト ログの詳細の表示]
  • [ロール] > [AI] > [AI イベント ログの表示] > [AI イベントログの詳細の表示]
注:
AI ダッシュボードを表示する 設定を有効にすると、AI Governance ダッシュボードが表示されます。 AI プロンプト ログ と イベント ログ タブで詳細なログにさらに掘り下げてアクセスするには、これらの追加設定を有効にする必要があります。
  • [AI] > [AI プロンプト ログの表示] > [AI プロンプトの詳細の表示]
  • AI > [AI イベント ログの表示] > [AI イベント詳細の表示]

[ロールと権限を割り当てて AI Governance を有効にする]を参照してください。

Top Automations using AI ウィジェット

このダッシュボード ウィジェットは、AI インタラクションを使用して実行される頻度の高い上位10の自動化を示す棒グラフを表示します。 過去24時間におけるトップ10の自動化の名前と実行回数を見ることができます。 ウィジェットの自動化バーにカーソルを合わせると、自動化の名前と実行回数の合計が表示される説明が表示されます。

バーグラフをクリックして、掘り下げて詳細を表示します。 自動化バーをクリックすると、AI > AI ガバナンス > AI プロンプト ログ タブに移動し、Control Room で自動化が実行されたすべてのセッションによる実行のリストを表示できます。 各セッションをクリックすると、詳細が表示されます。 この画面で時間フィルターを変更できます。

[AI prompt log]を参照してください。

注: プロ開発者が データ ログ トグルを特定の AI Skill に対して AI Skills 画面から無効にした場合、オートメーション実行セッションの詳細にはプロンプト テキスト、プロンプト レスポンス、およびモデル パラメータ設定データは表示されません。

Most used models ウィジェット

GRC リードとオートメーション リードは、このウィジェットを使用して、オートメーション内のModel utilizationのMost used modelsを監視および追跡し、サブスクリプションを効果的に管理します。 これは、ハイパースケーラーのベンダーから承認され、サポートされているモデルの使用を実装するのに役立ちます。

Most used models ウィジェットは、Generative AI Package および AI Skills Package を使用して、本番環境で自動化を実行する際に、最も一般的に使用されるトップ5モデルの可視性を提供します。

Most used models ウィジェットの詳細を確認しましょう。 データはバー形式で表示され、自動化名、ハイパースケーラーのベンダーモデル名、パッケージ名、およびそれらの使用状況によってソートされています。 デフォルトでは、Most used models ウィジェットは 過去 24 時間 のデータを表示します。 各バーは次のものを表しています。
  • 使用されたパッケージの自動化名、Generative AI Packages または AI Skills package を使用したかどうか
  • ハイパースケーラーのベンダーから使用されるモデル、例えば: GPT-4 は OpenAI から

バーにカーソルを合わせると、詳細の概要が表示されます。

棒グラフをクリックすると、AI > AIガバナンス > イベントログ タブに移動し、Control Room でモデル名でフィルタリングされたログのリストを表示できます。 このアクションは、そのモデルの正確な検索を実行し（例："=GPT-3.5 (Turbo)"）、関連するイベントログを表示し、イベントタイプ別に分類します。 ログは イベントタイプ によって表示されます。 [イベントタイプ] をクリックすると、オートメーション実行内で行われたモデルのインタラクションの追加詳細が表示されます。

[Event log]を参照してください。

  1. バーグラフからの詳細表示オプションに加えて、右上隅の省略記号をクリックして 詳細を表示 を選択し、詳細ビューを表示します。
  2. AI Governance ダッシュボード画面には Model utilization タブの詳細が表示されます。

生成AIモデルコールウィジェット

GenAIモデルコールウィジェットは、あなたの組織のGenAIモデルの使用状況を表示します。 このダッシュボードは、実行されたプロンプトの量に基づいて、最も頻繁に呼び出された上位5つのGenAIモデルを表示します。 これは、パブリックワークスペースで実行されている自動化によって行われた呼び出しを特に追跡し、成功した実行と失敗した実行、さらに有人および無人の実行を含みます。

ウィジェットは接続および認証呼び出しを除外し、GenAIコマンドアクションおよびAI Skillコマンドアクション内でのプロンプト実行にのみ焦点を当てています。 重要なことに、コマンドアクションがループ内にある場合、そのループ内の各プロンプト実行は別々のモデル呼び出しとしてカウントされます。 モデルの使用傾向を分析するための時間ウィンドウを選択できます。 ウィジェット内のモデル名をクリックすると、AI Governance イベントログに移動し、その特定のモデルに関連するすべてのイベントを表示するように事前フィルタリングされ、より深い分析とトラブルシューティングが可能になります。

Model utilization ウィジェット

Model utilization ウィジェットは、上位5つの自動化を表示します。 デフォルトでは、過去 24 時間 のデータを表示しますが、画面の上部で別の時間フィルターに変更できます。

モデル名をクリックすると、AI > AIガバナンス > イベントログ タブに移動し、Control Room でモデル名でフィルタリングされたログのリストを表示できます。 このアクションは、そのモデルの正確な検索を実行し（例："=GPT-3.5 (Turbo)"）、関連するイベントログを表示し、イベントタイプ別に分類します。 ログは イベントタイプ によって表示されます。 [イベントタイプ] をクリックすると、オートメーション実行内で行われたモデルのインタラクションの追加詳細が表示されます。

ウィジェットに表示されているデータに基づいてレポートをエクスポートするには、 アイテムを.csvにエクスポート をクリックしてください。

もっと見るをクリックすると、 のModel utilizationの詳細画面Most used models が表示されます。 各列の詳細を次のテーブルに示します。

表 1. Model utilization の詳細画面 Most used models
列ヘッダー 説明
モデル名 これは OpenAI の GPT-4 のような特定の自動化で使用されるモデルです。 モデルをクリックすると、AI > AIガバナンス > イベントログ タブに移動し、Control Room でモデル名でフィルタリングされたすべてのログを表示できます。

[Event log]を参照してください。
パブリッシャー サポートされているハイパースケーラー ベンダーは Amazon Bedrock、Google Vertex AI、Azure OpenAI、または OpenAIです。
オートメーション と を使用しgenerative AIた自動化実行Generative AIで使用された Package コマンドAI Skills Packageアクションの数。
AI Skills AI Skills を使用して実行されたコール自動化の数。
モデル呼び出し モデルに対して行われた呼び出しの数。
デバイス モデル インタラクション中に使用されたデバイスの数。

Token consumption ウィジェット

Token consumption ウィジェットは、モデルごとに集計されたトークンを最も消費しているトップ オートメーションの可視性を提供します。 モデルのToken consumptionの合計カウントを導出するために、メトリクスはハイパースケーラー ベンダーからの自動化名、フォルダーパス、およびモデル名に基づいて計算されます。 ウィジェット内のバーにカーソルを合わせると、特定のオートメーションの Token consumption 詳細が表示されます。

デフォルトでは、Token consumption ウィジェットは 過去 24 時間 のデータを表示しますが、画面の上部で別の時間フィルターに変更できます。

GRCリードとオートメーションリードは、このウィジェットを使用して、オートメーション内での相互作用と実行中のモデルのトークン使用量を監視および追跡し、コストとサブスクリプションを効果的に管理します。 これは彼らがモデルの好みに基づいて Token consumption を投影するのに役立ちます。

Token consumption の詳細ウィジェット

Token consumptionの詳細ウィジェットは、上位5つの自動化を表示します。 デフォルトでは、過去 24 時間 のデータを表示しますが、画面の上部で別の時間フィルターに変更できます。

注: 自動化名、フォルダーパス、発行者、モデル名、またはワークスペースに基づいて トークン消費の詳細 テーブルをフィルタリングできます。 完全一致のフレーズを検索するには、検索語を二重引用符で囲みます (例: "Amazon Bedrock")。

ウィジェットに表示されているデータに基づいてレポートをエクスポートするには、 アイテムを.csvにエクスポート をクリックしてください。

もっと見るをクリックすると、すべてのトークン消費が表示され、 Token consumption 詳細画面が表示されます。 各列の詳細を次のテーブルに示します。

表 2. Token consumption の詳細画面
列ヘッダー 説明
オートメーション名 実行されたオートメーションの名前。 名前をクリックすると、AI > AI ガバナンス > AI プロンプトログ タブに移動し、Control Room で自動化名でフィルタリングされたすべてのログを表示できます。

[AI prompt log]を参照してください。
フォルダー パス 自動化のフォルダーが実行された場所。
パブリッシャー サポートされているハイパースケーラー ベンダーは Amazon Bedrock、Google Vertex AI、Azure OpenAI、または OpenAIです。
モデル名 これは OpenAI の GPT-4 のような特定の自動化で使用されるモデルです。
ユーザー ユーザー数。
ワークスペース これは、オートメーションが実行されたプライベートまたはパブリック フォルダーです。
AI Skills オートメーションで使用されている AI Skills の数。
トークン モデルによって使用されたトークンの合計数。