Event logs の監視

Event logは、モデル インタラクション セッション中に発生したすべてのイベントを視覚的に要約します。

セッションには複数のイベントがあり、特定のイベントの詳細を見ることができます。たとえば、基礎モデルへの接続成功の詳細、プロンプトの送信とレスポンスの受信、セッションの失敗と成功、トークンの使用状況、その他のイベントの詳細などです。これらの詳細を監視して表示する機能により、データを分析し、データ セキュリティ、ガバナンス、コンプライアンスのための予防的なアクションを積極的に講じることができます。

[セッション ID] で選択したセッションに固有のすべてのイベント タイプを表示するなど、利用可能な検索パラメーターにより検索を絞り込むことができます。

特定のセッションのすべてのイベント タイプの表示

注: カーソルをアクション アイコンに合わせると、それぞれについて特定の機能の説明が表示されます。

Event log テーブルの詳細

Event log テーブルは、以下の列に従って詳細をソートして表示します。

Event log テーブルの詳細

1

[ステータス]: イベントの成功または失敗を表示します。
2

[時間]イベントの開始時間を表示します。
3

[イベント タイプ]: 次のセッション タイプごとに表示します。プロンプトを送信、受け取ったレスポンス、Model connection、トリガー プロンプト テンプレート。

イベント タイプのリンクをクリックすると、追加のイベントの詳細をドリルダウンして表示できます。
4

モデル名: 次のように、対話した基礎モデルのバージョン名が表示されます。Amazon Bedrock 用の Claude、Google Vertex AI 用の VertexAI、Azure OpenAI 用の GPT 3.5 ターボなど。
5
プロンプト タイプ: オートメーションで使用されるプロンプトのタイプが表示されます。タイプは、以下のとおりです。
  • すべてのgenerative AI Packagesに対してキャプチャされたフリー フォームのプロンプト ログ。
  • Prompt Templatesに対してキャプチャされたPrompt Templateのプロンプト ログ。
6

オートメーション名: 特定のプロンプトを使用したオートメーション名を表示します。
7

セッション ID: オートメーションのセッション ID が表示されます。
8

デバイス ID: オートメーションが実行されたデバイスの ID が表示されます。
9

ユーザー ID: オートメーションを実行したユーザーの ID が表示されます。

サポートされるイベント タイプのログ

以下のイベント タイプのログは、オートメーション内のすべてのモデル インタラクションに対してキャプチャされます。
  • Model connection
  • プロンプトを送信
  • 受け取ったレスポンス
  • トリガー Prompt Template

イベント タイプ列で、リンクをクリックしてさらにドリルダウンし、以下のパラメーターでイベントの詳細を表示します。詳細はイベントの種類によって異なります。同じ画面で、イベント タイプごとに異なるパラメーターを表示します。

Event logの詳細

注: [オートメーション タイプ] フィールドには、モデル インタラクション セッションで使用されるオートメーションのタイプが表示されます。残りのフィールドは、Event log テーブルの詳細と同じです。

イベントの詳細は、[イベント タイプ] に基づいて表示されます。

フリー フォームのログ (Generative AI Packagesを使用した場合に生成される) は、generative AI Packagesで実行されたオートメーションに対してキャプチャされ、モデル接続、プロンプトを送信、受け取ったレスポンスのイベント タイプでサポートされています。

サポートされているイベント タイプのパラメーターについて説明します。

Model connection
  • プロンプト テンプレート: モデル接続をテストするときに使用されたPrompt Templateを表示します。
  • ベンダー: Azure OpenAI、Google Vertex AI などの基礎モデルのベンダー名を表示します。
  • ライン番号: この接続が使用された Task Bot 内のライン番号を表示します。
  • 接続方法: モデルへの接続に使用される接続タイプを示します。例: API キーを使用する Amazon Bedrock、Azure OpenAI、OpenAI 接続。ユーザー アカウント、サービス アカウント、Control Room OAuth 接続を使用する Google Vertex AI 接続。
プロンプトを送信
  • プロンプト: ユーザーが入力したプロンプトのテキストをすべて表示します。
  • [詳細] をクリックすると、次の情報が表示されます。
    • ベンダー: Amazon Bedrock、Google Vertex AI、Azure OpenAI、OpenAI などの基礎モデルのベンダー名を表示します。
    • パラメーター: プロンプトに使用される次のパラメーター値が表示されます。Max トークン、Top P、温度、その他。これらのパラメーターはモデルによって異なります。
受け取ったレスポンス
  • プロンプト: ユーザーが入力したプロンプトのテキストをすべて表示します。
  • レスポンス: モデルから受け取ったレスポンスが表示されます。
  • [詳細] をクリックすると、[消費したトークン] に関する次の追加情報が表示されます。モデル インタラクションによって消費されたトークンの数を表示します。これは、トークンの消費量と残りを把握するのに役立ちます。
トリガー Prompt Template
  • プロンプト テンプレート: モデル接続をテストするときに使用されたPrompt Templateを表示します。