Event log

Event log は、モデルインタラクションセッション中に発生するすべてのイベントの視覚的要約を提供します。

セッション内に複数のイベントがあり、特定のイベントの詳細を確認できる可能性があります。 例: 基盤モデルへの成功した接続の詳細、プロンプトの送信と応答の受信、失敗したセッションと成功したセッション、トークンの使用状況およびその他のイベントの詳細。 これらの詳細を監視し、表示する能力は、データを分析し、データセキュリティ、ガバナンス、およびコンプライアンスのために予防的な行動を積極的に取ることを可能にします。

Event log テーブルの詳細

利用可能な検索パラメータを使用して検索を絞り込むことができます。たとえば、セッションIDで選択したセッションに特有のすべてのイベントを表示します。

注: カーソルをアクション アイコンの上に移動すると、それぞれの特定の機能を確認できます。

Event log テーブルは、これらの列に従って詳細をソートして表示します。

Event log テーブルの詳細

一

ステータス：イベントの成功または失敗を示します。
二

時刻: イベントの開始時間を表示します。
三

イベントタイプ: セッションタイプを表示します。例: プロンプト送信、レスポンス受信、Model connection、およびトリガー AI Skill。

イベントタイプ リンクをクリックすると、詳細なイベント情報を表示するために掘り下げることができます。
四

ソース: このプロンプトが製品のどこに入力されたかを示します。
五

モデル名: Amazon Bedrockのための Claude、Google Vertex AIのための VertexAI、Azure OpenAIのための GPT 3.5 Turbo など、対話に使用された基盤モデルのバージョン名を表示します。
六
プロンプトの種類：オートメーションで使用されるプロンプトのタイプが表示されます。 ログ タイプには、以下のものがあります。
  • 自由形式 (Generative AI packages が使用されているとき)。
  • AIスキル ( AI Skills packages が使用されるとき。)
七

オートメーション名: 特定のプロンプトを使用したオートメーション名を示します。
八

セッション ID: オートメーションのセッション ID が表示されます。
九

デバイス名: オートメーションが実行されたデバイスの ID を表示します。
十

ユーザー>: オートメーションを実行したユーザーの ID が表示されます。
11

AI guardrail : 各イベントに適用される特定のガードレールを表示します。
12

フォルダー パス：自動化が実行されたフォルダーの場所。

サポートされているイベント タイプ ログ

自動化内のすべてのモデルインタラクションに対して、以下のイベントタイプログがキャプチャされます。
  • トリガー AI Skill
  • プロンプトを送信
  • Model connection
  • 受け取ったレスポンス

イベントタイプ 列で、リンクをクリックして、次のパラメータでイベントの詳細をさらに掘り下げて表示します。 イベントタイプに応じて詳細が異なります。 同じ画面で、各イベントタイプの異なるパラメータを表示します。

Event log 詳細

注: 自動化タイプ フィールドは、モデルインタラクションセッションで使用される自動化のタイプを示します。 残りのフィールドは Event log テーブルの詳細と同じです。

自由形式のログ（Generative AI Packages を使用して生成されたもの）は、generative AI Packages で実行された自動化のためにキャプチャされ、Model connection、Send prompt、および Response received イベントタイプによってサポートされています。

各イベントには次のものが表示されます。
  • ステータス：モデル接続が正常に確立されたかどうかを示します。
  • イベントタイプ: イベントを Model connection として分類します。
  • 時刻: 接続試行のタイムスタンプを指定します。
  • プロンプトタイプ: 使用されるプロンプトのタイプを識別します。
  • モデル名: 使用する言語モデルの名前を指定します。 例: GPT-4
  • セッションID: 接続セッションの一意の識別子。
  • オートメーション名 はオートメーションの名前を示します。
  • デバイス名: 自動化に関連付けられたデバイスを指定します。
  • ユーザー: 自動化を開始したユーザーを識別します。
  • 自動化タイプ: 自動化タイプを分類します。 例えば Task Bot、APIタスク。
  • AI ガードレールが割り当てられた: AI Guardrails が割り当てられたかどうかを示します。
  • モデル接続タイプ: モデル接続のタイプを指定します。 モデル接続タイプ は、次のいずれかです:
    • 標準
    • 微調整
    • ナレッジベースに基づ
    • データストアに基づく
    • Enterprise Knowledgeに基づく
    • AI検索に基づく

サポートされているイベントタイプのパラメータについて確認しましょう。

トリガー AI Skill
  • AIスキルのトリガーの詳細: モデル接続をテストするときに使用されたプロンプトの詳細を表示します。
プロンプトを送信
  • 毒性: プロンプト全体の毒性スコアを表示します (System prompt とユーザープロンプト)。 ガードレールが有害なコンテンツをブロックするように設定されている場合、ログにはそのアクションがガードレールによってブロックされたことが表示され、AI guardrail がプロンプトがLLMに到達する前にそれをインターセプトしていることを明示的に示します。 有害性の詳細については、[AI における毒性]を参照してください。
  • システムプロンプト>: ユーザーが入力した完全なシステム プロンプト テキストを表示します。
  • ユーザープロンプト：ユーザーが入力した完全なユーザープロンプトテキストを表示します。
  • [詳細] をクリックすると、次の情報が表示されます。
    • Publisher：基盤モデルのパブリッシャー名を表示します。例えば、Amazon Bedrock、Google Vertex AI、Azure OpenAI、OpenAI などです。
    • リクエスト構成: プロンプトに使用されるパラメーター値（Max tokens、Top P、Temperature など）を表示します。 これらのパラメータは異なるモデルによって異なります。
Model connection
  • Publisher：基盤モデルのパブリッシャー名を表示します。例えば、Amazon Bedrock、Google Vertex AI、Azure OpenAI、OpenAI などです。
  • 接続方法: モデルに接続するために使用される接続タイプを表示します。 例えば: Amazon Bedrock、Azure OpenAI、およびOpenAIはAPIキーを使用して接続します。Google Vertex AIはユーザーアカウント、サービスアカウント、またはControl Room OAuth接続で接続します。
受け取ったレスポンス
  • 毒性: プロンプト全体の毒性スコアを表示します (System prompt とユーザープロンプト)。 ガードレールが有害なコンテンツをブロックするように設定されている場合、ログにはそのアクションがガードレールによってブロックされたことが表示され、AI guardrail がプロンプトがLLMに到達する前にそれをインターセプトしていることを明示的に示します。
    注: プロンプトがLLMに到達する前にブロックされると、応答は受信されません。 したがって、そのような場合には、イベントログにこのイベントは表示されません。 毒性ルール の設定についての詳細は、[AI Guardrailsの作成と管理]を参照してください。
  • システムプロンプト>: ユーザーが入力した完全なシステム プロンプト テキストを表示します。
  • ユーザープロンプト：ユーザーが入力した完全なユーザー プロンプト テキストを表示します。
  • レスポンス: モデルから受信したレスポンスが表示されます。
  • 詳細情報 をクリックして 消費トークン に関する追加情報を表示します: モデルのインタラクションによって消費されたトークンの数を示します。 これは消費されたトークンと残高を追跡するのに役立ちます。