イベント ログ のインタラクションをモニターする

イベント ログ は、モデルインタラクションセッション中に発生するすべてのイベントの視覚的要約を提供します。

セッション内に複数のイベントがあり、特定のイベントの詳細を確認できる可能性があります。 例: 基盤モデルへの成功した接続の詳細、プロンプトの送信と応答の受信、失敗したセッションと成功したセッション、トークンの使用状況およびその他のイベントの詳細。 これらの詳細を監視し、表示する能力は、データを分析し、データセキュリティ、ガバナンス、およびコンプライアンスのために予防的な行動を積極的に取ることを可能にします。

イベント ログ テーブルの詳細

利用可能な検索パラメーター、例えばセッションIDで検索を絞り込んで、選択したセッションに特有のすべてのイベントタイプを表示できます。

注: カーソルをアクション アイコンの上に移動すると、それぞれの特定の機能を確認できます。

イベント ログ テーブルは、これらの列に従って詳細をソートして表示します。

イベント ログ テーブルの詳細

一

[ステータス]: イベントの成功または失敗を示します。
二

[時間] イベントの開始時刻を表示します。
三

[イベント タイプ]: 各セッションタイプを表示します: プロンプトを送信, 応答を受信, モデル接続およびトリガープロンプトテンプレート。

イベントタイプ リンクをクリックすると、詳細なイベント情報を表示するために掘り下げることができます。
四

モデル名: 対話した基盤モデルのバージョン名を示します。例えば: Amazon Bedrock のための Claude、Google Vertex AI のための VertexAI、Azure OpenAI のための GPT 3.5 Turbo、その他。
五
プロンプト タイプ: オートメーションで使用されているプロンプトの種類が表示されます。 これらは:
  • すべての に対してキャプチャされたフリー フォームのプロンプト ログ生成 AI パッケージ。
  • プロンプト テンプレート プロンプトログが プロンプト テンプレート に対してキャプチャされました。
六

オートメーション名: 特定のプロンプトを使用したオートメーション名を示します。
七

セッション ID: オートメーションのセッション ID が表示されます。
八

デバイス名: オートメーションが実行されたデバイスの ID が表示されます。
九

ユーザー: オートメーションを実行したユーザーの ID が表示されます。
十

AI ガードレール : 各イベントに適用される特定のガードレールを表示します。
11

フォルダー パス: 自動化が実行されたフォルダーの場所。

サポートされているイベント タイプ ログ

自動化内のすべてのモデルインタラクションに対して、以下のイベントタイプログがキャプチャされます。
  • モデル接続
  • プロンプトを送信
  • 受け取ったレスポンス
  • トリガー プロンプト テンプレート

イベントタイプ 列で、リンクをクリックして、次のパラメータでイベントの詳細をさらに掘り下げて表示します。 イベントタイプに応じて詳細が異なります。 同じ画面で、各イベントタイプの異なるパラメータを表示します。

イベント ログ 詳細

注: 自動化タイプ フィールドは、モデルインタラクションセッションで使用される自動化のタイプを示します。 残りのフィールドは イベント ログ テーブルの詳細と同じです。

自由形式のログ（生成 AI パッケージ を使用して生成されたもの）は、生成 AI パッケージ で実行された自動化のためにキャプチャされ、Model connection、Send prompt、および Response received イベントタイプによってサポートされています。

各イベントには次のものが表示されます。
  • [ステータス]: モデル接続が正常に確立されたかどうかを示します。
  • [イベント タイプ]: イベントを モデル接続 として分類します。
  • [時間] 接続試行のタイムスタンプを指定します。
  • プロンプト タイプ: 使用されるプロンプトのタイプを識別します。
  • モデル名: 使用する言語モデルの名前を指定します。 次に例を示します。 GPT-4。
  • セッション ID: 接続セッションの一意の識別子。
  • オートメーション名 はオートメーションの名前を示します。
  • デバイス名: 自動化に関連付けられたデバイスを指定します。
  • ユーザー: 自動化を開始したユーザーを識別します。
  • オートメーションの種類: オートメーションのタイプを分類します。 例えば Task Bot、APIタスク。
  • AI ガードレール割り当て AI ガードレール が割り当てられているかどうかを示します。
  • モデル接続タイプ: モデル接続のタイプを指定します。 モデル接続タイプ は、次のいずれかです:
    • 標準
    • 微調整
    • ナレッジベースに基づ
    • データストアに基づく
    • Enterprise Knowledgeに基づく
    • AI検索に基づく

サポートされているイベントタイプのパラメータについて確認しましょう。

モデル接続
  • 公開者: 基礎モデルの発行者名を表示します。例えば Amazon Bedrock、Google Vertex AI、Azure OpenAI、OpenAI など。
  • 接続方法: モデルに接続するために使用される接続タイプを表示します。 例えば: Amazon Bedrock、Azure OpenAI、およびOpenAIはAPIキーを使用して接続します。Google Vertex AIはユーザーアカウント、サービスアカウント、またはControl Room OAuth接続で接続します。
プロンプトを送信
  • 毒性: プロンプト全体の毒性スコアを表示します (システム プロンプト とユーザープロンプト)。
  • システムプロンプト: ユーザーが入力した完全なシステムプロンプトテキストを表示します。
  • ユーザー プロンプト: ユーザーが入力した完全なユーザープロンプトテキストを表示します。
  • [詳細] をクリックすると、次の情報が表示されます。
    • 公開者: 基礎モデルの発行者名を表示します。例えば Amazon Bedrock、Google Vertex AI、Azure OpenAI、OpenAI など。
    • リクエスト構成: プロンプトに使用されるパラメーター値が表示されます。例えば: 最大トークン数、Top P、温度など。 これらのパラメータは異なるモデルによって異なります。
受け取ったレスポンス
  • 毒性: プロンプト全体の毒性スコア (システム プロンプト とユーザープロンプト) と、受け取った応答の毒性スコアを表示します。
  • システムプロンプト: ユーザーが入力した完全なシステムプロンプトテキストを表示します。
  • ユーザー プロンプト: ユーザーが入力した完全なユーザープロンプトテキストを表示します。
  • レスポンス: モデルから受け取ったレスポンスを示します。
  • 詳細 をクリックすると、消費されたトークンに関する追加情報が表示されます。 モデルのインタラクションによって消費されたトークンの数を表示します。 これは消費されたトークンと残高を追跡するのに役立ちます。
トリガー AI スキル
  • トリガーAIスキルの詳細： モデル接続をテストするときに使用されたプロンプトの詳細を表示します。