AI プロンプト ログ

AI プロンプト ログ は、ファウンデーションモデルとのインタラクションの監査およびモニタリングに使用され、モデルインタラクションのための自動化実行内で発生するすべてのセッションの統合された概要ビューを提供します。

セッション内で複数のモデルとのインタラクションがある可能性があります。 すべての自動化実行には Session ID が割り当てられ、すべてのイベントを単一のセッションIDに集約できます。

セッション IDリンクをクリックすることで、詳細なセッション固有のビューにアクセスできます。 詳細なビューには、ファウンデーショナルモデルの間で交換されるプロンプト、レスポンス、その他のパラメーターが含まれます。

AI プロンプト ログ テーブルの詳細

プロンプトログにアクセスするには、AI > ガバナンス > AI プロンプトログ の順に移動します。 AI プロンプト ログ テーブルは、これらの列に従って詳細をソートして表示します。

AIプロンプトログの更新

一
所要時間: セッション実行の初級時刻と終了時刻を表示します。
注: この情報は、セッションが進行中の場合には利用できません。
二

開始時刻: セッション実行の開始時刻を表示します。
三

セッション ID: オートメーション実行のセッション ID を表示します。 セッションは、同じオートメーション実行の一部である複数のモデルインタラクションで構成される場合があります。 セッションID リンクをクリックして、そのセッションのすべてのモデルインタラクションの詳細を表示します。
四

ソース: 製品のどこでこのプロンプトが入力されたかを示します。
五
プロンプト タイプ: オートメーションで使用されているプロンプトの種類が表示されます。 種類には、以下のものがあります。
  • 自由形式 (生成 AI パッケージ または Co-Pilotfor Automators が使用されているとき)。
  • AIスキル ( AI スキル パッケージ が使用されるとき。)
六

オートメーション名: プロンプトを使用したオートメーション名を示します。
七

デバイス名: オートメーションが実行されたデバイスの ID が表示されます。
八

ユーザー: オートメーションを実行したユーザーの ID が表示されます。
九

AI ガードレール : 各AIセッションに適用される特定のガードレールを表示します。
十

フォルダー パス: 実行された自動化のフォルダーの場所。 AI スキル が自動化（親または子）と統合されると、表示されるフォルダパスは親自動化のフォルダパスと同じです。

AI プロンプト ログ セッションとモデルのインタラクションの詳細

特定の AI インタラクションに関する詳細情報を表示するには、まずAI プロンプト ログテーブルからセッション IDをクリックしてください。 これにより、同じ画面で追加のセッション詳細が表示されます。 そこから、基盤モデルの名前を展開して、そのインタラクションの詳細をすべて見ることができます。

注: Automation type フィールドは、モデルインタラクションセッションで基盤モデルが使用されたモデルタイプを示します。 残りのフィールドは AI プロンプト ログ テーブルの詳細と同じです。

モデルインタラクションの詳細

テーブル項目 説明
AI ガードレール 割り当て 各AIセッションに適用される特定のガードレールを表示します。
有害性 プロンプトと応答の毒性レベルを表示します。
プロンプト プロンプトを定義する際に ユーザー プロンプト フィールドにユーザーが入力したプロンプトテキストを表示します。
レスポンス モデルからプロンプトリクエストに対して受信したレスポンスが表示されます。
AI ガードレール によってプロンプトがブロックされた場合、このイベントは AI プロンプト ログ に記録されます。 ログには、プロンプトの内容、評価された毒性レベル、および取られたアクションが含まれています。 ガードレール ポリシーによってプロンプトがブロックされた場合、それは LLM に到達しないことに注意することが重要です。
  • 許可されたプロンプト: プロンプトの毒性スコアが許容範囲内であれば、ログにはモデルの応答が含まれ、機密データはマスクされます。 応答の毒性スコアと応答に対して取られたガードレールアクションも記録されます。
  • ブロックされたプロンプト: プロンプトがガードレールによってブロックされた場合（LLMに到達する前）や、その毒性スコアのために、ログにはガードレールのアクションが明示的に記載されます。例えば、ガードレールによってブロックされました。
  • ブロックされたレスポンス: モデルが生成した応答がガードレールによってフラグ付けされた場合、ログにはマスクされた応答、その毒性スコア、およびそれに対して取られたガードレールのアクションが表示されます。例えば、ガードレールによってブロックされました。

通常、オートメーションリードとGRCリードは、各セッションでモデルの相互作用に関する追加の詳細を表示する権限を持っています。これは、オートメーション内でファウンデーションモデルを使用する際にポリシーが遵守されていることを確認するために、コンプライアンスおよびガバナンスのログを監視するためです。

詳細 をクリックすると、モデルのインタラクションに関する追加パラメータが表示されます。
注: この追加の詳細分析は、関連する権限がオートメーション管理者によって有効にされている場合にのみ、プロ開発者が利用できます ( AI ガバナンスログの表示 > AI ガバナンスログの詳細の表示)。 そうでない場合、第一レベルのセッション詳細しか表示できません。
テーブル項目 説明
セッションの期間 初級時刻と終了時刻が表示されます。
パブリッシャー 基礎モデルプロバイダー名を示します。
モデル 基盤モデルのバージョン名を表示します。例えば: Azure OpenAI の GPT 3.5 Turbo、Google Vertex AI の VertexAI、Amazon Bedrock の Claude など。
外部セッションID セッション内でキャプチャされた特定のモデルインタラクションのセッションIDを表示します。 単一のセッションは、単一のオートメーション実行内で複数のモデルインタラクションで構成されることがあります。 この情報を使用して、セッション内で発生するすべてのモデルインタラクションを追跡できます。
レスポンス構成 プロンプトに使用されるパラメーター値が表示されます。例えば: Temperature、Top P、Max Tokens、Presence Penalty など。 これらのパラメータとその値は、モデルプロバイダーによって異なります。
応答属性 レスポンスからの値を持つ属性を表示します。
モデル接続タイプ モデル接続のタイプを指定します。 モデル接続タイプ は、次のいずれかです:
  • 標準
  • 微調整
  • ナレッジベースに基づ
  • データストアに基づく
  • エンタープライズ ナレッジに基づく
  • AI検索に基づく
ヒント: オートメーション実行については、複数のモデルインタラクションがある場合、セッションログの各モデル呼び出しごとに個別の展開可能なパネルが表示されます。 これは、のために実行される自動化の典型的な事例です生成 AI パッケージ。

AI エージェント プロンプト ログ

AI エージェント を使用する場合、AI プロンプト ログ はエージェント、LLM、およびエージェントに関連するさまざまなツール間のやり取りを記録します。 以下はこれらのやり取りの主な側面です。

意思決定プロセスと動的ツール選択：
意思決定プロセスは、AI エージェント Studio を通じてどのツールを使用して操作を実行するかを決定する際に促進されます。AI エージェント は、コンテキストと指示によって動的にツールを選択します。 この選択プロセスは記録され、どのツールが選ばれたかとその理由が示されます。
LLM への指示
ログには、役割、目標、行動を含むLLMに送信された指示が記録されます。 これは、システムツール、エンドステートツール、およびユーザーツールに関する詳細を含みます
ツール実行
AI プロンプト ログは、ツールの実行を追跡し、ツールに提供された入力と受け取った出力を含みます。
終了状態評価
LLM は文脈を評価し、目標が達成されているかどうかを判断します。 AI プロンプト ログはこの評価と最終決定、例えば成功ツールの推奨を記録します。

AI プロンプト ログ を監視することで、AI エージェント がどのように意思決定を行い、どのツールが使用されているか、そしてエージェントが目標を達成しているかどうかについての洞察を得ることができます。