v.40 リリースの AI Governance、AI Guardrails、および AI Evaluations の新機能、修正、および制限事項についてご確認ください。
重要: これらのリリース ノートは、Cloud-Sandbox 環境 (ビルド 45794) の Automation 360 v.40 リリースのみに適用されます。 Cloud の v.40 リリースは、まだ一般入手可能 (GA) になっていません。したがって、Cloud が GA になるまで、これらのページの内容は変更される可能性があります。

最新情報

AI Evaluations エージェントおよびスキルのために、ガバナンスされた実用的なパフォーマンスインサイトを提供します

AI Evaluationsは、クラウド環境における権限追跡および管理に紐づいたライセンス管理と AI クレジット消費によるAI AgentsおよびAI Skillsの制御された、測定可能な評価を導入します。 この機能により、チームは AI エージェントの開発ライフサイクルに組み込まれた自動評価を用いて、AI のパフォーマンスを検証およびベンチマークすることができます。 ライセンスユーザーは、AI メニュー内の新しい評価ページから、評価機能および自動スコアと詳細にアクセスできます。 AI 評価を見てください。

クラウド環境のみで利用可能です。

• 権限と使用管理： 適切なライセンス（APA Essentials または APA Pro）および使用状況の追跡と管理が可能な AI クレジットが必要です。

• 自動および手動ツール： 事前定義された指標を使用してパフォーマンスを測定し、スコアの詳細を評価するための自動および手動評価のための組み込みサポート。

• 詳細なインサイト： スコアは業界および研究の指標に基づいており、期待される対実際のインタラクション、実行シーケンス、行動パターンを明らかにする内訳が提供されます。

• 柔軟なデータセットのサポート： 安全で監査に対応した保持期間を設定し、データセットをアップロード、再利用、または手動で定義して、繰り返し評価サイクルを実現します。 最大ファイル サイズは50MBです。 データセットは1年間保持されます（使用時にリセットされます）。
注: AI Skills を評価している場合のみアップロードが可能です。

AI Evaluations は、チームが本番導入前および導入後に、AI 搭載の自動化およびエージェントプロセスの品質、信頼性、ガバナンスを最適化するのに役立ちます。
AI SkillsおよびAI Agentsに対してAI Evaluationsを実行し、詳細評価ビューでインサイトを表示

評価実行 フローは、現在 AI Agents をサポートしています。 ユーザーは、評価ページまたはエージェントエディターからエージェント評価を実行できます。 また、以下の表示もできます

エージェントエディターおよび評価のランディングページから評価を表示できます。 全体の評価の概要が利用可能です。 ページ上で評価の詳細を選択することで、より詳細な調査が可能です。 これは、実行されたデータセットのスコアの概要を提供します。 各データセット実行の詳細ビューは、エージェント出力の詳細から確認できます。 これらの詳細には以下が含まれます：
  • メトリクス
  • スコア
  • 推論
AI Evaluations のイベントログおよびデータ保持ポリシー

AI Evaluationsが実行されると、監査目的でAI Governanceにイベントログが作成されます。 AI Evaluations のデータには、バージョンや変更のセキュリティおよび管理のために、日付とユーザー情報が含まれています。 このデータの保存および保持は、当社のプラットフォームフレームワークに基づく既存の保持ポリシーに従って行われます。 データ保持ポリシーを見てください。
AI エージェントの監査ログが AI ガバナンスで利用できるようになりました
ガバナンスおよびコンプライアンス監査のために、AI エージェントの活動および LLM モデルとのやり取りを完全に可視化、追跡可能にします。 包括的な監査証跡を通じて、セキュリティポリシーおよび責任ある AI ガバナンス要件へのコンプライアンスを確保します。
  • すべてのエージェント実行を、詳細な入出力ログとともに開始から完了まで追跡します。
  • LLM のインタラクション、ツール呼び出し、システム応答をリアルタイムで監視します。
  • 調査のためのドリルダウン機能を備えた180日間のログ保持。

変更内容

有害性の可視化を伴うシステムプロンプトのAI Governanceログ記録を拡張

AI Governance は、ユーザープロンプトが AI Guardrails によってブロックされた場合でも、プロンプトログおよびイベントログに システムプロンプトの詳細と有害性スコア を記録するようになりました。 システムまたはユーザーのプロンプトが有害性に関するガードレールポリシーで設定されたしきい値を超えた場合、ブロックが適用され、システムおよびユーザープロンプトの有害性レベルがログに記録されます。

可視性が強化されることにより、プロンプトがブロックされた理由が明確になり、ユーザー入力とともにシステムプロンプトの有害性のスコアリングおよび分析が可能となります。これにより、監査性が向上し、ガードレールポリシーとの整合性が強化され、より安全で透明性の高い自動化動作が実現します。

AI Guardrails マスキング機能が新たなエンティティおよび拡張された地域言語に対応しました

機能強化により、エンティティのカバレッジが拡大され、追加のグローバル言語にわたって信頼性の高いマスキングが可能となり、データ損失防止（DLP）管理が強化されます。 マスキングおよびマスキング解除の操作は、すべての機密データカテゴリ（PII、PCI、PHI）において完全に機能します。全リストは、AI におけるデータマスキングを参照してください。

AI Guardrails は、以下の言語に対してマスキングおよびマスキング解除をサポートするようになりました。 ロシア語、ヒンディー語、日本語、韓国語、中国語（繁体字）、ポルトガル語。

修正

AI プロンプトログは、AI Governanceで予想通り1000件を超えて表示されます。 以前は、レコードが読み込まれませんでした。

制限事項

アラビア語では、マスキングは一部サポートされています。 一部のエンティティが一貫して検出またはマスキングされない場合があります。