Generative Recorder

Web アプリケーションに変更が加えられたり、動的な UI 要素があったりすると、それを自動化する bots が確実には機能しなくなる可能性があります。 Recorder actionsは、実行時に UI 要素を見つけられない場合があるため、失敗する可能性があります。 新しい Generative Recorder フォールバック メカニズムにより、そのような動的 Web ページをより確実に自動化することができます。

注: 生成 AI モデルは、誤りを生み出したり、生成した情報を誤って伝えたりすることがあります。 AI モデルによって生成されたコンテンツの正確性、信頼性、および完全性を検証することをお勧めします。

Generative Recorder Product Clubも参照してください。

アーキテクチャ

Generative Recorderのアーキテクチャ図は、システムのフレームワークを示し、生成 AI の統合による堅牢なUI自動化を強調しています。

生成レコーダーのアーキテクチャ

データフロー

生成レコーダーのフローダイアグラムは、操作の順序を示し、生成 AI がどのようにインターフェースの変化を検出し適応するかを示すことで、継続的で強靭な自動化を保証します。

生成レコーダーのデータフロー

可用性

Generative Recorder 機能を有効にするには、Automator AI Platorm Base ライセンスが必要です。 ライセンスはすべてのCloud リージョンで利用可能です。 ライセンスが割り当てられると、以下のロールとデバイス ライセンスを持つすべてのユーザーが Generative Recorder 機能を使用できるようになります。
  • ロール: AAE_Basic および AAE_Bot Developer
  • デバイス ライセンス: Bot Creator または Citizen Developer
注:
  • この機能は現在、AWS および GCP で利用可能です。
  • この機能は Windows および macOS プラットフォームの両方でサポートされています。
  • システムの最小 Bot Agent バージョンと Control Room バージョンが、Automation 360 v.32 でリリースされたバージョンであることを確認してください。
  • この機能は現在、Google Chrome と Microsoft Edge ブラウザの HTML テクノロジーでのみサポートされています。
  • Bot 互換性 バージョン 6 を使用して、生成 AI とネイティブ フォールバックを活用し、オートメーションの回復力を強化してください。 Bot 互換性のバージョンを5に設定し、オートメーションで次のいずれかの条件を使用し、デバッグモードで実行すると、成功したフォールバックが発生するたびにbot実行中に DOMXPath 値を推奨されるフォールバック値に更新する際に問題が発生する可能性があります。

    Recorder If、Else if、条件を待機、Loop while 内の オブジェクトが存在する や オブジェクトが存在しない などの条件が actions にあります。

    Bot 互換性 バージョンの詳細については、Bot 互換バージョンをご覧ください。

Community Edition ユーザーの場合、Generative Recorder を使用する際に、各フォールバックオプションに指定された月間クォータが適用されます。
  • ネイティブフォールバック：無制限の使用
  • Gen AI ビジョンベースのフォールバック：月あたり5回のフォールバック
  • 生成 AI テキストベースのフォールバック： 月あたり10回のフォールバック

サポート性

レコーダー ネイティブと生成 AI に基づくフォールバックは、以下のactionsのオブジェクトが存在しますとオブジェクトが存在しませんの条件にも対応しています。
  • If action
  • ループ > While action
  • 待機 > 条件を待機 action
注:
  • 高度なタイムアウト > Bot を停止してエラー メッセージを表示する オプションを選択すると、bot はエラー メッセージを表示しません。
  • この機能は、Google Chrome および Microsoft Edge ブラウザでサポートされています。
  • Generative Recorderは、フォールバックするアンカー UI 要素がある場合、およびその UI 要素ラベルがページ上に 1 回だけ表示される場合に、回復性をサポートします。

生成 AI のメリット

  • フォールバック: Recorderが Web UI 要素を自動化できない場合、生成 AI とネイティブ フォールバックを活用して最新の UI 要素の詳細を取得し、自動化します。
  • セキュリティ: UI 要素に固有のデータは、編集と匿名化の後にのみ使用されます。 自動化された UI 要素に関連のないビジネス アプリケーション データは使用されません。
  • 検証: フォールバックの精度を向上させるために、別の検証レイヤーを通して生成 AI レスポンスを処理します。
  • 任意: フォールバック オプションを使用しない場合は、オプトアウトすることができます。
  • 追跡可能: 市民開発者、プロの開発者、オートメーション管理者には、生成 AI フォールバックの使用が成功したことが通知されます。

Generative Recorder のメリット

Automator AI における Generative Recorder フォールバック設定の構成

管理タブ内の Automator AI 設定にある生成レコーダーの構成パネルは、管理者に組織全体で生成 AI 機能をより高度に制御するための機能を提供します。 これにより、Generative Recorder が主要な方法で UI 要素を検出できない場合に利用する各フォールバック機構を、個別に有効化または無効化できます。

これにより、2つのガバナンスとコントロールの層が確保されます：
  • 集中型イネーブルメント： 自動化管理者は、Control Room全体で許可されるフォールバックタイプを定義でき、すべての環境で一貫性と承認された利用を確保します。
  • きめ細かなロールベースの権限： 組織は、どのチーム、部門、または役割がこれらのフォールバックタイプを実際に使用することを許可されるかを決定できます。 これはガバナンスを強化し、必要な場合には高度な機能へのアクセスを制限し、リスクを軽減し、機能を必要とするチームに柔軟性を提供します。
Generative Recorderのフォールバックが正しく機能し、最も信頼性の高い録音および再生体験を提供するために、必要な3つの場所ですべての利用可能なフォールバックタイプを有効にしてください:
  • Control Room で、管理 > 設定 に移動します。 Automator AI タブを選択して、Generative Recorder のフォールバック設定にアクセスし、有効にします。
  • Control Room で、管理 > ロール の順に移動します。 ロールを作成または編集し、フォールバックが有効である必要があるBotを実行するすべてのユーザーに対して、Generative Recorderのフォールバック権限を割り当ててください。
  • Bot editor で、設定に移動します。 パッケージ設定 タブを選択し、Generative Recorder フォールバックメカニズムが選択されていることを確認してください。

自動化のためのフォールバック通知ポップアップ

ネイティブ、テキスト、またはビジョンベースの自動化でフォールバックが発生した場合、フォールバック通知ポップアップにより、動的プロパティを迅速に特定および管理できるため、トラブルシューティングが効率化され、自動化体験が向上します。

フォールバック ポップアップに表示される動的プロパティ

このフォールバック ポップアップの主な特長は次のとおりです。
  • 動的プロパティの可視性: アクションに関連するすべての動的プロパティが、現在フォールバック ポップアップに表示されています。 これにより、どのプロパティが変更されたかを確認でき、オートメーションが失敗する可能性があることがわかります。
    注: フォールバック ポップアップは、選択されたオブジェクトのプロパティから動的プロパティを表示しますが、DOMXPath は例外であり、チェックが外れていても変更されていても常に表示されます。
  • 値をコピー中: ポップアップから任意のプロパティの 新しい値 を直接コピーして、メモ帳などの他の場所に貼り付けることができます。
  • 編集可能および読み取り専用のプロパティ：
    • 動的プロパティを更新するには、チェックボックスを使用してそれらを選択し、次に プロパティを更新 オプションをクリックしてください。 自動化を保存する前に、アクションを元に戻したり、やり直したりできます。
    • 特定のプロパティの選択を解除すると、それは読み取り専用になりますが、その値をコピーすることはできます。
  • 保存して再実行すること： 新しい値を保存して自動化を再実行した後、これらのプロパティが再度変更されない限り、フォールバックはトリガーされません。 これにより、繰り返しのフォールバックが防止され、自動化の実行が効率化されます。
  • DOMXPath プロパティ: DOMXPath プロパティは常に選択され、デフォルトで読み取り専用に設定されます。これは、シナリオに関係なく、オブジェクトのプロパティに含める必要があるためです。
  • ポップアップ画面のロジック: プロパティの保存された値と新しい値が同じ場合、そのプロパティはフォールバックポップアップに表示されません。 変更があるプロパティのみが表示され、混乱を減らします。
  • オブジェクトのプロパティを更新中: ポップアップではオブジェクトのプロパティのみ更新できます。 条件からプロパティを追加または削除することはできず、手動で行う必要があります。 チェックボックスは、既存のプロパティの値を更新するためのものです。
  • 値の入力： 値フィールドには常にプレーンテキストの値を入力してください。変数は使用しないでください。
  • 実行モード vs デバッグ モード： 実行モードでは、プロパティ値をコピー＆ペーストできますが、デバッグモードのようにプロパティを直接更新することはできません。

これらのフォールバック ポップアップは、動的プロパティを特定、更新、および管理しやすくし、繰り返されるフォールバックの中断を減少させ、ネイティブ、テキスト、およびビジョンベースのシナリオにわたる自動化の信頼性を向上させます。

リソース