生成レコーダー

Web アプリケーションに変更が加えられたり、動的な UI 要素があったりすると、それを自動化する Bot が確実には機能しなくなる可能性があります。 レコーダー アクションは、実行時に UI 要素を見つけられない場合があるため、失敗する可能性があります。 新しい 生成レコーダー フォールバック メカニズムにより、そのような動的 Web ページをより確実に自動化することができます。

注: 生成 AI モデルは、誤りを生み出したり、生成した情報を誤って伝えたりすることがあります。 AI モデルによって生成されたコンテンツの正確性、信頼性、および完全性を検証することをお勧めします。

「Generative Recorder Product Club」も参照してください。

アーキテクチャ

生成レコーダーのアーキテクチャ図は、システムのフレームワークを示し、生成 AI の統合による堅牢なUI自動化を強調しています。

生成レコーダーのアーキテクチャ

データフロー

生成レコーダーのフローダイアグラムは、操作の順序を示し、生成 AI がどのようにインターフェースの変化を検出し適応するかを示すことで、継続的で強靭な自動化を保証します。

生成レコーダーのデータフロー

可用性

生成レコーダー 機能を有効にするには、Automator AI Platorm Base ライセンスが必要です。 ライセンスはすべてのクラウド リージョンで利用可能です。 ライセンスが割り当てられると、以下のロールとデバイス ライセンスを持つすべてのユーザーが 生成レコーダー 機能を使用できるようになります。
  • ロール: AAE_Basic および AAE_Bot 開発者
  • デバイス ライセンス: Bot Creator または 市民開発者
注:
  • この機能は現在、AWS でのみ利用可能です。
  • システムの最小 Bot エージェント バージョンと Control Room バージョンが、Automation 360 v.32 でリリースされたバージョンであることを確認してください。
  • この機能は現在、Google Chrome と Microsoft Edge ブラウザの HTML テクノロジーでのみサポートされています。
  • Bot 互換性 バージョン 6 を使用して、生成 AI とネイティブ フォールバックを活用し、オートメーションの回復力を強化してください。 Bot 互換性のバージョンを5に設定し、オートメーションで次のいずれかの条件を使用し、デバッグモードで実行すると、成功したフォールバックが発生するたびにBot実行中に DOMXPath 値を推奨されるフォールバック値に更新する際に問題が発生する可能性があります。

    レコーダー If、Else if、条件を待機、Loop while 内の オブジェクトが存在する や オブジェクトが存在しない などの条件が アクション にあります。

サポート可能性

レコーダー ネイティブと生成 AI に基づくフォールバックは、以下のアクションのオブジェクトが存在しますとオブジェクトが存在しませんの条件にも対応しています。
  • 条件 アクション
  • ループ > While アクション
  • 待機 > 条件を待機 アクション
注:
  • 高度なタイムアウト > Bot を停止してエラー メッセージを表示する オプションを選択すると、Bot はエラー メッセージを表示しません。
  • この機能は、Google Chrome および Microsoft Edge ブラウザでサポートされています。
  • 生成レコーダーは、フォール バックするアンカー UI 要素がある場合、およびその UI 要素ラベルがページ上に 1 回だけ表示される場合に、回復性をサポートします。

生成 AI のメリット

  • フォールバック: レコーダーが Web UI 要素を自動化できない場合、生成 AI とネイティブ フォールバックを活用して最新の UI 要素の詳細を取得し、自動化します。
  • セキュリティ: UI 要素に固有のデータは、編集と匿名化の後にのみ使用されます。 自動化された UI 要素に関連のないビジネス アプリケーション データは使用されません。
  • 検証: フォールバックの精度を向上させるために、別の検証レイヤーを通して生成 AI レスポンスを処理します。
  • 任意: フォールバック オプションを使用しない場合は、オプトアウトすることができます。
  • 追跡可能: 市民開発者、プロの開発者、オートメーション管理者には、生成 AI フォールバックの使用が成功したことが通知されます。

生成レコーダー のメリット

自動化のためのフォールバック通知ポップアップ

ネイティブ、テキスト、またはビジョンベースの自動化でフォールバックが発生した場合、フォールバック通知ポップアップにより、動的プロパティを迅速に特定および管理できるため、トラブルシューティングが効率化され、自動化体験が向上します。

フォールバック ポップアップに表示される動的プロパティ

このフォールバック ポップアップの主な特長は次のとおりです。
  • 動的プロパティの可視性: アクションに関連するすべての動的プロパティが、現在フォールバック ポップアップに表示されています。 これにより、どのプロパティが変更されたかを確認でき、オートメーションが失敗する可能性があることがわかります。
    注: フォールバック ポップアップは、選択されたオブジェクトのプロパティから動的プロパティを表示しますが、DOMXPath は例外であり、チェックが外れていても変更されていても常に表示されます。
  • 値をコピー中: ポップアップから任意のプロパティの 新しい値 を直接コピーして、メモ帳などの他の場所に貼り付けることができます。
  • 編集可能および読み取り専用のプロパティ：
    • 動的プロパティを更新するには、チェックボックスを使用してそれらを選択し、次に プロパティを更新 オプションをクリックしてください。 自動化を保存する前に、アクションを元に戻したり、やり直したりできます。
    • 特定のプロパティの選択を解除すると、それは読み取り専用になりますが、その値をコピーすることはできます。
  • 保存して再実行すること： 新しい値を保存して自動化を再実行した後、これらのプロパティが再度変更されない限り、フォールバックはトリガーされません。 これにより、繰り返しのフォールバックが防止され、自動化の実行が効率化されます。
  • DOMXPath プロパティ: DOMXPath プロパティは常に選択され、デフォルトで読み取り専用に設定されます。これは、シナリオに関係なく、オブジェクトのプロパティに含める必要があるためです。
  • ポップアップ画面のロジック: プロパティの保存された値と新しい値が同じ場合、そのプロパティはフォールバックポップアップに表示されません。 変更があるプロパティのみが表示され、混乱を減らします。
  • オブジェクトのプロパティを更新中: ポップアップではオブジェクトのプロパティのみ更新できます。 条件からプロパティを追加または削除することはできず、手動で行う必要があります。 チェックボックスは、既存のプロパティの値を更新するためのものです。
  • 値の入力： 値フィールドには常にプレーンテキストの値を入力してください。変数は使用しないでください。
  • 実行モード vs デバッグ モード： 実行モードでは、プロパティ値をコピー＆ペーストできますが、デバッグモードのようにプロパティを直接更新することはできません。

これらのフォールバック ポップアップは、動的プロパティを特定、更新、および管理しやすくし、繰り返されるフォールバックの中断を減少させ、ネイティブ、テキスト、およびビジョンベースのシナリオにわたる自動化の信頼性を向上させます。

リソース