生成レコーダー - ビジョンベースのフォールバック

生成レコーダー のビジョンベースのフォールバックは、ビジョンモデルを追加のフォールバック手段として活用することで、自動化のレジリエンスを強化するように設計されています。 ビジョンベースのフォールバックはフォールバックの有効性を向上させ、ビジネス継続性の確保、保守作業の最小化、組織の SLA 順守などのメリットをもたらします。

ビジョンモデル AI は、コンピュータビジョンモデルとも呼ばれ、視覚データ（画像や動画など）を解釈、分析、理解するために設計された人工知能システムであり、高度な機械学習技術を通じて実現されます。 ビジョンベースのフォールバックは、オートメーション プロセスにおいてレジリエンシーを向上させ、実行失敗を低減するために使用されるメカニズムです。 視覚モデルを使用して変化を特定し、リアルタイムで更新することが含まれており、予期しない変化が発生しても自動化タスクがスムーズに続行されることを保証します。
注: 生成レコーダー、テキストベースのフォールバックおよびネイティブ フォールバックは、Automator AI クォータからの推奨を一切使用しません。ただし、生成レコーダー のビジョンベース フォールバックは、実行時に実際にフォールバックがトリガーされた場合に限り、フォールバックごとに1件の推奨を消費します。 ビジョンベースのフォールバックが有効な自動化の数は、クォータに影響しません。 推奨事項は、実行中にビジョンベースのフォールバックが有効化された場合にのみ差し引かれます。

機能

生成レコーダーは、ビジネスアプリケーションの深い視覚的理解を達成するために、私たちの自動化に調整されたアンサンブルモデルを活用します。

ビジョンベースのフォールバックは次のことができます：
  • 従来の方法では見逃される可能性のある修正された UI 構造を正確に特定します。
  • 手動介入なしでレイアウトとデザインの変更に適応します。
  • 失敗を防ぐことで自動化の効果を高めます。

利用可能な機能についての情報は、生成レコーダーをご覧ください。

ビジョンベースのフォールバックを有効にするには：
  1. Bot Creator としてログインします。
  2. Bot エディターから、詳細設定 > パッケージ設定 の順に移動します。
  3. パッケージ設定 > レコーダー で、生成 AI ビジョンに基づくフォールバック を有効にします。

ビジョンベースのフォールバック選択設定

ビジョンベースのフォールバックにおける画像のサニタイズ

注: システムに別の Python がインストールされている場合、ビジョンベースのフォールバックが正しく機能しない可能性があります。これは画像マスキングの失敗を引き起こす可能性があります。 具体的には、画像マスキングで使用される組み込みの Python は Bot 実行時のみに抽出され、干渉することはありません。ただし、コントロール パネル > プログラムと機能 で確認できる追加の Python インストールは、ビジョンベースのフォールバック動作に影響を与える可能性があります。 信頼性のあるビジョンベースのフォールバックのパフォーマンスを確保するために、プログラムと機能 に見つかったそのような Python のインストールをアンインストールしてください。

データのセキュリティおよびプライバシーリスクを軽減するため、生成レコーダーはデータが外部に送信される前に、お使いのマシン上で画像のサニタイズ処理をローカルで実行します。 このプロセスは、デバイス上で実行されている レコーダー パッケージ によって完全に処理されます。

画像のサニタイズ方法を選択 設定では、このサニタイズがどのように、どこで行われるかを選択できます。 サニタイズ処理には、以下のオプションが利用可能です。
  • クラウドベースのサニタイズ： ターゲット アプリケーションのスクリーンショットは、Automation Anywhere クラウド サービスに安全に送信されます。 受信後、画像は自動的にクラウド上でサニタイズされ、その後 AI モデルによって分析のために処理されます。

    パフォーマンスの向上とローカルデバイスのパフォーマンスへの影響を最小限に抑えるために、集中処理を好む場合はこのオプションを選択できます。

  • 局所サニタイズ： スクリーンショットのサニタイズは、AI 分析のために画像が送信される前に、あなたのデバイス上で直接行われます。

    あなたの組織がローカルデータの取り扱い、規制遵守、または制限されたネットワーク環境を優先する場合、このオプションを選択できます。

サニタイズ プロセス中に、キャプチャされたアプリケーション イメージに表示されるすべてのビジネスデータは削除されます。 これは、個人を特定できる情報（PII）だけでなく、画面に表示される任意の機密ビジネスコンテンツも含まれます。

この包括的なローカル サニタイズが完了した後、生成された画像と抽出されたテキストは、さらなる処理のために地域ベースの AI サービスに送信されます。 あなたの環境を超えて、生のまたは未処理の画像データが共有されることはありません。