生成レコーダー - ビジョン フォールバック

生成レコーダー のビジョンモデル フォールバックは、ビジョンモデルを追加のフォールバック手段として使用することで自動化のレジリエンスを高めるように設計されています。 ビジョンモデルのフォールバックはフォールバックの有効性を高め、ビジネス継続性の提供、保守作業の最小化、組織の SLA 順守などのメリットをもたらします。

ビジョンモデル AI は、コンピュータビジョンモデルとも呼ばれ、視覚データ（画像や動画など）を解釈、分析、理解するために設計された人工知能システムであり、高度な機械学習技術を通じて実現されます。 ビジョンモデル フォールバックは、オートメーションプロセスで使用されるメカニズムで、レジリエンシーを高め、実行失敗を減少させるためのものです。 視覚モデルを使用して変化を特定し、リアルタイムで更新することが含まれており、予期しない変化が発生しても自動化タスクがスムーズに続行されることを保証します。
注: 生成レコーダー、テキストベースのフォールバックとネイティブ フォールバックは、あなたの Automator AI クォータからの推奨を使用しません。ただし、生成レコーダー のビジョンフォールバックは、フォールバックが実行時に実際にトリガーされたときにのみ、フォールバックごとに1つの推奨を消費します。 ビジョン フォールバックが有効な自動化の数は、あなたのクォータには影響しません。 推奨事項は、実行中にビジョン フォールバックが有効になっている場合にのみ差し引かれます。

機能

生成レコーダーは、ビジネスアプリケーションの深い視覚的理解を達成するために、私たちの自動化に調整されたアンサンブルモデルを活用します。

ビジョンフォールバックは次のことができます:
  • 従来の方法では見逃される可能性のある修正された UI 構造を正確に特定します。
  • 手動介入なしでレイアウトとデザインの変更に適応します。
  • 失敗を防ぐことで自動化の効果を高めます。

利用可能な機能についての情報は、生成レコーダーをご覧ください。

ビジョンモデルのフォールバックを有効にするには:
  1. Bot Creator としてログインします。
  2. Bot エディターから、詳細設定 > パッケージ設定 の順に移動します。
  3. パッケージ設定 > レコーダー で、生成 AI 画像に基づくフォールバックを有効にします。

ビジョンモデルのフォールバック選択設定

ビジョンベースのフォールバックにおける画像のサニタイズ

注: システムに別の Python がインストールされている場合、ビジョンベースのフォールバックが正しく機能しない可能性があります。これは画像マスキングの失敗を引き起こす可能性があります。 具体的には、画像マスキングで使用される組み込みの Python は Bot 実行時のみに抽出され、干渉することはありません。ただし、コントロール パネル > プログラムと機能 で確認できる追加の Python インストールは、ビジョン フォールバックの動作に影響を与える可能性があります。 信頼性のあるビジョンベースのフォールバックのパフォーマンスを確保するために、プログラムと機能 に見つかったそのような Python のインストールをアンインストールしてください。

データのセキュリティおよびプライバシーリスクを軽減するため、生成レコーダーはデータが外部に送信される前に、お使いのマシン上で画像のサニタイズ処理をローカルで実行します。 このプロセスは、デバイス上で実行されている レコーダー パッケージ によって完全に処理されます。

サニタイズ プロセス中に、キャプチャされたアプリケーション イメージに表示されるすべてのビジネスデータは削除されます。 これは、個人を特定できる情報（PII）だけでなく、画面に表示される任意の機密ビジネスコンテンツも含まれます。

この包括的なローカル サニタイズが完了した後、生成された画像と抽出されたテキストは、さらなる処理のために地域ベースの AI サービスに送信されます。 あなたの環境を超えて、生のまたは未処理の画像データが共有されることはありません。