[画像認識] package

[画像認識] packageには、画像を基にアプリケーションのユーザー インターフェース (UI) 要素を検索して、そのアプリケーション内のタスクを自動化できるactionsが含まれています。

画像認識 packageのActions

注: macOSプラットフォームで自動化を作成すると、確認ウィンドウが表示され、macOSでアプリの権限を付与するよう促されます。 このトピックでは、プロンプトメッセージの一覧とアプリの権限を管理するための指示を閲覧できます。

macOS のアプリケーションの権限

以下のようなアプリケーションの UI 要素をキャプチャできない場合は、これらのactionsを使用してタスクを自動化します。
  • Citrix 経由で公開されている
  • リモート デスクトップ プロトコル (RDP) を使用してアクセスされている
  • レガシー テクノロジーを使用して開発されている

[画像認識] は、オブジェクトベースの認識が機能しない場合や信頼性が低い場合にも役立ちます。 たとえば、画像を使用してアプリケーションの [閉じる] ボタンを検索し、左クリック操作を実行できます。

[画像認識] packageには、以下のactionsが含まれています。

Action 説明
ウィンドウで画像を検索 [[ウィンドウで画像を検索] action の使用]を参照してください。
ウィンドウでウィンドウを検索 [[ウィンドウでウィンドウを検索] action の使用]を参照してください。

安全な記録

安全な記録モードが有効になっている場合、bots はキャプチャ後にターゲット オブジェクトの画像を表示しません。 これにより、機密データが表示されることはありません。
注: bots はキャプチャ後にターゲット画像を表示しませんが、画像は Control Room を実行するのに必要であるため、bots に保存されます。

安全な記録モードでタスクを記録すると、プレビュー ウィンドウにキャプチャされた領域の画像が一時的に表示されます。 この画像は、Bot editor ウィンドウ外に移動したり、ウィンドウを更新すると非表示になります。

新しいオートメーションについては、安全な記録モードでオブジェクトをキャプチャするときに、保存時に未使用のオブジェクト プロパティを自動的に削除する オプションを有効にすることで、未使用のオブジェクト プロパティの値を自動的に削除するように選択できます。 このオプションを有効にすると、オートメーションを保存し、更新したときに検索条件の一部ではないオブジェクト プロパティの値が破棄されます。 これにより、個人を特定できる情報 (PII) がオートメーションに誤って保存されることがなくなります。 安全な記録の設定を有効にする方法の詳細については、安全な記録を参照してください。
注: タスクを自動化するために Generative Recorder を使用していて、保存時に未使用のオブジェクト プロパティを自動的に削除する オプションを有効にしている場合、生成 AI フォールバックはサポートされません。
注:
  • この機能は、Recorder package (バージョン 3.2.1-20240606-105427 以降) および Bot Agent (バージョン 22.60.23 以降) でサポートされています。
  • 既存のオートメーションでこのオプションを使用する場合は、コントロールを再キャプチャする必要があります。
  • 左、右、高さ、幅 プロパティの値は破棄されません。

管理者権限を持つユーザーは、この設定を有効にする必要があります。 設定を構成するを参照してください。