[ウィンドウでウィンドウを検索] アクション の使用

[ウィンドウでウィンドウを検索] アクション を使用すると、ウィンドウのスクリーンショットを使用してアプリケーション ウィンドウ内の UI 要素を検索できます。この アクション を使用すると、アプリケーションの UI 要素の画像をキャプチャし、キャプチャした画像を使用して別のウィンドウでその UI 要素を検索できます。

手順

アプリケーション ウィンドウで利用可能な画像を使用して、別のアプリケーション ウィンドウで画像を検索するには、次の手順に従います。

  1. [アクション] パレットの [画像認識] パッケージ から [ウィンドウで画像を検索] アクション をダブルクリックまたはドラッグします。
  2. アプリケーション ウィンドウで検索するターゲット画像 (ニードル) を指定します。
    オプション説明
    ブラウザ 対応ブラウザ タブのリストから選択します。
    注: このオプションは、Google Chrome、Chromium ベースの Microsoft Edge、および Internet Explorer ブラウザをサポートします。それ以外のブラウザの場合は、[アプリケーション] オプションを使用してください。
    アプリケーション 現在アクティブなウィンドウのリストから選択します。このオプションでは、Bot Creator デバイスで開いているすべてのアプリケーション ウィンドウとブラウザ ウィンドウのリストが表示されます。
    正規表現 (regex) を使用して、ウィンドウ タイトルを識別できます。各正規表現条件の [文字列] または [パターン] として正規表現を選択し、値を入力します。デフォルトでは、[ウィンドウ タイトル] フィールドで大文字と小文字が区別されます。[大文字と小文字を区別しない] 正規表現フラグを有効にして、大文字と小文字を区別しないウィンドウ タイトルを識別できます。
    ブラウザのタイトルを識別する場合、[大文字と小文字が区別される] オプションを有効にすると、大文字と小文字を一致させることができます。このオプションを無効にすると、大文字と小文字が一致しないウィンドウ タイトルを識別できます。
    注: システムにインストールされている最小 Bot エージェント バージョンが、Automation 360 v.26 でリリースされたバージョンであることを確認してください。Automation 360 v.25 以前でリリースされた Bot エージェント バージョンを使用している場合、ウィンドウ タイトルはデフォルトで大文字小文字を区別して識別されます。
  3. [画像をキャプチャ] をクリックしてターゲット画像をキャプチャします。
  4. マウス ポインターをアプリケーション ウィンドウの領域にドラッグします。
    キャプチャされた領域が、[プレビュー] セクションに表示されます。
  5. ソース画像 (干し草) を検索するウィンドウを指定します。
    [アプリケーション]、[ブラウザ]、または [変数] タブから選択します。
    オプション説明
    アプリケーション 現在アクティブなウィンドウのリストから選択します。このオプションでは、Bot Creator デバイスで開いているすべてのアプリケーション ウィンドウとブラウザ ウィンドウのリストが表示されます。
    ブラウザ Bot Creator デバイスで現在開いている Google Chrome タブのリストから選択します。
    注: 現在、このオプションは Google Chrome タブのみをサポートしています。それ以外のブラウザの場合は、[アプリケーション] オプションを使用してください。
    変数 既存のウィンドウ変数を選択して、アプリケーション ウィンドウのタイトルを指定します。

    [ウィンドウ タイトル] フィールドでワイルドカード文字 (*) を挿入することで、さまざまなウィンドウ タイトルを検索できます。値の先頭、中間、または末尾に 1 つ以上のワイルドカード (*) を指定できます。

    たとえば、タイトルに Microsoft が含まれているウィンドウで操作を実行するには、値の前または後にワイルドカードを追加して任意の文字列を示します。「*Microsoft*」のように指定して任意の文字列を示します。Bot は、まず、完全に一致するウィンドウタイトル (Microsoft) を検索し、一致するものが見つからない場合は、タイトルのどこかに Microsoft という語が含まれるウィンドウを検索します。

    正規表現 (regex) を使用して、ウィンドウ タイトルを識別できます。各正規表現条件の [文字列] または [パターン] として正規表現を選択し、値を入力します。デフォルトでは、[ウィンドウ タイトル] フィールドで大文字と小文字が区別されます。[大文字と小文字を区別しない] 正規表現フラグを有効にして、大文字と小文字を区別しないウィンドウ タイトルを識別できます。 大文字と小文字を区別する静的ウィンドウまたはブラウザのタイトルとワイルドカード文字によるタイトルを識別するために [大文字と小文字が区別される] オプションを有効にすることができ、また、大文字と小文字を区別しないウィンドウ タイトルを識別するためにそのオプションを無効にすることができます。

    たとえば、((\w*)-Notepad で始まるすべてのウィンドウ タイトル名には ((\w*)-Notepad として [文字列] 値を入力できます。または、((\w)\s)*document-Notepad といった [パターン] を使用すると、このパターンに一致するウィンドウ タイトルのみに絞り込むことができます。

  6. [ウィンドウのサイズ変更] オプションを選択して、ウィンドウの寸法を指定します。
    このオプションによって、より信頼性の高い Bot を実現できます。これによってウィンドウのサイズは、タスクが記録された寸法に変更されるため、Bot におけるターゲット オブジェクトの識別能力が高まります。
    • タスクの記録時にウィンドウが最大化されている場合、このオプションは選択解除されます。
    • タスクの記録時にウィンドウが最大サイズでない場合、このオプションはデフォルトで選択されており、幅と高さのフィールドにはウィンドウのサイズが自動入力されます。
    注: このオプションは、サイズ変更可能なウィンドウに対してのみ使用できます。これは [デスクトップ] または [タスクバー] オプションでは使用できません。
  7. [領域をキャプチャ] をクリックします。
    選択したウィンドウが表示されます。
  8. マウスをドラッグして領域を選択し、完了したら右クリックします。
    キャプチャした領域が [プレビュー] セクションに表示され、その下に画像座標が表示されます。
  9. [ウィンドウを取得するまで待機 (ミリ秒)] フィールドで、画像を検索するまでの待機時間 (ミリ秒単位) を指定します。
  10. 見つからなかった場合にターゲット画像の検索を再試行するには、[画像が検出されない場合リピート] チェックボックスを選択します。
    1. [回数] フィールドには、ターゲット画像を検索するプロセスを繰り返す回数を指定します。
    2. [リピート間の待機時間 (ミリ秒)] フィールドには、ターゲット画像を検索するプロセスを繰り返すまでシステムが待機する時間を指定します。
  11. [一致率] フィールドには、2 つの画像が一致と見なされるピクセルの割合をパーセントで指定します。
    たとえば、一致率としてフィールドに「20」と指定すると、2 つの画像間で最大 80% のピクセル不一致があっても、システムは画像を一致と見なします。
  12. [選択した数字合わせ] フィールドに、この アクション を実行するターゲット画像の出現回数を指定する値を入力します。
    画像が画面に出現する回数がわからない場合は、変数を挿入できます。変数は、数値をサポートするものを割り当ててください。
  13. [プレビュー] オプションは、アプリケーション画面で検索する既存のターゲット画像に対して相対的な (オフセット) 画像を選択する場合や、ターゲット画像が複数ある場合に特定の画像を選択する場合に使用します。
  14. [プレビュー] をクリックします。
    ターゲット画像が複数回 [プレビュー] ウィンドウに表示されている場合は、それぞれの画像が四角形の枠内でハイライト表示され、各画像に対して番号が表示されます。
  15. ハイライト表示された特定の画像を選択すると、既存の画像を基準にしてクリック位置を決めることができます。
    注: 自動化するアプリケーション画面上に複数の画像があり、ターゲット画像の検索が容易ではない場合、キャプチャした領域で簡単に識別できる画像を選択し、それを基準にクリック位置を設定できます。
  16. キャプチャした領域で、ターゲット画像が複数回見つかった場合は、特定のターゲット画像を選択するか、右ペインの [数字合わせ (任意)] フィールドのドロップダウンから出現番号を選択できます。
    右ペインの [数字合わせ (任意)] フィールドと [ターゲット オフセット] フィールドには、選択した画像とターゲット画像のオフセット座標が表示されます。
  17. [送信] をクリックします。
  18. [ターゲット座標の選択] フィールドでは、[一致部分の中心] または [一致からのオフセット] 座標オプションが、[プレビュー] ウィンドウで実行した アクション に基づいて自動的に選択されます。
    • 一致部分の中心: 画像は、一致した画像の中心の座標に基づいて選択されます。
    • 一致からのオフセット: 画像は、一致した画像の座標に対する相対座標に基づいて選択されます。
    注: オフセット座標は、画像の左上隅からピクセル数を測定します。
  19. [ターゲット座標で実行するアクション] リストからオプションを選択して、アプリケーション ウィンドウで一致する画像に対して実行するアクションを指定します。
  20. [保存] をクリックします。