[ウィンドウでウィンドウを検索] action を使用すると、ウィンドウのスクリーンショットを使用してアプリケーション ウィンドウ内の UI 要素を検索できます。 この action を使用すると、アプリケーションの UI 要素の画像をキャプチャし、キャプチャした画像を使用してその UI 要素を別のウィンドウで検索できます。

手順

アプリケーション ウィンドウで利用可能な画像を使用して、別のアプリケーション ウィンドウで画像を検索するには、次の手順に従います。

  1. [ウィンドウ内の画像を検索] action をダブルクリックするか、[アクション] パレットの package画像認識[ からドラッグします]。
  2. アプリケーション ウィンドウで検索するターゲット画像 (ニードル) を指定します。
    オプション説明
    ブラウザ 対応ブラウザ タブのリストから選択します。
    注:
    • Windows では、このオプションは、Google Chrome、Chromium ベースの Microsoft Edge、および Internet Explorer ブラウザをサポートします。 それ以外のブラウザの場合は、アプリケーション オプションを使用してください。
    • macOS では、このオプションは Google Chrome および Safari ブラウザをサポートしています。
    アプリケーション 現在アクティブなウィンドウのリストから選択します。 このオプションでは、Bot Creator デバイスで開いているすべてのアプリケーション ウィンドウとブラウザ ウィンドウのリストが表示されます。
    正規表現 (regex) を使用して、ウィンドウ タイトルを識別できます。 それぞれの正規表現条件に対して、正規表現を [文字列] または [パターン] のいずれかで選択し、値を入力します。 デフォルトでは、[ウィンドウ タイトル] フィールドで大文字と小文字が区別されます。 大文字と小文字を区別しない 正規表現フラグを有効にして、大文字と小文字を区別しないウィンドウ タイトルを識別できます。
    ブラウザのタイトルを識別する場合、[大文字と小文字が区別される] オプションを有効にすると、大文字と小文字を一致させることができます。このオプションを無効にすると、大文字と小文字が一致しないウィンドウ タイトルを識別できます。
    注: システムにインストールされている最小 Bot Agent バージョンが、Automation 360 v.26 でリリースされたバージョンであることを確認してください。Automation 360 v.25 以前でリリースされた Bot Agent バージョンを使用している場合、ウィンドウ タイトルはデフォルトで大文字小文字を区別して識別されます。
  3. [画像をキャプチャ] をクリックして、対象画像をキャプチャします。
  4. マウス ポインターをアプリケーション ウィンドウの領域にドラッグします。
    キャプチャされた領域が、プレビュー セクションに表示されます。
  5. ソース画像（干し草）を検索したいウィンドウを指定します。
    アプリケーション、ブラウザ、または 変数 タブから選択します。
    オプション説明
    アプリケーション 現在アクティブなウィンドウのリストから選択します。 このオプションでは、Bot Creator デバイスで開いているすべてのアプリケーション ウィンドウとブラウザ ウィンドウのリストが表示されます。
    ブラウザ Bot Creator デバイスで現在開いているブラウザ タブのリストから選択します。
    注:
    • Windows では、このオプションは Google Chrome タブのみをサポートしています。 それ以外のブラウザの場合は、アプリケーション オプションを使用してください。
    • macOS では、このオプションは Google Chrome および Safari ブラウザをサポートしています。
    変数 既存のウィンドウ変数を選択して、アプリケーション ウィンドウのタイトルを指定します。

    [ウィンドウ タイトル] フィールドでワイルドカード文字 (*) を挿入することで、さまざまなウィンドウ タイトルを検索できます。 値の初級、中間、末尾に 1 つ以上のワイルドカード文字 (*) を指定することができます。

    たとえば、タイトルに Microsoft が含まれているウィンドウで操作を実行するには、値の前または後にワイルドカードを追加して任意の文字列を示します: *Microsoft*。 bot は、まず、完全に一致するウィンドウ タイトル (この場合であれば、Microsoft) を検索し、条件に一致する文字が見つからない場合は、タイトルに Microsoft を含むウィンドウを検索します。

    正規表現 (regex) を使用して、ウィンドウ タイトルを識別できます。 それぞれの正規表現条件に対して、正規表現を [文字列] または [パターン] のいずれかで選択し、値を入力します。 デフォルトでは、[ウィンドウ タイトル] フィールドで大文字と小文字が区別されます。 大文字と小文字を区別しない 正規表現フラグを有効にして、大文字と小文字を区別しないウィンドウ タイトルを識別できます。 [大文字と小文字を区別] オプションを有効にすると、静的ウィンドウまたはブラウザのタイトル、および大文字と小文字が区別されるワイルドカード文字を含むタイトルを識別することができ、オプションを無効にすると、大文字と小文字を区別しないウィンドウ タイトルを識別することができます。

    例えば、文字列 の値を ((\w*)-Notepad として入力することで、((\w*)-Notepad で始まるすべてのウィンドウタイトル名を対象にすることができます。また、パターン を使用して ((\w)\s)*document-Notepad のように、このパターンに一致するウィンドウタイトルのみを対象にすることもできます。

  6. ウィンドウのサイズを指定するには、ウィンドウのサイズ変更 オプションを選択します。
    このオプションによって、より信頼性の高い bot を実現できます。 これによってウィンドウのサイズは、タスクが記録された寸法に変更されるため、Bot におけるターゲット オブジェクトの識別能力が高まります。
    • タスクの記録時にウィンドウが最大化されている場合、このオプションは選択解除されます。
    • ウィンドウが最大サイズでない状態でタスクを記録する場合、このオプションはデフォルトで選択されており、幅と高さのフィールドにはウィンドウのサイズが自動入力されます。
    注: このオプションは、サイズ変更可能なウィンドウに対してのみ使用できます。 これは [デスクトップ] または [タスクバー] オプションでは使用できません。
  7. [領域をキャプチャ] をクリックします。
    選択したウィンドウが表示されます。
  8. マウスをドラッグして領域を選択し、完了したら右クリックします。
    キャプチャした領域が プレビュー セクションに表示され、その下に画像座標が表示されます。
  9. [ウィンドウを取得するまで待機 (ミリ秒)] フィールドで、画像を検索するまでの待機時間 (ミリ秒単位) を指定します。
  10. ターゲット画像が見つからなかった場合にシステムが再検索を試みるには、画像が検出されない場合リピート チェックボックスを選択します。
    1. [回数] フィールドには、ターゲット画像を検索するプロセスをシステムが繰り返す回数を指定します。
    2. [リピート間の待機時間 (ミリ秒)] フィールドには、ターゲット画像を検索するプロセスを繰り返すまでシステムが待機する時間を指定します。
  11. [一致率] フィールドには、2 つの画像間で一致するピクセルの許容割合を指定します。
    たとえば、一致率としてフィールドに[20]と指定すると、2 つの画像間で最大 80% のピクセル不一致があっても、システムは画像を一致と見なします。
  12. 選択した一致番号 フィールドに、この action を実行するターゲット画像の出現回数を指定する値を入力します。
    画像が画面に出現する回数がわからない場合は、変数を挿入できます。 変数は、数値をサポートするものを割り当ててください。
  13. [プレビュー] オプションは、アプリケーション画面で検索している既存のターゲット画像に対して相対的（オフセット）の画像を選択したい場合や、ターゲット画像が複数存在する場合に特定の出現箇所を選択したい場合に使用します。
  14. [プレビュー] をクリックします。
    ターゲット画像が複数回 プレビュー ウィンドウに表示されている場合は、それぞれの画像が四角形の枠内でハイライト表示され、各画像に対して番号が表示されます。
  15. ハイライト表示された特定の画像を選択すると、既存の画像を基準にしてクリック位置を決めることができます。
    注: 自動化するアプリケーション画面上に複数の画像があり、ターゲット画像の検索が容易ではない場合、キャプチャした領域で簡単に識別できる画像を選択し、それを基準にクリック位置を設定できます。
  16. キャプチャした領域で、ターゲット画像が複数回見つかった場合 その場合、特定のターゲット画像を選択するか、右ペインの 数字合わせ (任意) フィールドのドロップダウンから出現番号を選択できます。
    右ペインの 数字合わせ (任意) フィールドと ターゲット オフセット フィールドには、選択した画像の出現箇所とターゲット画像のオフセット座標が表示されます。
  17. [送信] をクリックします。
  18. [ターゲット座標の選択] フィールドでは、[一致部分の中心] または [一致からのオフセット] 座標オプションが、actionプレビュー ウィンドウで実行した に基づいて自動的に選択されます。
    • 一致部分の中心: 画像は、一致した画像の中心の座標に基づいて選択されます。
    • 一致からのオフセット: 画像は、一致した画像の座標に対する相対座標に基づいて選択されます。
    注: オフセット座標は、画像の左上隅からピクセル数を測定します。
  19. [ターゲット座標で実行するアクション] リストからオプションを選択して、アプリケーションウィンドウで一致する画像に対して実行したいアクションを指定します。
  20. 保存 をクリックします。