[ウィンドウで画像を検索] アクション の使用

[ウィンドウで画像を検索] アクション を使用し、ターゲット画像 (ニードル) を使用してアプリケーション ウィンドウ (干し草) で UI 要素を検索します。ターゲット画像とは、UI 要素の検索に使用できる既存の画像です。

アプリケーション ウィンドウ内で画像を検索するには、以下の手順に従います。

1. [アクション] パレットの [画像認識] パッケージ から [ウィンドウで画像を検索] アクション をダブルクリックまたはドラッグします。
2. アプリケーション ウィンドウで検索するターゲット画像 (ニードル) を指定します。
   • Control Room ファイル: Control Room にある画像ファイルを使用します。
   • デスクトップ ファイル: デバイスで利用可能な画像ファイルを使用します。
   • 変数: ファイル変数を使用して、使用する画像ファイルの場所を指定します。

   注: jpeg、.jpg、.jpe、.jfif、.bmp、.png、.gif 形式の画像がサポートされています。
3. ソース画像 (干し草) を検索するウィンドウを指定します。
   [アプリケーション]、[ブラウザ]、または [変数] タブから選択します。

   オプション	説明
   アプリケーション	現在アクティブなウィンドウのリストから選択します。このオプションでは、Bot Creator デバイスで開いているすべてのアプリケーション ウィンドウとブラウザ ウィンドウのリストが表示されます。
   ブラウザ	対応ブラウザ タブのリストから選択します。 注: このオプションは、Google Chrome、Chromium ベースの Microsoft Edge、および Internet Explorer ブラウザをサポートします。それ以外のブラウザの場合は、[アプリケーション] オプションを使用してください。
   変数	既存のウィンドウ変数を選択して、アプリケーション ウィンドウのタイトルを指定します。

   [ウィンドウ タイトル] フィールドでワイルドカード文字 (*) を挿入することで、さまざまなウィンドウ タイトルを検索できます。値の先頭、中間、末尾に 1 つ以上のワイルドカード文字 (*) を指定することができます。たとえば、タイトルに Microsoft を含むウィンドウで操作を実行するには、値の前または後にワイルドカード文字を追加して、次のように任意の文字列を示すことができます。*Microsoft*。Bot は、まず、完全に一致するウィンドウ タイトル (この場合であれば、Microsoft) を検索し、条件に一致する文字が見つからない場合は、タイトルに Microsoft を含むウィンドウを検索します。

   正規表現 (regex) を使用して、ウィンドウ タイトルを識別できます。各正規表現条件の [文字列] または [パターン] として正規表現を選択し、値を入力します。デフォルトでは、[ウィンドウ タイトル] フィールドで大文字と小文字が区別されます。[大文字と小文字を区別しない] 正規表現フラグを有効にして、大文字と小文字を区別しないウィンドウ タイトルを識別できます。

   たとえば、((\w*)-Notepad で始まるすべてのウィンドウ タイトル名には ((\w*)-Notepad として [文字列] 値を入力できます。または、((\w)\s)*document-Notepad といった [パターン] を使用すると、このパターンに一致するウィンドウ タイトルのみに絞り込むことができます。

4. オプション: [ウィンドウのサイズ変更] オプションを選択して、ウィンドウの寸法を指定します。
   このオプションによって、より信頼性の高い Bot を実現できます。タスク記録時に合わせてウィンドウのサイズを変更し、Bot がターゲット オブジェクトを特定できるようにします。
   • タスク記録時にウィンドウが最大化されている場合、このオプションは選択されていません。
   • タスクを記録するときにウィンドウが最大サイズでない場合は、このオプションがデフォルトで選択され、幅と高さのフィールドにはウィンドウの寸法が自動的に入力されます。

   注: このオプションは、サイズ変更が可能なウィンドウでのみ使用できます。これは [デスクトップ] または [タスクバー] オプションでは使用できません。
5. [領域をキャプチャ] をクリックします。
   選択したウィンドウが表示されます。
6. マウスをドラッグして領域を選択し、完了したら右クリックします。
   キャプチャした領域が [プレビュー] セクションに表示され、その下に画像座標が表示されます。
7. [キャプチャされるまでの待機時間 (ミリ秒)] フィールドで、画像を検索するまでの待機時間 (ミリ秒) を指定します。
8. 見つからなかった場合にターゲット画像の検索を再試行するには、[画像が検出されない場合リピート] チェックボックスを選択します。
   1. [回数] フィールドには、ターゲット画像を検索するプロセスを繰り返す回数を指定します。
   2. [リピート間の待機時間 (ミリ秒)] フィールドには、ターゲット画像を検索するプロセスを繰り返すまでシステムが待機する時間を指定します。
9. [一致率] フィールドには、2 つの画像が一致と見なされるピクセルの割合をパーセントで指定します。
   たとえば、一致率としてフィールドに「20」と指定すると、2 つの画像間で最大 80% のピクセル不一致があっても、システムは画像を一致と見なします。
10. [選択した数字合わせ] フィールドに、この アクション を実行するターゲット画像の出現回数を指定する値を入力します。
    画像が画面に出現する回数がわからない場合は、変数を挿入できます。変数は、数値をサポートするものを割り当ててください。
11. [プレビュー] オプションは、アプリケーション画面で検索する既存のターゲット画像に対して相対的な (オフセ