[ウィンドウで画像を検索] actionを使用する

ターゲット画像 (針) を使ってアプリケーション ウィンドウ (干し草) の UI 要素を検索するには、[ウィンドウで画像を検索] actionを使用します。ターゲット画像とは、UI 要素の検索に使用できる既存画像です。

アプリケーション ウィンドウ内の画像を検索するには、以下の手順に従ってください。

1. [アクション] パレットの [画像認識] packageで、[ウィンドウで画像を検索] actionをダブルクリックまたはドラッグします。
2. 画像を検索するウィンドウを指定します。
   [アプリケーション]、[ブラウザ]、または [変数] タブから選択します。

   オプション	説明
   アプリケーション:	現在アクティブなウィンドウのリストから選択します。このオプションは、Bot Creator デバイスで開いているすべてのアプリケーション ウィンドウとブラウザ ウィンドウのリストを表示します。
   ブラウザ	Bot Creator デバイスで現在開いている Google Chrome タブのリストから選択します。 注: 現在、このオプションは Google Chrome のタブのみをサポートしています。その他のブラウザについては、[アプリケーション] オプションを使用します。
   変数:	既存のウィンドウ変数を選択して、アプリケーション ウィンドウ タイトルのタイトルを指定します。

   [ウィンドウ タイトル] フィールドでワイルドカード文字 (*) を挿入することで、さまざまなウィンドウ タイトルを検索できます。値の先頭、中間、末尾に 1 つ以上のワイルドカード文字 (*) を指定することができます。たとえば、タイトルに Microsoft を含むウィンドウで操作を実行するには、値の前または後にワイルドカード文字を追加して、次のように任意の文字列を示すことができます。*Microsoft*。bot は、まず、完全に一致するウィンドウ タイトル (この場合であれば、Microsoft) を検索し、条件に一致する文字が見つからない場合は、タイトルに Microsoft を含むウィンドウを検索します。

   正規表現 (regex) を使用して、ウィンドウ タイトルを識別できます。各正規表現条件の [文字列] または [パターン] として正規表現を選択し、値を入力します。デフォルトでは、[ウィンドウ タイトル] フィールドで大文字と小文字が区別されます。[大文字と小文字を区別しない] 正規表現フラグを有効にして、大文字と小文字を区別しないウィンドウ タイトルを識別できます。

   たとえば、((\w*)-Notepad で始まるすべてのウィンドウ タイトル名には ((\w*)-Notepad として文字列値を入力できます。または、((\w)\s)*document-Notepad といったパターンを使用すると、このパターンに一致するウィンドウ タイトルのみに絞り込むことができます。

3. オプション: [ウィンドウのサイズ変更] オプションを選択して、ウィンドウの寸法を指定します。
   このオプションによって、より信頼性の高い bot を実現できます。これによってウィンドウのサイズは、タスクが記録されたディメンションに変更されるため、Bot におけるターゲット オブジェクトの識別能力が高まります。
   • タスクを記録する時にウィンドウが最大化されている場合、このオプションは選択されていません。
   • タスクを記録する時にウィンドウが最大サイズでない場合、このオプションはデフォルトで選択されており、幅と高さのフィールドはウィンドウの寸法で自動入力されます。

   注: このオプションは、サイズ変更可能なウィンドウに対してのみ使用できます。これは [デスクトップ] または [タスクバー] オプションでは使用できません。
4. [領域をキャプチャ] をクリックします。
   選択したウィンドウが表示されます。
5. マウスをドラッグして領域を選択し、完了したら右クリックします。
   キャプチャした領域が [プレビュー] セクションに表示され、下に画像座標が表示されます。
6. 画像が見つかるまでの遅延 (ミリ秒) を [キャプチャされるまでの待機時間 (ミリ秒)] フィールドに指定します。
7. アプリケーション ウィンドウで検索するターゲット画像 (針) を指定します。
   Recommendation: Control Room のターゲット画像ファイルと一緒に bots を保存します。これにより、保存されたターゲット画像を使用して、アプリケーション ウィンドウ内のユーザーインターフェース コントロールまたは要素を検索できます。
   • Control Room ファイル: Control Room にある画像ファイルを使用します。
   • デスクトップ ファイル: お使いのデバイスにある画像ファイルを使用します。
   • 変数: 使用する画像の場所を含む変数を使用します。

   注: サポートされる形式は、.jpeg、.jpg、.jpe、.jfif、.bmp、.png、.gif 形式です。
8. [画像オカレンス] フィールドに値を入力して、このactionを実行するターゲット画像のインスタンスを指定します。
9. [一致率] フィールドで、2 つの画像で一致するピクセルの許容可能なパーセントを指定します。
   たとえば、一致パーセントとしてフィールドに「20」と指定した場合は、2 つの画像間で最大 80% のピクセル不一致があっても、システムは画像が一致していると見なします。
10. クリック アクションを選択します。
    • 一致をクリック: 実行時には、bot は一致する画像の中央をクリックします。
    • 一致からのオフセット: 実行時に、bot は指定したオフセット座標をクリックします。
      注: オフセット座標は、画像の左上隅からピクセル数を測定します。
11. [アクション] リストからオプションを選択して、アプリケーション ウィンドウで一致した画像で実行するアクションを指定します。
12. オプション: 見つからなかった場合にターゲット画像の検索を再試行する場合は、[画像が見つからないとリピート] チェック ボックスを選択します。
    1. [回数] フィールドには、ターゲット画像を検索するプロセスをシステムが繰り返す回数を指定します。
    2. [リピート間の待機時間] フィールドには、ターゲット画像を検索するプロセスを繰り返すまでシステムが待機する時間を指定します。
13. [保存] をクリックします。