[ウィンドウで画像を検索] アクション の使用

[ウィンドウで画像を検索] アクション を使用し、ターゲット画像 (ニードル) を使用してアプリケーション ウィンドウ (干し草) で UI 要素を検索します。ターゲット画像とは、UI 要素の検索に使用できる既存の画像です。

手順

アプリケーション ウィンドウ内で画像を検索するには、以下の手順に従います。

  1. [アクション] パレットの [画像認識] パッケージ から [ウィンドウで画像を検索] アクション をダブルクリックまたはドラッグします。
  2. アプリケーション ウィンドウで検索するターゲット画像 (ニードル) を指定します。
    • Control Room ファイル: Control Room にある画像ファイルを使用します。
    • デスクトップ ファイル: デバイスで利用可能な画像ファイルを使用します。
    • 変数: ファイル変数を使用して、使用する画像ファイルの場所を指定します。
    注: jpeg、.jpg、.jpe、.jfif、.bmp、.png、.gif 形式の画像がサポートされています。
  3. ソース画像 (干し草) を検索するウィンドウを指定します。
    [アプリケーション]、[ブラウザ]、または [変数] タブから選択します。
    オプション説明
    アプリケーション 現在アクティブなウィンドウのリストから選択します。このオプションでは、Bot Creator デバイスで開いているすべてのアプリケーション ウィンドウとブラウザ ウィンドウのリストが表示されます。
    ブラウザ 対応ブラウザ タブのリストから選択します。
    注: このオプションは、Google Chrome、Chromium ベースの Microsoft Edge、および Internet Explorer ブラウザをサポートします。それ以外のブラウザの場合は、[アプリケーション] オプションを使用してください。
    変数 既存のウィンドウ変数を選択して、アプリケーション ウィンドウのタイトルを指定します。
    [ウィンドウ タイトル] フィールドでワイルドカード文字 (*) を挿入することで、さまざまなウィンドウ タイトルを検索できます。値の先頭、中間、末尾に 1 つ以上のワイルドカード文字 (*) を指定することができます。 たとえば、タイトルに Microsoft が含まれているウィンドウで操作を実行するには、値の前または後にワイルドカードを追加して任意の文字列を示します。*Microsoft*。Bot は、まず、完全に一致するウィンドウ タイトル (この場合であれば、Microsoft) を検索し、条件に一致する文字が見つからない場合は、タイトルに Microsoft を含むウィンドウを検索します。

    正規表現 (regex) を使用して、ウィンドウ タイトルを識別できます。正規表現の条件として [文字列] または [パターン] を選択し、値を入力します。デフォルトでは、[ウィンドウ タイトル] フィールドで大文字と小文字が区別されます。

    ブラウザのタイトルを識別する場合、[大文字と小文字が区別される] オプションを有効にすると、大文字と小文字を一致させることができます。このオプションを無効にすると、大文字と小文字が一致しないウィンドウ タイトルを識別できます。
    注: システムにインストールされている最小 Bot エージェント バージョンが、Automation 360 v.26 でリリースされたバージョンであることを確認してください。Automation 360 v.25 以前でリリースされた Bot エージェント バージョンを使用している場合、ウィンドウ タイトルはデフォルトで大文字小文字を区別して識別されます。
    たとえば、((\w*)-Notepad で始まるすべてのウィンドウ タイトル名には ((\w*)-Notepad として [文字列] 値を入力できます。または、((\w)\s)*document-Notepad として [パターン] 値を使用すると、このパターンに一致するウィンドウ タイトルのみに絞り込むことができます。
    注:
    • 任意のアクションでウィンドウ タイトルの入力値として「-title」を含む [文字列] 型の正規表現を使用する場合、Bot にランタイム エラーが発生する可能性があります。ランタイム エラーを防ぐために、「*-title」と文字列を追加入力したときに特定のタイトルのアプリケーションが開くことを確認します。アスタリスク (*) は単なる文字であり、ワイルド カード文字ではありません。
    • 任意のアクションでウィンドウ タイトルの入力値として「-title」を含む [パターン] 型の正規表現を使用する場合、入力値「*-title」が正しくないため、Bot にランタイム エラーが発生する可能性があります。

      有効な正規表現パターンを使用していることを確認してください。

  4. オプション: [ウィンドウのサイズ変更] オプションを選択して、ウィンドウの寸法を指定します。
    このオプションによって、より信頼性の高い Bot を実現できます。タスク記録時に合わせてウィンドウのサイズを変更し、Bot がターゲット オブジェクトを特定できるようにします。
    • タスク記録時にウィンドウが最大化されている場合、このオプションは選択されていません。
    • タスクを記録するときにウィンドウが最大サイズでない場合は、このオプションがデフォルトで選択され、幅と高さのフィールドにはウィンドウの寸法が自動的に入力されます。
    注: このオプションは、サイズ変更が可能なウィンドウでのみ使用できます。これは [デスクトップ] または [タスクバー] オプションでは使用できません。
  5. [領域をキャプチャ] をクリックします。
    選択したウィンドウが表示されます。
  6. マウスをドラッグして領域を選択し、完了したら右クリックします。
    キャプチャした領域が [プレビュー] セクションに表示され、その下に画像座標が表示されます。
  7. [キャプチャされるまでの待機時間 (ミリ秒)] フィールドで、画像を検索するまでの待機時間 (ミリ秒) を指定します。
  8. 見つからなかった場合にターゲット画像の検索を再試行するには、[画像が検出されない場合リピート] チェックボックスを選択します。
    1. [回数] フィールドには、ターゲット画像を検索するプロセスを繰り返す回数を指定します。
    2. [リピート間の待機時間 (ミリ秒)] フィールドには、ターゲット画像を検索するプロセスを繰り返すまでシステムが待機する時間を指定します。
  9. [一致率] フィールドには、2 つの画像が一致と見なされるピクセルの割合をパーセントで指定します。
    たとえば、一致率としてフィールドに「20」と指定すると、2 つの画像間で最大 80% のピクセル不一致があっても、システムは画像を一致と見なします。
  10. [選択した数字合わせ] フィールドに、この アクション を実行するターゲット画像の出現回数を指定する値を入力します。
    画像が画面に出現する回数がわからない場合は、変数を挿入できます。変数は、数値をサポートするものを割り当ててください。
  11. [プレビュー] オプションは、アプリケーション画面で検索する既存のターゲット画像に対して相対的な (オフセット) 画像を選択する場合や、ターゲット画像が複数ある場合に特定の画像を選択する場合に使用します。
  12. [プレビュー] をクリックします。
    ターゲット画像が複数回 [プレビュー] ウィンドウに表示されている場合は、それぞれの画像が四角形の枠内でハイライト表示され、各画像に対して番号が表示されます。
  13. ハイライト表示された特定の画像を選択すると、既存の画像を基準にしてクリック位置を決めることができます。
    注: 自動化するアプリケーション画面上に複数の画像があり、ターゲット画像の検索が容易ではない場合、キャプチャした領域で簡単に識別できる画像を選択し、それを基準にクリック位置を設定できます。
  14. キャプチャした領域で、ターゲット画像が複数回見つかった場合は、特定のターゲット画像を選択するか、右ペインの [数字合わせ (任意)] フィールドのドロップダウンから出現番号を選択できます。
    右ペインの [数字合わせ (任意)] フィールドと [ターゲット オフセット] フィールドには、選択した画像とターゲット画像のオフセット座標が表示されます。
  15. [送信] をクリックします。
  16. [ターゲット座標の選択] フィールドでは、[一致部分の中心] または [一致からのオフセット] 座標オプションが、[プレビュー] ウィンドウで実行した アクション に基づいて自動的に選択されます。
    • 一致部分の中心: 画像は、一致した画像の中心の座標に基づいて選択されます。
    • 一致からのオフセット: 画像は、一致した画像の座標に対する相対座標に基づいて選択されます。
    注: オフセット座標は、画像の左上隅からピクセル数を測定します。
  17. [ターゲット座標で実行するアクション] リストからオプションを選択して、アプリケーション ウィンドウで一致する画像に対して実行するアクションを指定します。
  18. [保存] をクリックします。