Como usar a ação Localizar imagem na janela

Use a ação Localizar imagem na janela para pesquisar um elemento de IU em uma janela de aplicativo (haystack) usando uma imagem-alvo (needle). A imagem-alvo é uma imagem existente que você pode usar para pesquisar um elemento de IU.

Procedimento

Para encontrar uma imagem dentro de uma janela do aplicativo, siga estas etapas:

  1. Clique duas vezes ou arraste a ação Localizar imagem na janela no pacote Reconhecimento de imagem na paleta Ações.
  2. Especifique a imagem-alvo (needle) que deseja encontrar na janela do aplicativo.
    • Arquivo da Control Room: Usa um arquivo de imagem disponível na Control Room.
    • Arquivo de desktop: Usa um arquivo de imagem disponível no seu dispositivo.
    • Variável: Usa uma variável de arquivo para especificar a localização do arquivo de imagem que você deseja usar.
    Nota: Imagens de formatos .jpeg, .jpg, .jpe, .jfif, .bmp, .png e .gif são compatíveis.
  3. Especifique a janela na qual deseja localizar a imagem de origem (haystack):
    Escolha a guia Aplicação, Navegador ou Variável.
    OpçãoDescrição
    Aplicativo Selecione a partir de uma lista de janelas atualmente ativas. Essa opção mostra uma lista de todas as janelas de aplicativo e do navegador que estão abertas no dispositivo Criador de bots.
    Navegador Selecione a partir de uma lista de guias do navegador compatíveis.
    Nota: Esta opção é compatível com os navegadores Google Chrome, Microsoft Edge e Internet Explorer baseado em Chromium. Para todos os outros navegadores, use a opção Aplicação.
    Variável Selecione uma variável de janela existente para especificar o título do título da janela do aplicativo.
    Insira um caractere curinga (*) no campo Título da janela para procurar títulos de janelas que podem mudar. Você pode especificar um ou mais curingas (*) no início, meio ou fim do valor. Por exemplo, para realizar uma operação em qualquer janela que tenha Microsoft no título, use um curinga para indicar qualquer string adicionando-o antes ou depois do valor: *Microsoft*. O primeiro bot procura o título exato da janela (Microsoft) e, se não encontrar uma correspondência, procura janelas com o termo Microsoft em qualquer parte do título.

    Você pode usar uma expressão regular (regex) para identificar um título da janela. Selecione a condição de expressão regular como String ou Padrão e, em seguida, insira o valor. Por padrão, o campo Título da janela diferencia maiúsculas e minúsculas.

    Para identificar um título do navegador, ative a opção Maiúsculas e minúsculas para corresponder às letras maiúscula e minúscula ou desativar a opção para identificar uma janela em que Maiúsculas e minúsculas não correspondam.
    Nota: Garanta que a versão do Agente de bot instalado em seu sistema é a versão lançada com o Automation 360 v.26. Se você tiver uma versão de Agente de bot lançada com Automation 360 v.25 ou anterior por padrão, então o título da janela ainda será identificado apenas com letras maiúsculas correspondentes (sensível a maiúsculas e minúsculas) por padrão.
    Por exemplo, para corresponder a todos os nomes de títulos de janelas que começam com uma palavra seguida por - Notepad, você pode inserir o valor da String como * -Notepad ou usar o valor Padrão como ((\w)\s)*document-Notepad para apenas os títulos das janelas que correspondem a esse padrão.
    Nota:
    • Quando você usa uma expressão regular do tipo String com -title como o valor de entrada para um título de janela em qualquer ação, o bot pode encontrar um erro de tempo de execução. Para evitar o erro de tempo de execução, assegure-se de que quando você adicionar a entrada de string como *-title, o aplicativo com o título específico está aberto. O asterisco (*) é apenas um caractere e não um caractere curinga.
    • Quando você usa uma expressão regular do tipo Padrão com -title como o valor de entrada para um título de janela em qualquer ação, o bot pode encontrar um erro de tempo de execução, uma vez que o valor de entrada *-title está incorreto.

      Assegure-se de utilizar padrões regex válidos.

  4. Opcional: Selecione a opção Redimensionar janela para especificar as dimensões da janela.
    Essa opção proporciona um bot confiável. Redimensiona a janela para as dimensões nas quais a tarefa foi registrada, o que aumenta a capacidade do bot de identificar o objeto alvo.
    • Se a janela for maximizada quando você registrar a tarefa, esta opção não será selecionada.
    • Se a janela não estiver no tamanho máximo quando a tarefa for registrada, esta opção é selecionada por padrão e os campos de largura e altura são preenchidos automaticamente com as dimensões da janela.
    Nota: Essa opção só está disponível para janelas que podem ser redimensionadas. Não está disponível para as opções Desktop ou Barra de tarefas.
  5. Clique em Região de captura.
    A janela selecionada será exibida.
  6. Arraste o mouse para selecionar a área e clique com o botão direito quando terminar.
    A área capturada aparece na seção Pré-visualizar com as coordenadas da imagem abaixo.
  7. No campo Esperar em ms antes de capturar a imagem, especifique o atraso (em milissegundos) antes de pesquisar a imagem.
  8. Marque a caixa de seleção Repetir se a imagem não for encontrada se quiser que o sistema tente localizar novamente a imagem-alvo se ela não for encontrada.
    1. No campo Vezes, especifique o número de vezes que o sistema precisa repetir o processo para encontrar a imagem-alvo.
    2. No campo Esperar entre repetições (ms), especifique o período que o sistema precisa esperar antes de repetir o processo para encontrar a imagem-alvo.
  9. No campo Percentual de correspondência, especifique a porcentagem aceitável de pixels correspondentes entre as duas imagens.
    Por exemplo, se você especificar 20 no campo como porcentagem de correspondência, o sistema vai considerar as imagens como correspondentes mesmo se houver até 80% de incompatibilidade de pixels entre as duas imagens.
  10. No campo Número correspondente selecionado, insira um valor para especificar a ocorrência da imagem-alvo na qual você deseja executar essa ação.
    Você pode usar uma variável quando não souber o número de vezes que a imagem pode aparecer na tela. Assegure-se de atribuir variáveis que suportam valores numéricos.
  11. Use a opção Pré-visualizar se você quiser selecionar uma imagem que seja relativa (offset) à imagem-alvo existente que você está procurando na tela da aplicação, ou se você quiser selecionar uma ocorrência específica se houver múltiplas ocorrências da imagem-alvo.
  12. Clique em Visualizar.
    Se uma imagem-alvo ocorrer várias vezes na janela Pré-visualizar, cada ocorrência é destacada em uma caixa retangular e exibe um número contra cada ocorrência.
  13. Selecione a ocorrência específica destacada, e você pode posicionar seu local de clique em relação a uma imagem existente.
    Nota: Se houver múltiplas imagens em uma tela de aplicação que você está automatizando e quando a imagem-alvo não for facilmente pesquisável; nesse caso, você pode selecionar uma imagem facilmente identificável na região capturada e posicionar seu clique em relação a ela.
  14. Se a imagem-alvo for encontrada várias vezes na região capturada. Nesse caso, você pode selecionar a ocorrência de uma determinada imagem-alvo ou selecionar o número da ocorrência no menu suspenso no campo Número da correspondência (opcional) no painel direito.
    Os campos Número da correspondência (opcional) e Deslocamento do alvo do painel à direita mostram a ocorrência da imagem selecionada e suas coordenadas de deslocamento da imagem-alvo.
  15. Clique em Enviar.
  16. No campo Seleções de coordenadas-alvo, as opções de coordenadas Centro de correspondência ou Deslocamento da correspondência serão selecionadas automaticamente com base na ação que você realizou na janela Pré-visualizar.
    • Centro da correspondência: A imagem é selecionada com base nas coordenadas no centro da imagem correspondente.
    • Deslocamento da correspondência: A imagem é selecionada com base nas coordenadas relativas à da imagem correspondente.
    Nota: As coordenadas de deslocamento medem o número de pixels do canto superior esquerdo da imagem.
  17. Selecione uma opção na lista Ação a ser tomada nas coordenadas-alvo para especificar a ação que deseja executar na imagem correspondente na janela do aplicativo.
  18. Clique em Salvar.