Utilisation de l'action Rechercher une fenêtre dans la fenêtre

Utilisez l'action Rechercher une fenêtre dans la fenêtre pour rechercher un élément d'interface utilisateur dans une fenêtre d'application à l'aide d'une capture d'écran d'une fenêtre. Cette action vous permet de capturer une image d'un élément d'interface utilisateur dans une application et d'utiliser l'image capturée pour rechercher cet élément d'interface utilisateur dans une autre fenêtre.

Procédure

Pour utiliser une image disponible dans une fenêtre d'application afin de rechercher une image dans une autre fenêtre d'application, suivez ces étapes :

  1. Double-cliquez sur ou faites glisser l'action Rechercher une image dans une fenêtre du package Reconnaissance d'images dans la palette Actions.
  2. Spécifiez l'image cible (aiguille) que vous souhaitez rechercher dans la fenêtre d'application.
    OptionDescription
    Navigateur choisissez parmi une liste d'onglets de navigateur pris en charge.
    Remarque : Cette option prend en charge les navigateurs Google Chrome, Microsoft Edge basé sur Chromium et Internet Explorer. Pour tous les autres navigateurs, utilisez l'option Application.
    Application Choisissez dans une liste de fenêtres actuellement actives. Cette option affiche une liste de toutes les fenêtres d'application et de navigateur ouvertes sur le périphérique Bot Creator.
    Vous pouvez utiliser une expression régulière (regex) pour identifier un titre de fenêtre. Sélectionnez l'expression régulière en tant que chaîne ou modèle pour chaque condition d'expression régulière et entrez la valeur de l'expression régulière. Par défaut, le champ Titre de la fenêtre est sensible à la casse. Vous pouvez activer l'indicateur regex Insensible à la casse pour identifier un titre de fenêtre qui n'est pas sensible à la casse.
    Pour identifier un titre de navigateur, vous pouvez activer l'option Sensible à la casse pour faire correspondre la casse des lettres, ou désactiver l'option pour identifier un titre de fenêtre où la casse des lettres ne correspond pas.
    Remarque : Assurez-vous que la version Bot Agent minimum installée sur votre système est celle publiée avec Automation 360 v.26. Si vous avez une version de Bot Agent publiée avec Automation 360 v.25 ou antérieure, le titre de la fenêtre est identifié par défaut uniquement par la casse des lettres (sensible à la casse) correspondante.
  3. Cliquez sur Capturer l'image pour capturer l'image cible.
  4. Faites glisser le pointeur de la souris sur une zone de la fenêtre d'application.
    La zone capturée apparaît dans la section Aperçu.
  5. Spécifiez la fenêtre dans laquelle vous souhaitez rechercher l'image source (botte de foin) :
    Choisissez l'onglet Application, Navigateur ou Variable.
    OptionDescription
    Application Choisissez dans une liste de fenêtres actuellement actives. Cette option affiche une liste de toutes les fenêtres d'application et de navigateur ouvertes sur le périphérique Bot Creator.
    Navigateur Choisissez dans une liste d'onglets Google Chrome actuellement ouverts sur le périphérique Bot Creator.
    Remarque : Actuellement, cette option ne prend en charge que les onglets Google Chrome. Pour tous les autres navigateurs, utilisez l'option Application.
    Variable sélectionnez une variable de fenêtre existante pour spécifier le titre de la fenêtre d'application.

    Insérez un caractère générique (*) dans le champ Titre de fenêtre pour rechercher les titres de fenêtres qui peuvent changer. Vous pouvez spécifier un ou plusieurs caractères génériques (*) au début, au milieu ou à la fin de la valeur.

    Par exemple, pour effectuer une opération sur une fenêtre qui contient Microsoft dans le titre, utilisez un caractère générique pour indiquer n'importe quelle chaîne en l'ajoutant avant ou après la valeur : *Microsoft*. Le robot recherche d'abord le titre exact de la fenêtre (Microsoft), et s'il ne trouve pas de correspondance, il recherche les fenêtres comportant le terme Microsoft n'importe où dans le titre.

    Vous pouvez utiliser une expression régulière (regex) pour identifier un titre de fenêtre. Sélectionnez l'expression régulière en tant que chaîne ou modèle pour chaque condition d'expression régulière et entrez la valeur de l'expression régulière. Par défaut, le champ Titre de la fenêtre est sensible à la casse. Vous pouvez activer l'indicateur regex Insensible à la casse pour identifier un titre de fenêtre qui n'est pas sensible à la casse. Vous pouvez activer l'option Sensible à la casse pour identifier un titre de fenêtre statique ou de navigateur et un titre avec un caractère générique qui est sensible à la casse et désactiver l'option pour identifier un titre de fenêtre qui n'est pas sensible à la casse.

    Par exemple, vous pouvez saisir la valeur de Chaîne sous la forme ((\w*)-Notepad pour tous les noms de titres de fenêtres commençant par ((\w*)-Notepad ou utiliser Modèle sous la forme ((\w)\s)*document-Notepad uniquement pour les titres de fenêtres qui correspondent à ce modèle.

  6. Sélectionnez l'option Redimensionner la fenêtre pour spécifier les dimensions de la fenêtre.
    Cette option fournit un robot plus fiable. Elle redimensionne la fenêtre aux dimensions auxquelles la tâche a été enregistrée, ce qui améliore la capacité du robot à identifier l'objet cible.
    • Si la fenêtre est agrandie lorsque vous enregistrez la tâche, cette option est désélectionnée.
    • Si la fenêtre n'est pas à la taille maximale lorsque vous enregistrez la tâche, cette option est sélectionnée par défaut et les champs de largeur et de hauteur se remplissent automatiquement avec les dimensions de la fenêtre.
    Remarque : Cette option est uniquement disponible pour les fenêtres qui peuvent être redimensionnées. Elle n'est pas disponible pour les options Bureau ou Barre des tâches.
  7. Cliquez sur Capturer la région.
    La fenêtre sélectionnée s'affiche.
  8. Faites glisser la souris pour sélectionner la zone et cliquez avec le bouton droit lorsque vous avez terminé.
    La zone capturée apparaît dans la section Aperçu avec les coordonnées d'image en dessous.
  9. Dans la fenêtre Attendre avant de capturer la fenêtre (ms) indiquez le délai (en millisecondes) avant de rechercher l'image.
  10. Cochez la case Répéter si l'image n'a pas été trouvée si vous souhaitez que le système tente de rechercher l'image cible si elle n'a pas été trouvée.
    1. Dans le champ Fois, spécifiez le nombre de fois où le système doit répéter le processus afin de trouver l'image cible.
    2. Dans le champ Attendre entre les répétitions (ms), spécifiez la durée durant laquelle le système doit attendre avant de répéter le processus permettant de trouver l'image cible.
  11. Dans le champ Pourcentage de correspondance, spécifiez le pourcentage acceptable de pixels correspondants entre les deux images.
    Par exemple, si vous spécifiez 20 dans le champ comme pourcentage de correspondance, le système considère les images comme étant identiques même s'il y a jusqu'à 80 % de différences de pixels entre les deux images.
  12. Dans le champ Numéro de la correspondance sélectionnée, saisissez une valeur pour spécifier l'occurrence de l'image cible sur laquelle vous souhaitez effectuer cette action.
    Vous pouvez insérer une variable lorsque vous ignorez combien de fois l'image se répète à l'écran. Assurez-vous d'affecter des variables prenant en charge les valeurs numériques.
  13. Utilisez l'option Aperçu si vous voulez sélectionner une image qui est relative (décalée) à l'image cible existante que vous recherchez sur l'écran de l'application, ou si vous voulez sélectionner une occurrence spécifique s'il y a plusieurs occurrences de l'image cible.
  14. Cliquez sur Aperçu.
    Si une image cible apparaît plusieurs fois dans la fenêtre Aperçu, chaque occurrence est mise en évidence dans une boîte rectangulaire et affiche un numéro pour chaque occurrence.
  15. Sélectionnez l'occurrence spécifique mise en évidence, et vous pouvez positionner votre clic par rapport à une image existante.
    Remarque : S'il y a plusieurs images sur un écran d'application que vous automatisez et lorsque l'image cible n'est pas facile à rechercher, vous pouvez sélectionner une image facilement identifiable dans la région capturée et positionner votre clic par rapport à celle-ci.
  16. Si vous trouvez plusieurs fois l'image cible dans la région capturée. Dans ce cas, vous pouvez sélectionner l'occurrence d'une image cible particulière ou sélectionner le numéro de l'occurrence dans la liste déroulante du champ Numéro de la correspondance (facultatif) dans le volet de droite.
    Les champs Numéro de la correspondance (facultatif) et Décalage de la cible du volet de droite affichent l'occurrence de l'image que vous avez sélectionnée et les coordonnées de décalage de l'image cible.
  17. Cliquez sur Soumettre.
  18. Dans le champ Sélection des coordonnées de la cible, les options de coordonnées Centre de la correspondance ou Décalage par rapport à la correspondance seront sélectionnées automatiquement en fonction de l'action que vous avez effectuée dans la fenêtre Aperçu.
    • Centre de correspondance : L'image est sélectionnée en fonction des coordonnées au centre de l'image correspondante.
    • Décalage par rapport à la correspondance : L'image est sélectionnée en fonction de ses coordonnées par rapport à celles de l'image correspondante.
    Remarque : Les coordonnées de décalage mesurent le nombre de pixels à partir du coin supérieur gauche de l'image.
  19. Sélectionnez une option dans la liste Action à effectuer sur les coordonnées de la cible pour spécifier l'action que vous souhaitez exécuter sur l'image correspondante dans la fenêtre d'application.
  20. Cliquez sur Enregistrer.