Utilisation de l'action Rechercher une image dans une fenêtre

Utilisez l'action Rechercher une image dans une fenêtre pour rechercher un élément d'interface utilisateur dans une fenêtre d'application (botte de foin) à l'aide d'une image cible (aiguille). L'image cible est une image existante que vous pouvez utiliser pour rechercher un élément d'interface utilisateur.

Procédure

Pour rechercher une image dans une fenêtre d'application, suivez ces étapes :

  1. Double-cliquez sur ou faites glisser l'action Rechercher une image dans une fenêtre du package Reconnaissance d'images dans la palette Actions.
  2. Spécifiez l'image cible (aiguille) que vous souhaitez rechercher dans la fenêtre d'application.
    • Fichier de la Control Room : Utilise un fichier image disponible dans l'Control Room.
    • Fichier de bureau : Utilise un fichier image disponible sur votre périphérique.
    • Variable : Utilise une variable de fichier pour spécifier l'emplacement du fichier image que vous voulez utiliser.
    Remarque : Les images aux formats .jpeg, .jpg, .jpe, .jfif, .bmp, .png et .gif sont prises en charge.
  3. Spécifiez la fenêtre dans laquelle vous souhaitez rechercher l'image source (botte de foin) :
    Choisissez l'onglet Application, Navigateur ou Variable.
    OptionDescription
    Application Choisissez dans une liste de fenêtres actuellement actives. Cette option affiche une liste de toutes les fenêtres d'application et de navigateur ouvertes sur le périphérique Bot Creator.
    Navigateur choisissez parmi une liste d'onglets de navigateur pris en charge.
    Remarque : Cette option prend en charge les navigateurs Google Chrome, Microsoft Edge basé sur Chromium et Internet Explorer. Pour tous les autres navigateurs, utilisez l'option Application.
    Variable sélectionnez une variable de fenêtre existante pour spécifier le titre de la fenêtre d'application.
    Insérez un caractère générique (*) dans le champ Titre de la fenêtre pour rechercher les titres de fenêtre qui peuvent changer. Vous pouvez spécifier un ou plusieurs caractères génériques (*) au début, au milieu ou à la fin de la valeur. Par exemple, pour effectuer une opération sur une fenêtre qui contient Microsoft dans le titre, utilisez un caractère générique pour indiquer n'importe quelle chaîne en l'ajoutant avant ou après la valeur : *Microsoft*. Le robot recherche d'abord le titre exact de la fenêtre (Microsoft), et s'il ne trouve pas de correspondance, il recherche les fenêtres comportant le terme Microsoft n'importe où dans le titre.

    Vous pouvez utiliser une expression régulière (regex) pour identifier un titre de fenêtre. Définissez la condition d'expression régulière sur Chaîne ou Modèle, puis saisissez la valeur. Par défaut, le champ Titre de fenêtre est sensible à la casse.

    Pour identifier un titre de navigateur, vous pouvez activer l'option Sensible à la casse pour faire correspondre la casse des lettres, ou désactiver l'option pour identifier un titre de fenêtre où la casse des lettres ne correspond pas.
    Remarque : Assurez-vous que la version Bot Agent minimum installée sur votre système est celle publiée avec Automation 360 v.26. Si vous avez une version de Bot Agent publiée avec Automation 360 v.25 ou antérieure, le titre de la fenêtre est identifié par défaut uniquement par la casse des lettres (sensible à la casse) correspondante.
    Par exemple, pour faire correspondre tous les noms de titres de fenêtres commençant par un mot suivi de - Notepad, vous pouvez saisir la valeur Chaîne comme * -Notepad, ou utiliser la valeur Modèle comme ((\w)\s)*document-Notepad pour les seuls titres de fenêtres qui correspondent à ce modèle.
    Remarque :
    • Lorsque vous utilisez une expression régulière de type Chaîne avec -title comme valeur d'entrée pour un titre de fenêtre dans n'importe quelle action, le robot risque de rencontrer une erreur de temps d'exécution. Pour éviter toute erreur de temps d'exécution, assurez-vous que lorsque vous ajoutez l'entrée de la chaîne sous la forme *-title, l'application avec le titre spécifique est ouverte. L'astérisque (*) est juste un caractère et non un caractère générique.
    • Lorsque vous utilisez une expression régulière de type Modèle avec -title comme valeur d'entrée pour un titre de fenêtre dans n'importe quelle action, le robot risque de rencontrer une erreur de temps d'exécution, car la valeur d'entrée *-title est incorrecte.

      Assurez-vous d'utiliser des modèles regex valides.

  4. Facultatif : Sélectionnez l\'option Redimensionner la fenêtre pour spécifier les dimensions de la fenêtre.
    Cette option fournit un robot plus fiable. Elle redimensionne la fenêtre aux dimensions auxquelles la tâche a été enregistrée, ce qui améliore la capacité du robot à identifier l\'objet cible.
    • Si la fenêtre est agrandie lorsque vous enregistrez la tâche, cette option est désélectionnée.
    • Si la fenêtre n\'est pas à la taille maximale lorsque vous enregistrez la tâche, cette option est sélectionnée par défaut, et les champs de largeur et de hauteur se remplissent automatiquement avec les dimensions de la fenêtre.
    Remarque : Cette option est uniquement disponible pour les fenêtres qu\'il est possible de redimensionner. Elle n\'est pas disponible pour les options Bureau ou Barre des tâches.
  5. Cliquez sur Capturer la région.
    La fenêtre sélectionnée s'affiche.
  6. Faites glisser la souris pour sélectionner la zone et cliquez avec le bouton droit lorsque vous avez terminé.
    La zone capturée apparaît dans la section Aperçu avec les coordonnées d'image en dessous.
  7. Dans le champ Attendre avant de capturer l'image, spécifiez le délai (en millisecondes) avant de rechercher l'image.
  8. Cochez la case Répéter si l'image n'a pas été trouvée si vous souhaitez que le système tente de rechercher l'image cible si elle n'a pas été trouvée.
    1. Dans le champ Fois, spécifiez le nombre de fois où le système doit répéter le processus afin de trouver l'image cible.
    2. Dans le champ Attendre entre les répétitions (ms), spécifiez la durée durant laquelle le système doit attendre avant de répéter le processus permettant de trouver l'image cible.
  9. Dans le champ Pourcentage de correspondance, spécifiez le pourcentage acceptable de pixels correspondants entre les deux images.
    Par exemple, si vous spécifiez 20 dans le champ comme pourcentage de correspondance, le système considère les images comme étant identiques même s'il y a jusqu'à 80 % de différences de pixels entre les deux images.
  10. Dans le champ Numéro de la correspondance sélectionnée, saisissez une valeur pour spécifier l'occurrence de l'image cible sur laquelle vous souhaitez effectuer cette action.
    Vous pouvez insérer une variable lorsque vous ignorez combien de fois l'image se répète à l'écran. Assurez-vous d'affecter des variables prenant en charge les valeurs numériques.
  11. Utilisez l'option Aperçu si vous voulez sélectionner une image qui est relative (décalée) à l'image cible existante que vous recherchez sur l'écran de l'application, ou si vous voulez sélectionner une occurrence spécifique s'il y a plusieurs occurrences de l'image cible.
  12. Cliquez sur Aperçu.
    Si une image cible apparaît plusieurs fois dans la fenêtre Aperçu, chaque occurrence est mise en évidence dans une boîte rectangulaire et affiche un numéro pour chaque occurrence.
  13. Sélectionnez l'occurrence spécifique mise en évidence, et vous pouvez positionner votre clic par rapport à une image existante.
    Remarque : S'il y a plusieurs images sur un écran d'application que vous automatisez et lorsque l'image cible n'est pas facile à rechercher, vous pouvez sélectionner une image facilement identifiable dans la région capturée et positionner votre clic par rapport à celle-ci.
  14. Si vous trouvez plusieurs fois l'image cible dans la région capturée. Dans ce cas, vous pouvez sélectionner l'occurrence d'une image cible particulière ou sélectionner le numéro de l'occurrence dans la liste déroulante du champ Numéro de la correspondance (facultatif) dans le volet de droite.
    Les champs Numéro de la correspondance (facultatif) et Décalage de la cible du volet de droite affichent l'occurrence de l'image que vous avez sélectionnée et les coordonnées de décalage de l'image cible.
  15. Cliquez sur Soumettre.
  16. Dans le champ Sélection des coordonnées de la cible, les options de coordonnées Centre de la correspondance ou Décalage par rapport à la correspondance seront sélectionnées automatiquement en fonction de l'action que vous avez effectuée dans la fenêtre Aperçu.
    • Centre de correspondance : L'image est sélectionnée en fonction des coordonnées au centre de l'image correspondante.
    • Décalage par rapport à la correspondance : L'image est sélectionnée en fonction de ses coordonnées par rapport à celles de l'image correspondante.
    Remarque : Les coordonnées de décalage mesurent le nombre de pixels à partir du coin supérieur gauche de l'image.
  17. Sélectionnez une option dans la liste Action à effectuer sur les coordonnées de la cible pour spécifier l'action que vous souhaitez exécuter sur l'image correspondante dans la fenêtre d'application.
  18. Cliquez sur Enregistrer.