Verwenden der Aktion „Bild in Fenster suchen“

Verwenden Sie die Aktion Bild in Fenster suchen, um ein UI-Element in einem Anwendungsfenster (Heuhaufen) anhand eines Zielbildes (Nadel) zu suchen. Das Zielbild ist ein vorhandenes Bild, das Sie für die Suche nach einem UI-Element verwenden können.

Prozedur

Gehen Sie folgendermaßen vor, um ein Bild innerhalb eines Anwendungsfensters zu finden:

  1. Doppelklicken Sie auf die Aktion Bild in Fenster suchen aus dem Bilderkennung-Paket in der Palette Aktionen oder ziehen Sie sie.
  2. Geben Sie das Zielbild (Nadel) an, das Sie im Anwendungsfenster suchen möchten.
    • Control Room-Datei: Verwendet eine Bilddatei, die im Control Room verfügbar ist.
    • Desktop-Datei: Verwendet eine Bilddatei, die auf Ihrem Gerät verfügbar ist.
    • Variable: Gibt eine Dateivariable an, die den Speicherort der zu verwendenden Bilddatei enthält.
    Anmerkung: Bilder in den Formaten .jpeg, .jpg, .jpe, .jfif, .bmp, .png und .gif werden unterstützt.
  3. Geben Sie das Fenster an, in dem Sie das Quellbild suchen wollen (Heuhaufen):
    Wählen Sie aus den Registerkarten Anwendung, Browser oder Variable.
    OptionBeschreibung
    Anwendung Auswahl aus einer Liste der derzeit aktiven Fenster. Diese Option zeigt eine Liste aller Anwendungs- und Browserfenster an, die auf dem Bot Creator-Gerät geöffnet sind.
    Browser Auswahl aus einer Liste der unterstützten Browser-Registerkarten.
    Anmerkung: Diese Option unterstützt die Browser Google Chrome, Microsoft Edge (auf Chromium basiert) und Internet Explorer. Verwenden Sie bei allen anderen Browsern die Option Anwendung.
    Variable Auswahl einer vorhandenen Fenstervariable zur Titelangabe des Anwendungsfensters.
    Fügen Sie ein Platzhalterzeichen (*) in das Feld Fenstertitel ein, um nach Fenstertiteln zu suchen, die sich ändern können. Sie können am Anfang, in der Mitte oder am Ende des Werts einen oder mehrere Platzhalter (*) angeben. Um zum Beispiel eine Operation in einem Fenster auszuführen, das Microsoft im Titel aufweist, verwenden Sie einen Platzhalter, um eine beliebige Zeichenfolge anzugeben, indem Sie ihn vor oder nach dem Wert hinzufügen: *Microsoft*. Der Bot sucht zunächst nach dem genauen Fenstertitel (Microsoft), und wenn er keine Übereinstimmung findet, sucht er nach Fenstern mit dem Begriff Microsoft im Titel.

    Sie können einen regulären Ausdruck (Regex) verwenden, um einen Fenstertitel zu kennzeichnen. Wählen Sie die Bedingung für den regulären Ausdruck entweder als Zeichenfolge oder als Muster aus und geben Sie dann den Wert ein. Standardmäßig muss bei dem Feld Fenstertitel die Groß-/Kleinschreibung beachtet werden.

    Um einen Browsertitel zu identifizieren, können Sie die Option Groß-/Kleinschreibung muss beachtet werden aktivieren, um die Groß- und Kleinschreibung abzugleichen. Sie können die Option auch deaktivieren, um einen Fenstertitel anzugeben, bei dem die Groß- und Kleinschreibung nicht übereinstimmen muss.
    Anmerkung: Vergewissern Sie sich, dass die auf Ihrem System installierte Bot-Agent-Version zumindest in der Version vorliegt, die mit Automation 360 v.26 veröffentlicht wurde. Wenn Sie eine Bot-Agent-Version nutzen, die mit Automation 360 v.25 oder früher veröffentlicht wurde, wird beim Fenstertitel standardmäßig die Groß- und Kleinschreibung beachtet.
    Sie können zum Beispiel den Zeichenfolge-Wert als ((\w*)-Notepad für alle Fenstertitelnamen eingeben, die mit ((\w*)-Notepad beginnen, oder den Muster-Wert als ((\w)\s)*document-Notepad nur für die Fenstertitel verwenden, die diesem Muster entsprechen.
    Anmerkung:
    • Wenn Sie als Eingabewert für einen Fenstertitel in einer beliebigen Aktion einen regulären Ausdruck vom Typ Zeichenfolge mit -title verwenden, kann beim Bot ein Laufzeitfehler auftreten. Um den Laufzeitfehler zu vermeiden, achten Sie beim Hinzufügen der Zeichenfolge als *-title darauf, dass die Anwendung mit dem entsprechenden Titel geöffnet ist. Das Sternchen (*) ist nur ein Zeichen, kein Platzhalterzeichen.
    • Wenn Sie als Eingabewert für einen Fenstertitel in einer beliebigen Aktion einen regulären Ausdruck vom Typ Zeichenfolge mit -title verwenden, kann beim Bot ein Laufzeitfehler auftreten, da der Eingabewert *-title falsch ist.

      Achten Sie darauf, dass Sie gültige Regex-Muster verwenden.

  4. Optional: Wählen Sie die Option Fenstergröße ändern, um die Abmessungen des Fensters festzulegen.
    Diese Option bietet einen zuverlässigeren Bot. Dadurch passen Sie die Größe des Fensters an die Dimensionen an, in denen die Aufgabe aufgezeichnet wurde, was die Fähigkeit des Bots, das Zielobjekt zu identifizieren, verbessert.
    • Wenn das Fenster während der Aufzeichnung der Aufgabe maximiert ist, ist diese Option nicht ausgewählt.
    • Wenn das Fenster bei der Aufzeichnung der Aufgabe nicht die maximale Größe hat, ist diese Option standardmäßig aktiviert, und die Felder für Breite und Höhe werden automatisch mit den Abmessungen des Fensters gefüllt.
    Anmerkung: Diese Option ist nur für Fenster verfügbar, deren Größe verändert werden kann. Sie ist nicht verfügbar für die Optionen Desktop und Taskleiste.
  5. Klicken Sie auf Region erfassen.
    Das ausgewählte Fenster wird angezeigt.
  6. Ziehen Sie die Maus, um den Bereich auszuwählen, und klicken Sie anschließend mit der rechten Maustaste.
    Der erfasste Bereich erscheint im Abschnitt Vorschau mit den Bildkoordinaten darunter.
  7. Geben Sie im Feld Wartezeit in ms vor Erfassen des Bildes die Verzögerung (in Millisekunden) vor der Suche nach dem Bild an.
  8. Aktivieren Sie das Kontrollkästchen Wiederholen, wenn Bild nicht gefunden, wenn Sie möchten, dass das System die Suche nach dem Zielbild wiederholt, wenn es nicht gefunden wird.
    1. Geben Sie im Feld Mal an, wie oft das System den Vorgang wiederholen muss, um das Zielbild zu finden.
    2. Geben Sie im Feld Wartezeit zwischen Wiederholungen (ms) die Zeitspanne an, die das System warten muss, bevor es den Prozess der Suche nach dem Zielbild wiederholt.
  9. Geben Sie im Feld Übereinstimmungs-Prozentsatz den akzeptablen Prozentsatz der übereinstimmenden Pixel zwischen den beiden Bildern an.
    Wenn Sie z. B. 20 als Prozentsatz für den Übereinstimmungs-Prozentsatz angeben, betrachtet das System die Bilder als übereinstimmend, auch wenn bis zu 80 % der Pixel zwischen den beiden Bildern nicht übereinstimmen.
  10. Geben Sie in das Feld Ausgewählte Zahlenübereinstimmung einen Wert ein, um das Vorkommen des Zielbildes anzugeben, für das Sie diese Aktion durchführen möchten.
    Wenn Sie nicht wissen, wie oft das Bild auf dem Bildschirm erscheinen kann, können Sie eine Variable einfügen. Weisen Sie nur Variablen zu, die numerische Werte unterstützen.
  11. Verwenden Sie die Option Vorschau, wenn Sie ein Bild auswählen möchten, das relativ (versetzt) zu dem vorhandenen Zielbild ist, das Sie auf dem Anwendungsbildschirm suchen, oder wenn Sie ein bestimmtes Vorkommen auswählen möchten, wenn es mehrere Vorkommen des Zielbildes gibt.
  12. Klicken Sie auf Vorschau.
    Wenn ein Zielbild im Fenster Vorschau mehrfach vorkommt, wird jedes Vorkommen in einem rechteckigen Kasten hervorgehoben und eine Zahl für jedes Vorkommen angezeigt.
  13. Wählen Sie das hervorgehobene Vorkommen aus. Sie können die Position Ihres Klicks relativ zu einem vorhandenen Bild festlegen.
    Anmerkung: Wenn sich auf einem Anwendungsbildschirm, den Sie automatisieren wollen, mehrere Bilder befinden und das Zielbild nicht leicht zu finden ist, können Sie ein leicht identifizierbares Bild im erfassten Bereich auswählen und Ihren Klick relativ dazu positionieren.
  14. Falls das Zielbild mehrfach im erfassten Bereich gefunden wird stehen Ihnen folgende Optionen zur Verfügung. In diesem Fall können Sie das Vorkommen eines bestimmten Zielbildes oder die Nummer des Vorkommens aus der Dropdown-Liste im Feld Zahlenübereinstimmung (optional) im rechten Fenster auswählen.
    In den Feldern Zahlenübereinstimmung (optional) und Ziel-Versatz auf der rechten Seite werden das von Ihnen ausgewählte Bildvorkommen und seine Versatzkoordinaten des Zielbildes angezeigt.
  15. Klicken Sie auf Absenden.
  16. Im Feld Ausgewählte Zielkoordinaten werden die Koordinatenoptionen Übereinstimmungsmitte oder Versatz vom Match automatisch auf der Grundlage der Aktion Vorschau des Fensters ausgewählt.
    • Übereinstimmungsmitte: Das Bild wird auf der Grundlage der Koordinaten in der Mitte des übereinstimmenden Bildes ausgewählt.
    • Versatz vom Match: Das Bild wird auf der Grundlage der Koordinaten im Verhältnis zu denen des übereinstimmenden Bildes ausgewählt.
    Anmerkung: Die Offset-Koordinaten messen die Anzahl der Pixel von der linken oberen Ecke des Bildes.
  17. Wählen Sie eine Option aus der Liste An Zielkoordinaten durchzuführende Aktion, um die Aktion festzulegen, die Sie für das entsprechende Bild im Anwendungsfenster ausführen möchten.
  18. Klicken Sie auf Speichern.