Automation 360

Verwenden der Aktion „Fenster in Fenster suchen“

Als PDF herunterladen

Inhalte

Verwenden der Aktion „Fenster in Fenster suchen“

Als PDF herunterladen

Zuletzt aktualisiert2022/11/21

Verwenden der Aktion „Fenster in Fenster suchen“

Verwenden Sie die Aktion Fenster in Fenster suchen, um anhand eines Screenshots eines Fensters nach einem UI-Element in einem Anwendungsfenster zu suchen. Mit dieser Aktion können Sie ein Bild eines UI-Elements in einer Anwendung erfassen und das erfasste Bild verwenden, um in einem anderen Fenster nach diesem UI-Element zu suchen.

Prozedur

Gehen Sie wie folgt vor, um ein in einem Anwendungsfenster vorhandenes Bild zu verwenden, um ein Bild in einem anderen Anwendungsfenster zu finden:

Doppelklicken Sie auf die Aktion Bild in Fenster suchen aus dem Bilderkennung-Paket in der Palette Aktionen oder ziehen Sie sie.

Geben Sie das Zielbild (Nadel) an, das Sie im Anwendungsfenster suchen möchten.

Option	Beschreibung
Browser	Auswahl aus einer Liste der unterstützten Browser-Registerkarten. Anmerkung: Diese Option unterstützt die Browser Google Chrome, Microsoft Edge (auf Chromium basiert) und Internet Explorer. Verwenden Sie bei allen anderen Browsern die Option Anwendung.
Anwendung	Auswahl aus einer Liste der derzeit aktiven Fenster. Diese Option zeigt eine Liste aller Anwendungs- und Browserfenster an, die auf dem Bot Creator-Gerät geöffnet sind.

Um einen Browsertitel zu identifizieren, können Sie die Option Groß-/Kleinschreibung muss beachtet werden aktivieren, um die Groß- und Kleinschreibung abzugleichen. Sie können die Option auch deaktivieren, um einen Fenstertitel anzugeben, bei dem die Groß- und Kleinschreibung nicht übereinstimmen muss.

Anmerkung: Vergewissern Sie sich, dass die auf Ihrem System installierte Bot-Agent-Version zumindest in der Version vorliegt, die mit Automation 360 v.26 veröffentlicht wurde. Wenn Sie eine Bot-Agent-Version nutzen, die mit Automation 360 v.25 oder früher veröffentlicht wurde, wird beim Fenstertitel standardmäßig die Groß- und Kleinschreibung beachtet.

Klicken Sie auf Bild erfassen, um das Zielbild zu erfassen.
Ziehen Sie den Mauszeiger über einen Bereich des Anwendungsfensters.
Der erfasste Bereich erscheint im Abschnitt Vorschau.

Geben Sie das Fenster an, in dem Sie das Quellbild suchen wollen (Heuhaufen):

Wählen Sie aus den Registerkarten Anwendung, Browser oder Variable.

Option	Beschreibung
Anwendung	Auswahl aus einer Liste der derzeit aktiven Fenster. Diese Option zeigt eine Liste aller Anwendungs- und Browserfenster an, die auf dem Bot Creator-Gerät geöffnet sind.
Browser	Wählen Sie aus einer Liste von Google Chrome-Registerkarten, die derzeit auf dem Bot Creator-Gerät geöffnet sind. Anmerkung: Derzeit unterstützt diese Option nur Google Chrome-Registerkarten. Verwenden Sie bei allen anderen Browsern die Option Anwendung.
Variable	Auswahl einer vorhandenen Fenstervariable zur Titelangabe des Anwendungsfensters.

Fügen Sie ein Platzhalterzeichen (*) in das Feld Fenstertitel ein, um nach Fenstertiteln zu suchen, die sich ändern können. Sie können einen oder mehrere Platzhalter (*) am Anfang, in der Mitte oder am Ende des Werts angeben.

Um zum Beispiel eine Operation in einem Fenster auszuführen, das Microsoft im Titel aufweist, verwenden Sie einen Platzhalter, um eine beliebige Zeichenfolge anzugeben, indem Sie ihn vor oder nach dem Wert hinzufügen: *Microsoft*. Der Bot sucht zunächst nach dem genauen Fenstertitel (Microsoft), und wenn er keine Übereinstimmung findet, sucht er nach Fenstern mit dem Begriff Microsoft im Titel.

Sie können einen regulären Ausdruck (Regex) verwenden, um einen Fenstertitel zu kennzeichnen. Wählen Sie den regulären Ausdruck entweder als Zeichenfolge oder Muster für jede Bedingung des regulären Ausdrucks und geben Sie den Wert ein. Standardmäßig muss für das Feld Fenstertitel die Groß-/Kleinschreibung beachtet werden. Sie können für Groß-/Kleinschreibung nicht beachten eine Regex-Markierung aktivieren, um einen Fenstertitel zu kennzeichnen, bei dem die Groß-/Kleinschreibung nicht beachtet werden muss. Sie können die Option Groß-/Kleinschreibung muss beachtet werden aktivieren, um einen statischen Fenster- oder Browsertitel und einen Titel mit einem Platzhalterzeichen zu identifizieren, bei dem die Groß-/Kleinschreibung beachtet wird, und die Option deaktivieren, um einen Fenstertitel zu identifizieren, bei dem die Groß-/Kleinschreibung nicht beachtet wird.

Sie können zum Beispiel den Zeichenfolge-Wert als ((\w*)-Notepad für alle Fenstertitelnamen eingeben, die mit ((\w*)-Notepad beginnen, oder Muster wie ((\w)\s)*document-Notepad nur für die Fenstertitel verwenden, die diesem Muster entsprechen.

Wählen Sie die Option Fenstergröße ändern, um die Abmessungen des Fensters festzulegen.
Diese Option bietet einen zuverlässigeren Bot. Dadurch passen Sie die Größe des Fensters an die Dimensionen an, in denen die Aufgabe aufgezeichnet wurde, was die Fähigkeit des Bots, das Zielobjekt zu identifizieren, verbessert.
- Wenn das Fenster während der Aufzeichnung der Aufgabe maximiert ist, ist diese Option nicht ausgewählt.
- Wenn das Fenster während der Aufzeichnung der Aufgabe nicht die maximale Größe hat, ist diese Option standardmäßig aktiviert und die Felder für Breite und Höhe werden automatisch mit den Fensterabmessungen ausgefüllt.
Anmerkung: Diese Option ist nur für Fenster verfügbar, deren Größe verändert werden kann. Sie ist nicht verfügbar für die Optionen Desktop und Taskleiste.
Klicken Sie auf Region erfassen.
Das ausgewählte Fenster wird angezeigt.
Ziehen Sie die Maus, um den Bereich auszuwählen, und klicken Sie anschließend mit der rechten Maustaste.
Der erfasste Bereich erscheint im Abschnitt Vorschau mit den Bildkoordinaten darunter.
Geben Sie im Feld Wartezeit in ms vor Erfassen des Fensters die Verzögerung (in Millisekunden) vor der Suche nach dem Bild an.
Aktivieren Sie das Kontrollkästchen Wiederholen, wenn Bild nicht gefunden, wenn Sie möchten, dass das System die Suche nach dem Zielbild wiederholt, wenn es nicht gefunden wird.
1. Geben Sie im Feld Mal an, wie oft das System den Vorgang wiederholen muss, um das Zielbild zu finden.
2. Geben Sie im Feld Wartezeit zwischen Wiederholungen (ms) die Zeitspanne an, die das System warten muss, bevor es den Prozess der Suche nach dem Zielbild wiederholt.
Geben Sie im Feld Übereinstimmungs-Prozentsatz den akzeptablen Prozentsatz der übereinstimmenden Pixel zwischen den beiden Bildern an.
Wenn Sie z. B. 20 als Prozentsatz für den Übereinstimmungs-Prozentsatz angeben, betrachtet das System die Bilder als übereinstimmend, auch wenn bis zu 80 % der Pixel zwischen den beiden Bildern nicht übereinstimmen.
Geben Sie in das Feld Ausgewählte Zahlenübereinstimmung einen Wert ein, um das Vorkommen des Zielbildes anzugeben, für das Sie diese Aktion durchführen möchten.
Wenn Sie nicht wissen, wie oft das Bild auf dem Bildschirm erscheinen kann, können Sie eine Variable einfügen. Weisen Sie nur Variablen zu, die numerische Werte unterstützen.
Verwenden Sie die Option Vorschau, wenn Sie ein Bild auswählen möchten, das relativ (versetzt) zu dem vorhandenen Zielbild ist, das Sie auf dem Anwendungsbildschirm suchen, oder wenn Sie ein bestimmtes Vorkommen auswählen möchten, wenn es mehrere Vorkommen des Zielbildes gibt.
Klicken Sie auf Vorschau.
Wenn ein Zielbild im Fenster Vorschau mehrfach vorkommt, wird jedes Vorkommen in einem rechteckigen Kasten hervorgehoben und eine Zahl für jedes Vorkommen angezeigt.
Wählen Sie das hervorgehobene Vorkommen aus. Sie können die Position Ihres Klicks relativ zu einem vorhandenen Bild festlegen.

Anmerkung: Wenn sich auf einem Anwendungsbildschirm, den Sie automatisieren wollen, mehrere Bilder befinden und das Zielbild nicht leicht zu finden ist, können Sie ein leicht identifizierbares Bild im erfassten Bereich auswählen und Ihren Klick relativ dazu positionieren.
Falls das Zielbild mehrfach im erfassten Bereich gefunden wird stehen Ihnen folgende Optionen zur Verfügung. In diesem Fall können Sie das Vorkommen eines bestimmten Zielbildes oder die Nummer des Vorkommens aus der Dropdown-Liste im Feld Zahlenübereinstimmung (optional) im rechten Fenster auswählen.
In den Feldern Zahlenübereinstimmung (optional) und Ziel-Versatz auf der rechten Seite werden das von Ihnen ausgewählte Bildvorkommen und seine Versatzkoordinaten des Zielbildes angezeigt.
Klicken Sie auf Absenden.
Im Feld Ausgewählte Zielkoordinaten werden die Koordinatenoptionen Übereinstimmungsmitte oder Versatz vom Match automatisch auf der Grundlage der Aktion Vorschau des Fensters ausgewählt.
- Übereinstimmungsmitte: Das Bild wird auf der Grundlage der Koordinaten in der Mitte des übereinstimmenden Bildes ausgewählt.
- Versatz vom Match: Das Bild wird auf der Grundlage der Koordinaten im Verhältnis zu denen des übereinstimmenden Bildes ausgewählt.
Anmerkung: Die Offset-Koordinaten messen die Anzahl der Pixel von der linken oberen Ecke des Bildes.
Wählen Sie eine Option aus der Liste An Zielkoordinaten durchzuführende Aktion, um die Aktion festzulegen, die Sie für das entsprechende Bild im Anwendungsfenster ausführen möchten.
Klicken Sie auf Speichern.