Generative Recorder – Vision-basiertes Fallback

Das Vision-basierte Fallback im Generative Recorder wurde entwickelt, um die Resilienz der Automatisierung zu erhöhen, indem Vision-Modelle als zusätzlicher Fallback-Mechanismus eingesetzt werden. Vision-basiertes Fallback verbessert die Wirksamkeit von Fallback-Mechanismen und bietet Vorteile wie die Sicherstellung der Geschäftskontinuität, die Reduzierung des Wartungsaufwands sowie die Einhaltung der SLAs der Organisation.

Ein KI-Vision-Modell, oft auch als Computer-Vision-Modell bezeichnet, ist ein System der künstlichen Intelligenz, das visuelle Daten (z.B. Bilder oder Videos) durch fortgeschrittene maschinelle Lerntechniken interpretieren, analysieren und verstehen kann. Ein Vision-basiertes Fallback ist ein Mechanismus, der in Automatisierungsprozessen eingesetzt wird, um die Widerstandsfähigkeit zu erhöhen und Ausführungsfehler zu minimieren. Dabei werden Bildgebungsmodelle verwendet, um Änderungen zu erkennen und in Echtzeit zu aktualisieren. So wird sichergestellt, dass die Automatisierungsaufgaben auch bei unerwarteten Änderungen reibungslos weiterlaufen.

Anmerkung: Generative Recorder, textbasiertes Fallbacks und native Fallbacks verwenden keine Empfehlungen aus Ihrem Automator AI-Kontingent. Das Vision-basierte Fallback von Generative Recorder hingegen verbraucht eine Empfehlung pro Fallback – jedoch nur, wenn das Fallback tatsächlich zur Laufzeit ausgelöst wird. Die Anzahl der Automatisierungen mit aktiviertem Vision-basierten Fallback wirkt sich nicht auf Ihr Kontingent aus. Empfehlungen werden nur abgezogen, wenn das Vision-basierte Fallback während der Ausführung aktiviert ist.

Möglichkeiten

Der Generative Recorder nutzt unsere auf Automatisierung abgestimmten Ensemble-Modelle, um ein tiefes visuelles Verständnis von Geschäftsanwendungen zu erreichen.

Vision-basiertes Fallback kann:

Modifizierte Benutzeroberflächenstrukturen, die mit herkömmlichen Methoden möglicherweise übersehen werden, genau identifizieren.
Sich ohne manuelle Eingriffe an Layout- und Designänderungen anpassen.
Die Effizienz der Automatisierung durch Vermeidung von Ausfällen verbessern.

Weitere Informationen zu den verfügbaren Funktionen finden Sie unter Generative Recorder.

Um das Vision-basierte Fallback zu aktivieren:

Anmerkung: Damit das Fallback für Generative Recorder auf macOS funktioniert, erfassen Sie das spezifische Objekt erneut.

Melden Sie sich als Bot Creator an.
Navigieren Sie im Bot-Editor zu Erweiterte Einstellungen > Paketeinstellungen.
In den Paketeinstellungen > Recorder aktivieren Sie das Vision-basierte Fallback mit Generativer KI.
Anmerkung: Wir empfehlen, das Vision-Fallback-Timeout auf 90 Sekunden oder mehr einzustellen, um einen zuverlässigen Betrieb in Ihren Umgebungen zu gewährleisten.

Einstellungen für die Auswahl des Vision-basierten Fallbacks

Zentralisiertes Caching für Vision-Fallback

Die Generative KI-Aufrufe, die während erfolgreicher Vision-basierter Fallbacks durchgeführt werden, nutzen Caching-Techniken über nachfolgende Ausführungen derselben Automatisierung hinweg in verschiedenen Umgebungen, bei unterschiedlichen Benutzern und Geräten, wodurch der Bedarf an wiederholter Verarbeitung reduziert wird. Dies verbessert die Leistung der Vision-basierten Fallback-Ausführung.

Anmerkung: Zentralisiertes Caching wird nur mit cloudbasierter Bereinigung unterstützt.

Bildbereinigung in Vision-basierten Fallback-Lösungen

Anmerkung: Die Vision-basierte Notfalllösung funktioniert möglicherweise nicht korrekt, wenn auf Ihrem System eine separate Python-Installation vorhanden ist, da dies zu Fehlern bei der Bildmaskierung führen kann. Insbesondere das von der Bildmaskierung verwendete eingebettete Python wird ausschließlich während der Bot-Ausführung extrahiert und verursacht keine Beeinträchtigungen. Allerdings kann jede zusätzliche Python-Installation, die in Systemsteuerung > Programme und Funktionen sichtbar ist, die Vision-basierten Fallback-Operationen beeinflussen. Um eine zuverlässige Leistung des Vision-basierten Fallbacks zu gewährleisten, deinstallieren Sie eine solche Python-Installation, die Sie unter Programme und Funktionen finden.

Die Bildbereinigung im Generative Recorder erlaubt es Ihnen, vertrauliche Geschäftsinformationen zu schützen, indem alle Screenshots bereinigt werden, bevor Daten Ihre Umgebung verlassen.

Während der Automatisierung erfasste Screenshots können sensible Geschäftsinformationen wie personenbezogene Daten, Finanzdaten, Kundendaten, interne Dashboards oder proprietäre Inhalte enthalten. Ohne Bereinigung könnten diese Informationen unbeabsichtigt offengelegt werden, wenn mit cloudbasierten oder externen KI-Diensten interagiert wird.

Durch die Bereinigung von Bildern, bevor sie von einem KI-Dienst verarbeitet werden, garantiert der Generative Recorder:

Vertraulichkeit: Sensible Daten werden an der Quelle geschwärzt, wodurch das Risiko einer Offenlegung eliminiert wird.
Kontrolle des Datenflusses: Nur Bilder und Texte, die von sensiblen Geschäftsinformationen bereinigt wurden, werden außerhalb der Umgebung gesendet.
Integrierte Sicherheit: Bereinigung erfolgt automatisch und konsistent, wodurch die Abhängigkeit vom Urteilsvermögen oder der Konfiguration des Benutzers verringert wird.

Anmerkung: Nur englischer Text wird in App-Screenshots bereinigt.

Je nach den Leistungsanforderungen und Compliance-Vorgaben Ihrer Organisation können Sie über die Einstellung Methode zur Bildbereinigung wählen auswählen, wie die Bereinigung durchgeführt wird:

Cloud-basierte Bereinigung: Screenshots der Zielanwendung werden sicher an den Automation Anywhere Cloud Service gesendet. Sobald sie empfangen wurden, werden die Bilder automatisch in der Cloud bereinigt, bevor sie vom KI-Modell zur Analyse verarbeitet werden.
Sie können diese Option wählen, wenn Sie eine zentralisierte Verarbeitung für eine verbesserte Leistung und minimale Auswirkungen auf die Leistung des lokalen Geräts bevorzugen.
Lokale Bereinigung: Die Bereinigung von Screenshots erfolgt direkt auf Ihrem Gerät, bevor ein Bild zur KI-Analyse gesendet wird. Dieser Vorgang wird vollständig von dem Recorder-package auf dem Gerät ausgeführt.
Sie können diese Option wählen, wenn Ihre Organisation lokalen Datenumgang, regulatorische Compliance oder eingeschränkte Netzwerkinfrastrukturen priorisiert.

Anmerkung: Die lokale Bereinigung wird derzeit nur auf der Windows-Plattform unterstützt.

Automation 360

Generative Recorder – Vision-basiertes Fallback