Generative Recorder – Vision-basiertes Fallback

Das Vision-basierte Fallback im Generative Recorder wurde entwickelt, um die Resilienz der Automatisierung zu erhöhen, indem Vision-Modelle als zusätzlicher Fallback-Mechanismus eingesetzt werden. Vision-basiertes Fallback verbessert die Wirksamkeit von Fallback-Mechanismen und bietet Vorteile wie die Sicherstellung der Geschäftskontinuität, die Reduzierung des Wartungsaufwands sowie die Einhaltung der SLAs der Organisation.

Ein KI-Vision-Modell, oft auch als Computer-Vision-Modell bezeichnet, ist ein System der künstlichen Intelligenz, das visuelle Daten (z.B. Bilder oder Videos) durch fortgeschrittene maschinelle Lerntechniken interpretieren, analysieren und verstehen kann. Ein Vision-basiertes Fallback ist ein Mechanismus, der in Automatisierungsprozessen eingesetzt wird, um die Widerstandsfähigkeit zu erhöhen und Ausführungsfehler zu minimieren. Dabei werden Bildgebungsmodelle verwendet, um Änderungen zu erkennen und in Echtzeit zu aktualisieren. So wird sichergestellt, dass die Automatisierungsaufgaben auch bei unerwarteten Änderungen reibungslos weiterlaufen.
Anmerkung: Generative Recorder, textbasiertes Fallbacks und native Fallbacks verwenden keine Empfehlungen aus Ihrem Automator AI-Kontingent. Das Vision-basierte Fallback von Generative Recorder hingegen verbraucht eine Empfehlung pro Fallback – jedoch nur, wenn das Fallback tatsächlich zur Laufzeit ausgelöst wird. Die Anzahl der Automatisierungen mit aktiviertem Vision-basierten Fallback wirkt sich nicht auf Ihr Kontingent aus. Empfehlungen werden nur abgezogen, wenn das Vision-basierte Fallback während der Ausführung aktiviert ist.

Möglichkeiten

Der Generative Recorder nutzt unsere auf Automatisierung abgestimmten Ensemble-Modelle, um ein tiefes visuelles Verständnis von Geschäftsanwendungen zu erreichen.

Vision-basiertes Fallback kann:
  • Modifizierte Benutzeroberflächenstrukturen, die mit herkömmlichen Methoden möglicherweise übersehen werden, genau identifizieren.
  • Sich ohne manuelle Eingriffe an Layout- und Designänderungen anpassen.
  • Die Effizienz der Automatisierung durch Vermeidung von Ausfällen verbessern.

Weitere Informationen zu den verfügbaren Funktionen finden Sie unter Generative Recorder.

Um das Vision-basierte Fallback zu aktivieren:
  1. Melden Sie sich als Bot Creator an.
  2. Navigieren Sie im Bot-Editor zu Erweiterte Einstellungen > Paketeinstellungen.
  3. In den Paketeinstellungen > Recorder aktivieren Sie das Vision-basierte Fallback mit Generativer KI.

Einstellungen für die Auswahl des Vision-basierten Fallbacks

Bildbereinigung in Vision-basierten Fallback-Lösungen

Anmerkung: Die Vision-basierte Notfalllösung funktioniert möglicherweise nicht korrekt, wenn auf Ihrem System eine separate Python-Installation vorhanden ist, da dies zu Fehlern bei der Bildmaskierung führen kann. Insbesondere das von der Bildmaskierung verwendete eingebettete Python wird ausschließlich während der Bot-Ausführung extrahiert und verursacht keine Beeinträchtigungen. Allerdings kann jede zusätzliche Python-Installation, die in Systemsteuerung > Programme und Funktionen sichtbar ist, die Vision-basierten Fallback-Operationen beeinflussen. Um eine zuverlässige Leistung des Vision-basierten Fallbacks zu gewährleisten, deinstallieren Sie eine solche Python-Installation, die Sie unter Programme und Funktionen finden.

Um Daten­sicherheits- und Datenschutz­risiken zu minimieren, führt der Generative Recorder die Bildbereinigung lokal auf Ihrem Gerät durch, bevor Daten Ihre Umgebung verlassen. Dieser Vorgang wird vollständig von dem Recorder-Paket auf dem Gerät ausgeführt.

Die Einstellung Methode zur Bildbereinigung auswählrn ermöglicht es Ihnen, auszuwählen, wie und wo diese Bereinigung stattfindet. Folgende Optionen stehen für die Bereinigung zur Verfügung:
  • Cloud-basierte Bereinigung: Screenshots der Zielanwendung werden sicher an den Automation Anywhere Cloud Service gesendet. Sobald sie empfangen wurden, werden die Bilder automatisch in der Cloud bereinigt, bevor sie vom KI-Modell zur Analyse verarbeitet werden.

    Sie können diese Option wählen, wenn Sie eine zentralisierte Verarbeitung für eine verbesserte Leistung und minimale Auswirkungen auf die Leistung des lokalen Geräts bevorzugen.

  • Lokale Bereinigung: Die Bereinigung von Screenshots erfolgt direkt auf Ihrem Gerät, bevor ein Bild zur KI-Analyse gesendet wird.

    Sie können diese Option wählen, wenn Ihre Organisation lokalen Datenumgang, regulatorische Compliance oder eingeschränkte Netzwerkinfrastrukturen priorisiert.

Während des Bereinigungsprozesses werden alle Geschäftsdaten, die in dem erfassten Anwendungsbild sichtbar sind, unkenntlich gemacht. Dies umfasst nicht nur persönlich identifizierbare Informationen (PII), sondern auch alle sensiblen Geschäftsinhalte, die auf dem Bildschirm erscheinen.

Erst nachdem diese umfassende lokale Bereinigung abgeschlossen ist, wird das resultierende Bild und der extrahierte Text an den regionsbasierten KI-Dienst zur weiteren Verarbeitung gesendet. Zu keinem Zeitpunkt werden rohe oder unsanitisierte Bilddaten außerhalb Ihrer Umgebung geteilt.