Generative Recorder – Vision-Fallback

Das Vision-Modell-Fallback im Generative Recorder wurde entwickelt, um die Automatisierungsresilienz zu erhöhen, indem Vision-Modelle als zusätzliche Fallback-Mechanismen verwendet werden. Vision-Model-Fallback verbessert die Fallback-Wirksamkeit und bietet Vorteile wie die Gewährleistung der Geschäftskontinuität, die Minimierung des Wartungsaufwands und die Einhaltung der SLAs der Organisation.

Ein KI-Vision-Modell, oft auch als Computer-Vision-Modell bezeichnet, ist ein System der künstlichen Intelligenz, das visuelle Daten (z.B. Bilder oder Videos) durch fortgeschrittene maschinelle Lerntechniken interpretieren, analysieren und verstehen kann. Ein Vision-Model-Fallback ist ein Mechanismus, der in Automatisierungsprozessen verwendet wird, um die Widerstandsfähigkeit zu erhöhen und Ausführungsfehler zu reduzieren. Dabei werden Bildgebungsmodelle verwendet, um Änderungen zu erkennen und in Echtzeit zu aktualisieren. So wird sichergestellt, dass die Automatisierungsaufgaben auch bei unerwarteten Änderungen reibungslos weiterlaufen.
Anmerkung: Generative Recorder, textbasierte Fallbacks und native Fallbacks verwenden keine Empfehlungen aus Ihrem Automator AI-Kontingent. Das Vision-Fallback von Generative Recorder hingegen verbraucht eine Empfehlung pro Fallback; jedoch nur, wenn das Fallback tatsächlich zur Laufzeit ausgelöst wird. Die Anzahl der Automatisierungen mit aktiviertem Vision-Fallback beeinflusst Ihr Kontingent nicht. Empfehlungen werden nur abgezogen, wenn das Vision-Fallback während der Ausführung aktiviert ist.

Möglichkeiten

Der Generative Recorder nutzt unsere auf Automatisierung abgestimmten Ensemble-Modelle, um ein tiefes visuelles Verständnis von Geschäftsanwendungen zu erreichen.

Vision-Fallback kann:
  • Modifizierte Benutzeroberflächenstrukturen, die mit herkömmlichen Methoden möglicherweise übersehen werden, genau identifizieren.
  • Sich ohne manuelle Eingriffe an Layout- und Designänderungen anpassen.
  • Die Effizienz der Automatisierung durch Vermeidung von Ausfällen verbessern.

Weitere Informationen zu den verfügbaren Funktionen finden Sie unter Generative Recorder.

Um das Vision-Modell-Fallback zu aktivieren:
  1. Melden Sie sich als Bot Creator an.
  2. Navigieren Sie im Bot-Editor zu Erweiterte Einstellungen > Paketeinstellungen.
  3. In Paketeinstellungen > Recorder, aktivieren Sie den Bildbasiertes Fallback mit Generativer KI.

Einstellungen für die Auswahl des Vision-Modell-Fallbacks

Bildbereinigung in Vision-basierten Fallback-Lösungen

Anmerkung: Die Vision-basierte Notfalllösung funktioniert möglicherweise nicht korrekt, wenn auf Ihrem System eine separate Python-Installation vorhanden ist, da dies zu Fehlern bei der Bildmaskierung führen kann. Insbesondere das eingebettete Python, das von der Bildmaskierung verwendet wird, wird nur während der Bot-Ausführung extrahiert und stört nicht. Allerdings kann jede zusätzliche Python-Installation, die in der Systemsteuerung > Programme und Funktionen sichtbar ist, die Vision-Fallback-Operationen beeinflussen. Um eine zuverlässige Leistung des Vision-basierten Fallbacks zu gewährleisten, deinstallieren Sie eine solche Python-Installation, die Sie unter Programme und Funktionen finden.

Um Daten­sicherheits- und Datenschutz­risiken zu minimieren, führt der Generative Recorder die Bildbereinigung lokal auf Ihrem Gerät durch, bevor Daten Ihre Umgebung verlassen. Dieser Vorgang wird vollständig von dem Recorder-Paket auf dem Gerät ausgeführt.

Während des Bereinigungsprozesses werden alle Geschäftsdaten, die in dem erfassten Anwendungsbild sichtbar sind, unkenntlich gemacht. Dies umfasst nicht nur persönlich identifizierbare Informationen (PII), sondern auch alle sensiblen Geschäftsinhalte, die auf dem Bildschirm erscheinen.

Erst nachdem diese umfassende lokale Bereinigung abgeschlossen ist, wird das resultierende Bild und der extrahierte Text an den regionsbasierten KI-Dienst zur weiteren Verarbeitung gesendet. Zu keinem Zeitpunkt werden rohe oder unsanitisierte Bilddaten außerhalb Ihrer Umgebung geteilt.