Generative Recorder FAQs

1. Quand l\'Generative Recorder sera-t-il disponible ?

L\'Generative Recorder sera disponible pour tous les clients cloud sous licence à partir d\'Automation 360 v.32.

2. Comment opter pour la fonctionnalité Generative Recorder ?

L\'Enregistreur génératif est disponible avec la licence Automator AI Base, voir Intelligent Automation - Automator AI Base.

3. Puis-je utiliser l\'Generative Recorder dans ma Control Room sur site ?

Generative Recorder est actuellement disponible uniquement pour nos clients cloud. Le support Generative Recorder pour On-prem Control Room est dans la feuille de route.

4. Dois-je acheter des licences auprès de fournisseurs d\'IA générative tels qu\'Azure OpenAI ou effectuer une configuration LLM pour utiliser l\'Generative Recorder ?

Non. L\'Generative Recorder se charge de l\'intégration de l\'IA générative. Il n\'est pas nécessaire d\'acheter une licence Azure OpenAI ni d\'effectuer une configuration supplémentaire pour activer le fallback basé sur l\'IA générative.

Remarque : Vous avez toujours besoin d\'une licence Automator AI Base pour activer le Generative Recorder.

5. Si la politique de la société n\'autorise pas l\'utilisation de l\'IA générative, puis-je utiliser l\'Generative Recorder malgré tout ?

Oui, vous pouvez utiliser le fallback natif de l\'Enregistreur pour améliorer la résilience des automatisations. Le fallback natif n\'est pas basé sur l\'IA générative.

6. Quelle est la différence entre le fallback natif de l\'Enregistreur et le fallback basé sur l\'IA générative ?

Fallback natif de l\'Enregistreur : s\'appuie sur des détails supplémentaires concernant les éléments de l\'interface utilisateur recueillis lors de la conception de l\'automatisation. Il utilise l\'algorithme intégré de l\'Enregistreur et ces données supplémentaires pour automatiser les éléments de l\'interface utilisateur en cas de fallback.
Fallback basé sur l\'IA générative : utilise l\'état actuel des applications actives, à l\'exclusion des données métier sensibles. Il utilise de grands modèles de langage pour identifier les caractéristiques uniques de l\'élément d\'interface utilisateur cible pour l\'automatisation en cas de fallback.

7. Comment les fenêtres contextuelles de notification de fallback fréquentes sont-elles gérées pour les automatisations non assistées ?

La boîte de dialogue de notification de fallback n\'apparaîtra pas pour les automatisations non assistées lorsqu\'un fallback se produira. Cela garantira un processus d\'automatisation fluide.

Remarque : La boîte de dialogue de notification de fallback s\'affiche uniquement pour les développeurs citoyens et professionnels.

8. Puis-je essayer l\'Generative Recorder avant de l\'acheter ?

Vous pouvez essayer le Generative Recorder dans notre environnement de prévisualisation hébergé dans le cloud.

9. Puis-je activer l\'Generative Recorder de manière sélective par automatisation ?

Oui, vous pouvez activer l\'Generative Recorder par automatisation en fonction de vos besoins et de vos préférences.

10. Si un objet est capturé à l\'aide de Microsoft Active Accessibility, Microsoft UI Automation ou COM UI Automation, le mécanisme de secours fonctionne-t-il toujours de la même manière entre ces méthodes ?

Generative Recorder prend actuellement en charge le repli uniquement pour les applications Web où les objets sont capturés avec la technologie HTML.

11. Existe-t-il une situation dans laquelle l\'Generative Recorder risque de ne pas fonctionner ?

Si l\'application a subi un changement si radical que l\'IA ne peut pas trouver un chemin équivalent à ce qu\'elle a vu auparavant, il échoue tout comme l\'Recorder normal. Le cas échéant, nous vous recommandons de revoir la conception de cette partie de l\'automatisation.

12. Est-ce que Generative Recorder fonctionne lorsque l\'enregistrement sécurisé est activé dans le Control Room ?

Oui, Generative Recorder fonctionne avec l\'enregistrement sécurisé activé, à condition que l\'option de suppression automatique des propriétés d\'objet inutilisées lors de l\'enregistrement soit désactivée.

13. Quel fournisseur d\'IA générative est utilisé par l\'Generative Recorder ?

L\'Generative Recorder est conçu de manière à ce que le choix du grand modèle de langage sous-jacent soit totalement transparent. Nous utilisons actuellement Microsoft Azure OpenAI. Notez qu\'il n\'y a pas d\'intégration directe entre votre centre de données et Azure OpenAI, car toutes les communications sortantes se font par l\'intermédiaire d\'un service dédié hébergé dans Automation Anywhere Cloud.

14. Generative Recorder peut-il s\'intégrer avec les Fournisseurs d\'IA générative approuvés dans mon lieu de travail, par exemple, ceux de Google, Amazon, Anthropic ?

Nous évaluons actuellement cette capacité dans le cadre de notre feuille de route.

15. Comment assurer la sécurité des données métier des applications pour le fallback basé sur l\'IA générative ?

Pour le fallback basé sur l\'IA générative, nous utilisons uniquement les données du code source de l\'application qui sont propres à l\'élément d\'interface utilisateur actuellement automatisé. Nous ne conservons, ne transmettons ni n\'utilisons aucune donnée métier, par exemple des informations personnelles identifiables provenant de l\'application métier automatisée. Toute donnée métier potentielle faisant partie du code source de l\'application elle-même n\'est utilisée qu\'après avoir été rendue anonyme. De plus, toutes les données saisies ou extraites par l\'automatisation jusqu\'à l\'occurrence du fallback sont également exclues de notre traitement. Nous veillons à ce qu\'aucune donnée métier ne soit acheminée vers les LLM.

16. Est-ce que l\'Generative Recorder ouvre une communication directe entre le centre de données de ma société et les fournisseurs publics d\'IA générative ?

Il n\'y a pas d\'intégration directe entre le centre de données et les fournisseurs publics d\'IA générative. Au lieu de cela, toutes les demandes de fallback vers l\'IA générative sont canalisées via un service dédié hébergé dans Automation Anywhere Cloud. Cela permet de mieux contrôler les données échangées avec les fournisseurs d\'IA générative. La confidentialité et la sécurité des données s\'en trouvent renforcées, car les informations potentiellement sensibles ne sont pas directement exposées aux fournisseurs d\'IA générative, ce qui réduit le risque de violation des données ou d\'accès non autorisé.

17. Comment puis-je m\'appuyer sur l\'IA générative pour fournir un fallback fiable pour nos automatisations ?

Nous utilisons une série d\'invites soigneusement conçues qui limitent la portée des chemins qu\'une automatisation peut emprunter. Cela permet d\'éviter que les hallucinations ne reviennent de l\'IA générative. En cas de doute, l\'automatisation ne devine rien.

18. Quelle est la recommandation d\'Automation Anywhere en matière de configuration de la résilience de l\'Generative Recorder ?

Nous vous recommandons de configurer les deux types de résilience pour une automatisation. Lorsque les options de fallback natif et de fallback basé sur l\'IA générative sont sélectionnées, l\'automatisation utilise en premier lieu le fallback natif pour exécuter des actions sur l\'objet capturé. Si l\'automatisation n\'est pas en mesure de détecter l\'objet à l\'aide du support de fallback natif, le fallback basé sur l\'IA générative sera utilisé.

19. Comment Generative Recorder garantit la fiabilité des recommandations GenAI pour le fallback ?

Lorsque le Generative Recorder vérifie qu\'un DOMXPath de fallback peut identifier de manière unique l\'élément d\'interface utilisateur cible, il procède à une étape de validation supplémentaire. Cette étape consiste à comparer d\'autres propriétés de l\'élément de l\'interface utilisateur. Par exemple, si l\'action automatisée implique la saisie de données, Generative Recorder garantit que l\'automatisation se poursuit uniquement si le DOMXPath de fallback correspond à une zone de saisie de données, telle qu\'une zone de texte, et non à des boutons ou des étiquettes.

20. Après avoir acheté la licence Automator AI Base, puis-je également intégrer Generative Recorder dans mes automatisations existantes ?

Nous vous recommandons d\'activer Generative Recorder pour vos automatisations existantes. Les nouvelles actions auront alors une meilleure résilience et les actions existantes s\'amélioreront également lorsque leurs objets Recorder seront récupérés. Il est essentiel de capturer à nouveau les objets car Generative Recorder utilise des données d\'éléments de l\'interface utilisateur supplémentaires au moment de la conception pour améliorer ses mécanismes de fallback. Ces données supplémentaires sont capturées à partir du Recorder package (version 3.1.5.20240412-132755) et suivantes.

21. Puis-je utiliser le fallback basé sur la vision avec des versions antérieures du Recorder package ?

Non, le fallback basé sur la vision n\'est pris en charge qu\'avec le Recorder package version (4.3.2-20250711-221403 et ultérieure).

22. Combien de recommandations vais-je obtenir pour Generative Recorder avec la licence Automator AI Base ?

Generative Recorder, le fallback basé sur le texte et le fallback natif n\'utilisent aucune recommandation de votre quota Automator AI. Cependant, le fallback basé sur la vision de Generative Recorder consomme une recommandation par fallback, mais uniquement lorsque le fallback est effectivement déclenché à l\'exécution. Le nombre d\'automatisations avec fallback basé sur la vision activé n\'affecte pas votre quota. Les recommandations ne sont déduites que lorsque le recours à la vision est activé pendant l\'exécution.

23. Est-ce que je reçois un enregistrement des cas où Generative Recorder a empêché des échecs d\'automatisation ?

L\'Generative Recorder fournit une traçabilité complète aux utilisateurs autorisés pour tous les cas où il a contribué à prévenir les échecs de l\'automatisation. Il s\'agit notamment de notifications dans les alertes du système contenant un lien vers les détails de l\'automatisation spécifique. Les entrées du journal d\'audit documentent également les détails pertinents du fallback, tels que l\'identité de l\'utilisateur, les informations sur le périphérique, le nom de l\'automatisation et le numéro de ligne où le fallback s\'est produit. Cet enregistrement complet facilite la surveillance des cas où l\'Generative Recorder a joué un rôle en influençant les décisions d\'automatisation.

24. Allez-vous mettre en cache les réponses de l\'IA générative afin d\'économiser le coût de l\'automatisation du même élément de l\'interface utilisateur lors de la prochaine exécution ?

Oui, nous mettrons en cache les réponses de l\'IA générative pour les événements de fallback réussis. Cela permettra d\'économiser les appels de l\'API d\'IA générative et de réduire le temps d\'exécution de l\'automatisation. Cette mise en cache sera prise en charge à partir d\'Automation 360 v.33.

25. Est-ce que l\'Generative Recorder peut mettre à jour automatiquement les automatisations, selon les recommandations de l\'IA générative ?

L\'Generative Recorder permet la mise à jour automatique des automatisations avec une intervention humaine. Les développeurs citoyens et les développeurs professionnels reçoivent la liste des recommandations pour mettre à jour automatiquement les automatisations afin de les rendre plus résilientes. Les automatisations sont mises à jour après l\'acceptation des recommandations.

26. Dois-je ouvrir des ports pour utiliser l\'Generative Recorder ?

Non. Si vous pouvez accéder à la Automation Anywhere Control Room dans le cloud, vous avez également accès à l\'Generative Recorder.

27. Comment puis-je consulter les paramètres du package Enregistreur ?

Pour voir les paramètres de l\'Generative Recorder, assurez-vous de ce qui suit :

La Automator AI Base est installée.
Enregistreur > Capturer action est ajouté au Bot editor.

28. Qu\'est-ce que le fallback basé sur la vision alimenté par un modèle dans l\'Enregistreur génératif ?

Le fallback basé sur la vision alimenté par un modèle est un mécanisme de fallback avancé qui intègre des modèles linguistiques pour faciliter la correction automatique de l\'automatisation lorsque l\'Universal Recorder ne peut pas automatiser un élément d\'interface utilisateur.

29. Comment la sécurité des données et la confidentialité sont-elles gérées pour le fallback basé sur la vision ?

L\'Enregistreur génératif intègre un algorithme avancé de nettoyage d\'images qui masque automatiquement les données professionnelles sensibles avant que toute image d\'application ne soit analysée par les VLM pour la détection des éléments de l\'interface utilisateur. Ce processus garantit qu\'aucune information confidentielle n\'est exposée pendant l\'analyse.

Pour plus d\'informations, consultez Image sanitization in vision-based fallback

30. Comment l\'Enregistreur génératif automatise-t-il avec précision les éléments d\'interface utilisateur en utilisant le fallback basé sur la vision ?

L\'Enregistreur génératif dispose d\'un moteur de validation intégré qui vérifie l\'exactitude de l\'élément d\'interface utilisateur identifié. Le moteur évalue le score de confiance de l\'élément détecté, et s\'il est en dessous d\'un seuil prédéfini, le système initie un tour supplémentaire de traitement et d\'identification. Ce processus itératif améliore la précision du fallback et empêche les clics erronés, garantissant une automatisation fiable.

31. Que se passe-t-il si le fallback basé sur la vision ne peut pas localiser l\'élément d\'interface utilisateur ?

Si l\'Enregistreur génératif ne peut pas identifier l\'élément d\'interface utilisateur cible avec une confiance suffisante, il privilégie la précision en échouant de manière intelligente plutôt qu\'en essayant d\'automatiser un élément incorrect. Le système affichera un message d\'erreur, vous permettant de prendre des mesures correctives au lieu de continuer avec une automatisation peu fiable.

32. Les modèles de l\'Enregistreur génératif sont-ils entraînés à l\'aide de mes données métier ?

Non, les données métier des clients ne sont pas utilisées pour entraîner les modèles de l\'Enregistreur génératif.