Gravador Generativo – Fallback baseado em visão

O fallback baseado em visão no Gravador Generativo foi desenvolvido para aumentar a resiliência da automação, utilizando modelos de visão como um mecanismo de fallback adicional. O fallback baseado em visão melhora a eficácia do fallback e oferece benefícios como a continuidade dos negócios, a minimização do esforço de manutenção e a adesão aos SLAs da organização.

Uma IA de modelo de visão, geralmente chamada de modelo de visão computacional, é um sistema de inteligência artificial projetado para interpretar, analisar e compreender dados visuais (como imagens ou vídeos) por meio de técnicas avançadas de aprendizado de máquina. Um fallback baseado em visão é um mecanismo utilizado em processos de automação para aumentar a resiliência e reduzir as falhas de execução. Isso envolve o uso de modelos de visão para identificar mudanças e atualizá-las em tempo real, garantindo que as tarefas de automação continuem sem problemas, mesmo quando ocorrem mudanças inesperadas.
Nota: O Gravador generativo, o fallback baseado em texto e o fallback nativo não utilizam nenhuma recomendação da sua cota do Automator AI. O fallback baseado em visão do Gravador generativo, entretanto, consome uma recomendação por fallback, mas apenas quando o fallback é realmente acionado durante a execução. O número de automações com fallback baseado em visão ativado não afeta sua cota. Recomendações são deduzidas apenas quando o fallback baseado em visão é ativado durante a execução.

Recursos

O Gravador generativo utiliza nossos modelos de conjunto ajustados por automação para obter uma compreensão visual profunda dos aplicativos de negócios.

O fallback baseado em visão pode:
  • Identificar com precisão as estruturas de IU modificadas que os métodos tradicionais podem deixar passar.
  • Adaptar-se às mudanças de layout e design sem intervenção manual.
  • Aumentar a eficácia da automação, evitando falhas.

Para obter informações sobre os recursos disponíveis, consulte Gravador generativo.

Para ativar o fallback baseado em visão:
  1. faça login como Bot Creator.
  2. No Editor de bot, navegue até Configurações avançadas > Configurações do pacote.
  3. Nas Configurações do pacote > Gravador, ative o Fallback baseado em visão de IA generativa.

Configurações de seleção de fallback baseadas em visão

Sanitização de imagem em fallback baseado em visão

Nota: O recurso alternativo baseado em visão pode não funcionar corretamente se houver uma instalação separada do Python no seu sistema, pois isso pode causar falhas no mascaramento de imagens. Especificamente, o Python incorporado utilizado pelo mascaramento de imagem é extraído apenas durante a execução do bot e não interfere; entretanto, qualquer instalação adicional do Python visível em Painel de controle > Programas e recursos pode afetar as operações do fallback baseado em visão. Para garantir o desempenho confiável do fallback baseado em visão, desinstale qualquer instalação do Python encontrada em Programas e recursos.

Para reduzir os riscos de segurança e privacidade dos dados, o Gravador Generativo realiza a higienização da imagem localmente em sua máquina antes que qualquer dado seja enviado para fora do seu ambiente. Esse processo é realizado inteiramente pelo pacote Gravador em execução no dispositivo.

A configuração Escolher método de sanitização de imagem permite que você selecione como e onde essa sanitização ocorre. As seguintes opções estão disponíveis para sanitização:
  • Sanitização baseada em nuvem: capturas de tela do aplicativo de destino são enviadas com segurança para o Serviço de nuvem da Automation Anywhere. Uma vez recebidas, as imagens são automaticamente sanitizadas na nuvem antes de serem processadas pelo modelo de IA para análise.

    Você pode selecionar esta opção caso prefira o processamento centralizado para obter melhor desempenho e impacto mínimo no desempenho do dispositivo local.

  • Sanitização local: a sanitização das capturas de tela acontece diretamente no seu dispositivo antes que qualquer imagem seja enviada para análise por IA.

    Você pode escolher essa opção se sua organização priorizar o processamento local de dados, conformidade regulatória ou ambientes de rede restritos.

Durante o processo de sanitização, todos os dados comerciais visíveis na imagem capturada do aplicativo são redigidos. Isso inclui não apenas informações de identificação pessoal (PII), mas também qualquer conteúdo comercial sensível que apareça na tela.

Somente após a conclusão dessa higienização local abrangente, a imagem resultante e o texto extraído são enviados ao serviço de IA baseado em região para processamento adicional. Em nenhum momento os dados de imagem brutos ou não higienizados são compartilhados fora do seu ambiente.