Gravador Generativo - Fallback de visão

O fallback do modelo de visão no Gravador Generativo é projetado para aumentar a resiliência da automação usando modelos de visão como um mecanismo de fallback adicional. O fallback do modelo de visão melhora a eficácia do fallback e oferece benefícios como a continuidade dos negócios, a minimização do esforço de manutenção e a adesão aos SLAs da organização.

Uma IA de modelo de visão, geralmente chamada de modelo de visão computacional, é um sistema de inteligência artificial projetado para interpretar, analisar e compreender dados visuais (como imagens ou vídeos) por meio de técnicas avançadas de aprendizado de máquina. Um fallback de modelo de visão é um mecanismo usado em processos de automação para aumentar a resiliência e reduzir as falhas de execução. Isso envolve o uso de modelos de visão para identificar mudanças e atualizá-las em tempo real, garantindo que as tarefas de automação continuem sem problemas, mesmo quando ocorrem mudanças inesperadas.
Nota: O Gravador generativo, o fallback baseado em texto e o fallback nativo não usam nenhuma recomendação da sua cota do Automator AI. O fallback de visão do Gravador generativo, no entanto, consome uma recomendação por fallback, mas somente quando o fallback é realmente acionado em tempo de execução. O número de automações com fallback de visão ativado não afeta sua cota. Recomendações são deduzidas apenas quando a visão de fallback é ativada durante a execução.

Recursos

O Gravador generativo utiliza nossos modelos de conjunto ajustados por automação para obter uma compreensão visual profunda dos aplicativos de negócios.

A visão de fallback pode:
  • Identificar com precisão as estruturas de IU modificadas que os métodos tradicionais podem deixar passar.
  • Adaptar-se às mudanças de layout e design sem intervenção manual.
  • Aumentar a eficácia da automação, evitando falhas.

Para obter informações sobre os recursos disponíveis, consulte Gravador generativo.

Para ativar o fallback do modelo de visão:
  1. faça login como Bot Creator.
  2. No Editor de bot, navegue até Configurações avançadas > Configurações do pacote.
  3. Nas Configurações do pacote > gravador, ative o Fallback baseado em imagem de IA generativa.

Configurações de seleção de fallback do modelo de visão

Sanitização de imagem em fallback baseado em visão

Nota: O recurso alternativo baseado em visão pode não funcionar corretamente se houver uma instalação separada do Python no seu sistema, pois isso pode causar falhas no mascaramento de imagens. Especificamente, o Python incorporado usado pelo mascaramento de imagem é extraído apenas durante a execução do bot e não interfere; no entanto, qualquer instalação adicional do Python visível em Painel de controle > Programas e recursos pode afetar as operações de fallback de visão. Para garantir o desempenho confiável do fallback baseado em visão, desinstale qualquer instalação do Python encontrada em Programas e recursos.

Para reduzir os riscos de segurança e privacidade dos dados, o Gravador Generativo realiza a higienização da imagem localmente em sua máquina antes que qualquer dado seja enviado para fora do seu ambiente. Esse processo é realizado inteiramente pelo pacote Gravador em execução no dispositivo.

Durante o processo de sanitização, todos os dados comerciais visíveis na imagem capturada do aplicativo são redigidos. Isso inclui não apenas informações de identificação pessoal (PII), mas também qualquer conteúdo comercial sensível que apareça na tela.

Somente após a conclusão dessa higienização local abrangente, a imagem resultante e o texto extraído são enviados ao serviço de IA baseado em região para processamento adicional. Em nenhum momento os dados de imagem brutos ou não higienizados são compartilhados fora do seu ambiente.