Gravador Generativo – Fallback baseado em visão

O fallback baseado em visão no Gravador Generativo foi desenvolvido para aumentar a resiliência da automação, utilizando modelos de visão como um mecanismo de fallback adicional. O fallback baseado em visão melhora a eficácia do fallback e oferece benefícios como a continuidade dos negócios, a minimização do esforço de manutenção e a adesão aos SLAs da organização.

Uma IA de modelo de visão, geralmente chamada de modelo de visão computacional, é um sistema de inteligência artificial projetado para interpretar, analisar e compreender dados visuais (como imagens ou vídeos) por meio de técnicas avançadas de aprendizado de máquina. Um fallback baseado em visão é um mecanismo utilizado em processos de automação para aumentar a resiliência e reduzir as falhas de execução. Isso envolve o uso de modelos de visão para identificar mudanças e atualizá-las em tempo real, garantindo que as tarefas de automação continuem sem problemas, mesmo quando ocorrem mudanças inesperadas.
Nota: O Gravador generativo, o fallback baseado em texto e o fallback nativo não utilizam nenhuma recomendação da sua cota do Automator AI. O fallback baseado em visão do Gravador generativo, entretanto, consome uma recomendação por fallback, mas apenas quando o fallback é realmente acionado durante a execução. O número de automações com fallback baseado em visão ativado não afeta sua cota. Recomendações são deduzidas apenas quando o fallback baseado em visão é ativado durante a execução.

Recursos

O Gravador generativo utiliza nossos modelos de conjunto ajustados por automação para obter uma compreensão visual profunda dos aplicativos de negócios.

O fallback baseado em visão pode:
  • Identificar com precisão as estruturas de IU modificadas que os métodos tradicionais podem deixar passar.
  • Adaptar-se às mudanças de layout e design sem intervenção manual.
  • Aumentar a eficácia da automação, evitando falhas.

Para obter informações sobre os recursos disponíveis, consulte Gravador generativo.

Para ativar o fallback baseado em visão:
  1. faça login como Bot Creator.
  2. No Editor de bot, navegue até Configurações avançadas > Configurações do pacote.
  3. Nas Configurações do pacote > Gravador, ative o Fallback baseado em visão de IA generativa.
    Nota: Recomendamos definir o tempo limite de fallback de visão para 90 segundos ou mais para garantir uma operação confiável nos seus ambientes.

Configurações de seleção de fallback baseadas em visão

Sanitização de imagem em fallback baseado em visão

Nota: O recurso alternativo baseado em visão pode não funcionar corretamente se houver uma instalação separada do Python no seu sistema, pois isso pode causar falhas no mascaramento de imagens. Especificamente, o Python incorporado utilizado pelo mascaramento de imagem é extraído apenas durante a execução do bot e não interfere; entretanto, qualquer instalação adicional do Python visível em Painel de controle > Programas e recursos pode afetar as operações do fallback baseado em visão. Para garantir o desempenho confiável do fallback baseado em visão, desinstale qualquer instalação do Python encontrada em Programas e recursos.

A sanitização de imagens no gravador generativo permite proteger informações empresariais confidenciais, garantindo que todas as capturas de tela sejam sanitizadas antes que qualquer dado seja enviado para fora do seu ambiente.

As capturas de tela feitas durante a automação podem conter informações comerciais confidenciais, como PII, dados financeiros, registros de clientes, painéis internos ou conteúdo proprietário. Sem sanitização, essas informações podem ser inadvertidamente expostas ao interagir com serviços de IA externos ou baseados em nuvem.

Ao sanitizar imagens antes que sejam processadas por qualquer serviço de IA, o gravador generativo garante:
  • Confidencialidade: dados confidenciais são redigidos na origem, eliminando o risco de exposição.
  • Fluxo de dados controlado: apenas imagens e textos que tenham sido limpos de informações comerciais confidenciais são enviados para fora do ambiente.
  • Segurança desde a concepção: a sanitização é feita de maneira automática e consistente, reduzindo a dependência do julgamento ou da configuração do usuário.
Nota: Apenas o texto em inglês é sanitizado nas capturas de tela do aplicativo.
Dependendo das necessidades de desempenho e requisitos de conformidade da sua organização, você pode selecionar como a sanitização é executada por meio da configuração Escolher método de sanitização de imagem:
  • Sanitização baseada em nuvem: capturas de tela do aplicativo de destino são enviadas com segurança para o Serviço de nuvem da Automation Anywhere. Uma vez recebidas, as imagens são automaticamente sanitizadas na nuvem antes de serem processadas pelo modelo de IA para análise.

    Você pode selecionar esta opção caso prefira o processamento centralizado para obter melhor desempenho e impacto mínimo no desempenho do dispositivo local.

  • Sanitização local: a sanitização das capturas de tela acontece diretamente no seu dispositivo antes que qualquer imagem seja enviada para análise por IA. Esse processo é realizado inteiramente pelo pacote Gravador em execução no dispositivo.

    Você pode escolher essa opção se sua organização priorizar o processamento local de dados, conformidade regulatória ou ambientes de rede restritos.