Confira as novidades, as correções e as limitações da AI Governance, AI Guardrails e AI Evaluations para a versão v.40.
Importante: Estas notas de lançamento aplicam-se exclusivamente à versão 40 do Automation 360 para o ambiente Cloud-Sandbox (Build 45794). A versão 40 para a nuvem ainda não está disponível ao público (GA), portanto, o conteúdo destas páginas está sujeito a alterações até o lançamento geral da versão para a nuvem.

Novidades

A AI Evaluations fornece insights de desempenho governados e práticos para agentes e habilidades

A AI Evaluations introduz avaliação controlada e medida de AI Agents e AI Skills com licenciamento e consumo de créditos de IA vinculados ao rastreamento e à aplicação de direitos para ambientes em nuvem. Esse recurso garante que as equipes possam validar e comparar o desempenho da IA com avaliações automatizadas integradas ao ciclo de desenvolvimento do agente de IA. Os usuários licenciados têm acesso ao recurso de avaliação, bem como às pontuações automáticas e aos detalhes, por meio das novas páginas de avaliação, disponíveis no menu IA. Consulte Avaliações de IA.

Disponível apenas para ambientes em nuvem.

• Direitos e controles de uso: requer licenciamento apropriado (APA Essentials ou APA Pro) e créditos de IA com rastreamento e aplicação de uso.

• Ferramentas automáticas e manuais: suporte integrado para avaliações automáticas e manuais usando métricas predefinidas para medir o desempenho e detalhar as pontuações.

• Insights detalhados: as pontuações são baseadas em métricas do setor e de pesquisa, com análises detalhadas que comparam as interações esperadas com as reais, as sequências de execução e os padrões de comportamento.

• Suporte flexível a conjuntos de dados: carregue, reutilize ou defina conjuntos de dados manualmente com retenção segura e alinhada à auditoria para ciclos de avaliação repetíveis. O tamanho máximo do arquivo é 50 MB. Os conjuntos de dados são mantidos por 1 ano (o prazo é reiniciado a cada uso).
Nota: Upload disponível apenas ao avaliar AI Skills.

A AI Evaluations ajuda as equipes a otimizar a qualidade, confiabilidade e governança das automações com IA e processos agênticos antes e após a implantação em produção.
Execute a AI Evaluations para AI Skills e AI Agents e visualize insights na visualização de avaliação detalhada

O fluxo Executar avaliação agora oferece suporte a AI Agents. Os usuários podem acessar as avaliações do agente pela página Avaliações ou diretamente do Editor de agente. Você também pode visualizar

Você pode visualizar as avaliações no Editor de agente e na página inicial de Avaliações. Um resumo está disponível para a Avaliação geral. Uma investigação mais detalhada está disponível ao selecionar os detalhes da avaliação na página. Isso oferece um resumo das pontuações do conjunto de dados executado. A visualização detalhada para cada execução de conjunto de dados está disponível através dos detalhes de saída do agente. Alguns desses detalhes incluem:
  • Métricas
  • Pontuações
  • Raciocínio
Política de retenção de dados e logs de eventos para a AI Evaluations

Quando a AI Evaluations é executada, um Log de eventos é criado na AI Governance para fins de auditoria. Os dados da AI Evaluations incluem informações de data e usuário para segurança e controle sobre versões e modificações. O armazenamento e a retenção desses dados seguem a política de retenção vigente, conforme a estrutura da nossa plataforma. Consulte Política de retenção de dados.
Logs de auditoria do agente de IA agora disponíveis na Governança de IA
Visibilidade e rastreabilidade completas das atividades do agente de IA e interações com modelos LLM para governança e auditoria de conformidade. Garante a conformidade com as políticas de segurança e os requisitos de governança responsável de IA por meio de trilhas de auditoria abrangentes.
  • Acompanhe todas as execuções de agente do início à conclusão com registro detalhado de entrada/saída.
  • Monitore interações com LLM, chamadas de ferramentas e respostas do sistema em tempo real.
  • Retenção de logs por 180 dias com recursos de detalhamento para investigação.

O que foi alterado

Registro de AI Governance expandido para prompts do sistema com visibilidade de Toxicidade

A AI Governance agora captura detalhes do prompt do sistema e pontuações de toxicidade nos logs de prompt e logs de evento, mesmo quando prompts do usuário são bloqueados pelas AI Guardrails. Quando as mensagens do sistema ou do usuário excedem os limites configurados na política de proteção contra toxicidade, o bloqueio é aplicado, e os níveis de toxicidade das mensagens do sistema e do usuário são registrados nos logs.

Essa visibilidade aprimorada esclarece por que os prompts foram bloqueados e apoia a pontuação e análise da toxicidade dos prompts do sistema juntamente com as entradas dos usuários, melhorando a auditabilidade e o alinhamento com as políticas de proteções para um comportamento automatizado mais seguro e transparente.

A funcionalidade de mascaramento das AI Guardrails agora oferece suporte a entidades adicionais e idioma regional expandido

As melhorias reforçam os controles de prevenção contra perda de dados (DLP), ampliando a cobertura de entidades e permitindo o mascaramento confiável em outros idiomas globais. As operações de mascaramento e desmascaramento estão totalmente funcionais nas três categorias de dados confidenciais (PII, PCI, PHI).Veja a lista completa, Mascaramento de dados em IA.

As AI Guardrails agora oferecem suporte a mascaramento e desmascaramento para os seguintes idiomas: russo, hindi, japonês, coreano, mandarim (chinês tradicional) e português.

Correções

Os logs de prompts de IA exibem mais de 1.000 registros na AI Governance, conforme esperado. Antes, os registros não eram carregados.

Limitações

Em árabe, o mascaramento é parcialmente compatível. Algumas entidades podem não ser detectadas ou mascaradas de maneira consistente.