AI Agent Studio versão v.37

Revise as novidades, as correções e as limitações do AI Agent Studio para a versão v.37.

Novidades

Nova página de habilidades para gerenciamento de AI Skills

Apresentação da nova página de Habilidades, encontrada na navegação à esquerda na seção IA . Essa visualização centralizada permite que você acesse e gerencie facilmente todas as suas AI Skills. A página é dividida em duas seções: a guia Habilidades para gerenciar suas habilidades existentes e a guia Modelos para procurar e criar habilidades a partir dos modelos disponíveis, oferecendo uma alternativa ao método de criação anterior via automação.

Habilidades

AI Guardrails aprimoradas com monitoramento e bloqueio de toxicidade

O assistente de criação de AI Guardrails agora inclui uma seção dedicada à Toxicidade. Essa seção permite que os administradores controlem o idioma nas interações de IA. Esse aprimoramento analisa os prompts de entrada e as respostas geradas pelo LLM, classificando os níveis de toxicidade como baixo, moderado ou alto. Além do simples monitoramento, os administradores agora podem configurar proteções para bloquear ativamente os prompts que contêm níveis específicos de linguagem tóxica antes que eles cheguem ao LLM. Da mesma forma, as proteções podem bloquear respostas LLM que excedam os limites de toxicidade definidos antes de apresentá-las ao usuário. Os prompts bloqueados acionam mensagens de erro e impedem o processamento do LLM. As respostas bloqueadas resultam em saídas vazias e notificações de erro. O sistema registra meticulosamente todas as ações de bloqueio para uma AI Governance abrangente. Por padrão, as verificações de toxicidade são configuradas para Permitir tudo para fins de auditoria, e o sistema grava a pontuação de toxicidade na AI Governance no modo somente observação.

AI Guardrails

AI Guardrails Teste

O assistente de criação de AI Guardrails agora possui uma seção dedicada a Testes, permitindo que você teste as proteções com as configurações definidas. Agora você pode inserir prompts de exemplo e clicar em Testar proteção para ver como a proteção responde com base nas configurações de toxicidade/mascaramento de dados configuradas.

Criar e gerenciar AI Guardrails

Fonte dos prompts exibidos na AI Governance

A fonte de cada prompt é exibida nos logs de prompt e eventos na AI Governance. Isso oferece ao administrador mais informações sobre como os recursos de IA estão sendo usados e sobre o desempenho de vários produtos.

Correções

Problema de registro da API Task AI Skill resolvido:

Execuções de AI Skill acionadas por meio de API Tasks sob demanda agora registram corretamente respostas no Event log de AI Governance. Anteriormente, uma limitação impedia que essas respostas fossem registradas; não é mais necessária a solução temporária anterior, que exige adicionar uma ação de atraso de pelo menos 1 segundo após a ação AI Skill: Executar para todas as execuções de API Task sob demanda.

Limitação de caracteres especiais no painel de AI Governance corrigida:

Ao clicar em nomes de modelos que contêm caracteres especiais na aba do painel de AI Governance na tela inicial, agora é acionada uma busca exata por esse nome de modelo específico. Anteriormente, a funcionalidade de pesquisa subjacente não era totalmente compatível com caracteres especiais, como “*”, “?”, “+”, “=”, “&&”, “||”, “>”, “<”, “!”, “(”, “)”, “{”, “}”, “[”, “]”, “^”, “~", ":” ou palavras entre aspas duplas. Consequentemente, clicar em um nome de modelo que contenha qualquer um desses caracteres resultaria em um erro.

Erro de Arquivo não encontrado da página inicial das proteções corrigido

Agora é possível visualizar com êxito a página inicial das proteções, mesmo que você não tenha permissões de visualização de conteúdo para todas as pastas em que as proteções são criadas ou atribuídas por outros usuários. Anteriormente, talvez você encontrasse um erro de Arquivo não encontrado nessa página se não tivesse acesso a Exibir conteúdo em qualquer pasta que tivesse uma proteção atribuída, o que impedia incorretamente a navegação geral e o gerenciamento de proteções.

Essa correção garante que você possa acessar proteções relevantes para suas permissões. A coluna Pastas atribuídas a nessa página agora exibirá apenas as pastas para as quais você tem permissões de visualização de conteúdo. Você também precisa de uma permissão de Visualizar proteção de IA para acessar esta página. Os usuários com a função AAE_Admin continuarão a ter permissões implícitas para visualizar todas as pastas e proteções atribuídas, proporcionando uma supervisão abrangente.

Limitações

Visibilidade limitada das falhas de toxicidade do System prompt

As AI Guardrails podem bloquear conteúdo altamente tóxico, mas há algumas limitações especificamente para o System prompt, que serão abordadas em versões futuras. Essas limitações conhecidas incluem:

  • Quando o System prompt falha devido à toxicidade, o evento Enviar prompt nos logs não mostra explicitamente essa falha, pois combina a exibição de prompts do usuário e do sistema.
  • Além disso, os logs de AI Governance não possuem um campo de erro dedicado para falhas de Enviar prompt, o que faz com que mensagens de erros sejam incorporadas dentro do User prompt, o que pode ser confuso. Da mesma forma, os Logs de sessão concatenam mensagens de erro do System prompt com o User prompt, potencialmente criando uma experiência ruim, especialmente com prompts mais longos.
Uso de Model connections de RAG

System prompt não são considerados ao usar as Model connections baseadas na RAG. Além disso, o mascaramento de dados não é aplicado quando um modelo de RAG interage com dados de uma base de conhecimento.

A página inicial de AI Skills exibe uma mensagem de erro quando não há habilidades disponíveis

Administradores com permissões para Model connections e AI Skills verão um erro Arquivo não encontrado ao acessar a página AI Skills se nenhuma habilidade tiver sido configurada.

Atualizações na interface

Habilidades
Um novo menu de navegação é apresentado para acessar AI Skills:

Nova navegação para acessar AI Skills

Habilidades