AI prompt log

O AI prompt log fornece uma visão resumida e consolidada de todas as sessões que ocorrem em uma execução de automação para interações de modelo.

Pode haver interações com vários modelos em uma sessão. Cada execução de automação recebe um ID da sessão que permite a agregação de todos os eventos em um único ID da sessão.

O link Governança de IA > Log de prompt de IA > ID da sessão na coluna ID da sessão permite que você detalhe e visualize todas as interações do modelo que ocorreram em uma sessão para essa ID da sessão. A exibição detalhada inclui prompts, respostas e outros parâmetros trocados com os modelos básicos. Você pode refinar a pesquisa por ID da sessão para exibir detalhes adicionais específicos da sessão selecionada.

Nota: Use o cursor para passar sobre os ícones de ação para identificar funções específicas.

Detalhes da tabela do AI prompt log

A tabela do AI prompt log classifica e exibe detalhes conforme estas colunas:

Atualizações do log de prompt de IA

um
Duração: Mostra a hora de início e término da execução de uma sessão.
Nota: Essa informação não estará disponível se a sessão estiver em andamento.
dois

Hora de início: Mostra a hora de início da execução da sessão.

três

ID da sessão: Mostra o ID da sessão para uma execução de automação. Uma sessão pode consistir em múltiplas interações de modelo, que fazem parte da mesma execução de automação. Clique no link ID da sessão para exibir detalhes de todas as interações do modelo para essa sessão.

quatro

Fonte: Mostra em que parte do produto esse prompt foi inserido.

cinco
Tipo de prompt: Mostra o tipo de prompt utilizado na automação. Os tipos incluem:
  • Forma livre (quando packages de Generative AI são usados).
  • Habilidade de IA (quando packages de AI Skills são usados).
seis

Nome da automação: Mostra o nome da automação que usou o prompt.

sete
Nome do dispositivo: Mostra o ID do dispositivo em que a automação foi executada.
Nota: Essa informação não estará disponível se a ação for executada na Control Room.
oito

Usuário: Mostra o ID do usuário que executou a automação.

nove

AI guardrail : Mostra a proteção específica aplicada a cada sessão de IA.

dez

Caminho da pasta: O local da pasta da automação em que ocorreu a execução. Quando uma AI Skill é integrada a uma automação (pai ou filho), o caminho da pasta exibido é o mesmo que o caminho da pasta da automação pai.

Detalhes de interação de sessão e modelo do AI prompt log

Da tabela do AI prompt log, você pode clicar no link ID da sessão para detalhar ainda mais a visualização dos dados de uma sessão.

Você pode visualizar os detalhes adicionais da sessão de interação do modelo na mesma tela, expandindo o nome do modelo básico exibido para essa interação. Clique no prompt ou na ação na seção de detalhes para visualizar mais detalhes do prompt ou das respostas do modelo.

Nota: O campo Tipo de automação mostra o tipo de modelo para o qual o modelo básico foi usado na sessão de interação de modelo. Os campos restantes são iguais aos detalhes da tabela do AI prompt log.

Detalhes da interação do modelo

Item da tabela Descrição
AI guardrail atribuída Exibe a proteção específica aplicada a cada sessão de IA.
Toxicidade Exibe o nível de toxicidade do prompt e da resposta.
Prompt Mostra o texto do prompt inserido pelo usuário no campo User prompt ao definir o prompt.
Resposta Mostra a resposta recebida do modelo, para a solicitação de prompt.
Quando um prompt é bloqueado por uma AI guardrail, esse evento é gravado no AI prompt log. Os logs incluem detalhes como o conteúdo do prompt, o nível de toxicidade avaliado e a ação executada. É importante observar que, se um prompt for bloqueado por uma proteção de solicitação, ele não chegará ao LLM.
  • Prompts permitidos: Se a pontuação de toxicidade do prompt estiver dentro dos limites aceitáveis, o registro incluirá a resposta do modelo, com todos os dados confidenciais mascarados. A pontuação de toxicidade da resposta e a ação de proteção executada na resposta também serão registradas.
  • Prompts bloqueados: Se um prompt for bloqueado por uma proteção (antes de chegar ao LLM) ou devido à sua pontuação de toxicidade, o log indicará explicitamente a ação da proteção executada, como Bloqueado por proteção.
  • Respostas bloqueadas: Se a resposta gerada pelo modelo for sinalizada por uma proteção, o registro mostrará a resposta mascarada, sua pontuação de toxicidade e a ação da proteção realizada nela, como Bloqueado por proteção.

Em geral, o líder de automação e o líder de GRC têm permissão para visualizar os detalhes adicionais das interações do modelo em cada sessão, pois monitoram os logs para conformidade e governança para garantir que as políticas sejam cumpridas ao usar modelos básicos nas automações.

Clique em Mais detalhes para visualizar parâmetros adicionais para a interação do modelo:
Nota: Este detalhamento adicional vai estar disponível para desenvolvedores profissionais somente se a permissão relevante for habilitada pelo administrador de automação ( Administração > Funções > Governança de IA > Exibir logs de prompt de IA > Exibir detalhes de prompt de IA). Caso contrário, eles poderão visualizar apenas os detalhes da sessão de primeiro nível.
Item da tabela Descrição
Duração da sessão Mostra a hora de início e término.
Editor Mostra o nome do provedor do modelo básico.
Modelo Mostra o nome da versão do modelo básico, por exemplo: GPT 3.5 Turbo para Azure OpenAI, VertexAI para Google Vertex AI, Claude para Amazon Bedrock e outros.
ID da sessão externa Mostra o ID da sessão de uma interação de modelo específica capturada em uma sessão. Uma única sessão pode consistir em diversas interações do modelo em uma única execução de automação. Você pode usar essas informações para acompanhar cada interação do modelo que ocorre em uma sessão.
Configurações de resposta Mostra os valores dos parâmetros usados para o prompt, como: Temperatura, Top P, Máx. de tokens, Penalidade de presença e outros. Esses parâmetros e os respectivos valores variam conforme o provedor do modelo.
Atributos de resposta Mostra os atributos com os valores da resposta.
Tipo de conexão do modelo Especifica o tipo de conexão do modelo. O Tipo de conexão do modelo pode ser um dos seguintes:
  • Padrão
  • Ajustado
  • Fundamentado em base de conhecimento
  • Fundamentado em armazenamento de dados
  • Baseado na Enterprise Knowledge
  • Fundamentado em pesquisa de IA
Dica: Para uma execução de automação, com múltiplas interações de modelo, é possível ver um painel expansível separado para cada chamada de modelo no log da sessão. Esse é um caso de uso típico para automações executadas para generative AI Packages.