Log do prompt de IA

O Log do prompt de IA é usado para auditar e monitorar interações com o modelo básico e oferece uma visão resumida consolidada de todas as sessões que ocorrem em uma execução de automação para interações de modelo.

Pode haver interações com vários modelos em uma sessão. Cada execução de automação recebe um ID da sessão que permite a agregação de todos os eventos em um único ID da sessão.

Ao clicar no link ID da sessão, você pode acessar uma visualização detalhada e específica da sessão. A exibição detalhada inclui prompts, respostas e outros parâmetros trocados com os modelos básicos.

Detalhes da tabela do Log do prompt de IA

Para acessar os logs de prompts, navegue até IA > Governança > Log de prompts de IA. A tabela do Log do prompt de IA classifica e exibe detalhes conforme estas colunas:

Atualizações do log de prompt de IA

um
Duração: Mostra a hora de início e término da execução de uma sessão.
Nota: Essa informação não estará disponível se a sessão estiver em andamento.
dois

Hora de início: Mostra a hora de início da execução da sessão.
três

ID da sessão: Mostra o ID da sessão para uma execução de automação. Uma sessão pode consistir em múltiplas interações de modelo, que fazem parte da mesma execução de automação. Clique no link ID da sessão para exibir detalhes de todas as interações do modelo para essa sessão.
quatro

Fonte: Mostra em que parte do produto esse prompt foi inserido.
cinco
Tipo de prompt: Mostra o tipo de prompt utilizado na automação. Os tipos incluem:
  • Forma livre (quando pacotes do IA generativa ou Co-Pilot for Automators são usados).
  • Habilidade de IA (quando Habilidades de IA de pacotes são usados).
seis

Nome da automação: Mostra o nome da automação que usou o prompt.
sete

Nome do dispositivo: Mostra o ID do dispositivo em que a automação foi executada.
oito

Usuário: Mostra o ID do usuário que executou a automação.
nove

Proteção de IA : Mostra a proteção específica aplicada a cada sessão de IA.
dez

Caminho da pasta: A localização da pasta da automação executada. Quando uma Habilidade de IA é integrada a uma automação (pai ou filho), o caminho da pasta exibido é o mesmo que o caminho da pasta da automação pai.

Detalhes de interação de sessão e modelo do Log do prompt de IA

Para ver mais informações sobre uma interação específica de IA, primeiro clique no ID da sessão na tabela Log do prompt de IA. Isso mostrará detalhes adicionais da sessão na mesma tela. A partir daí, você pode expandir o nome do modelo básico para ver os detalhes completos dessa interação.

Nota: O campo Tipo de automação mostra o tipo de modelo para o qual o modelo básico foi usado na sessão de interação de modelo. Os campos restantes são iguais aos detalhes da tabela do Log do prompt de IA.

Detalhes da interação do modelo

Item da tabela Descrição
Proteção de IA atribuída Exibe a proteção específica aplicada a cada sessão de IA.
Toxicidade Exibe o nível de toxicidade do prompt e da resposta.
Prompt Mostra o texto do prompt inserido pelo usuário no campo Prompt do usuário ao definir o prompt.
Resposta Mostra a resposta recebida do modelo, para a solicitação de prompt.
Quando um prompt é bloqueado por uma Proteção de IA, esse evento é gravado no Log do prompt de IA. Os logs incluem detalhes como o conteúdo do prompt, o nível de toxicidade avaliado e a ação executada. É importante observar que, se um prompt for bloqueado pela política de proteção, ele não chegará ao LLM.
  • Prompts permitidos: Se a pontuação de toxicidade do prompt estiver dentro dos limites aceitáveis, o registro incluirá a resposta do modelo, com todos os dados confidenciais mascarados. A pontuação de toxicidade da resposta e a ação de proteção executada na resposta também serão registradas.
  • Prompts bloqueados: Se um prompt for bloqueado por uma proteção (antes de chegar ao LLM) ou devido à sua pontuação de toxicidade, o log indicará explicitamente a ação da proteção executada, como Bloqueado por proteção.
  • Respostas bloqueadas: Se a resposta gerada pelo modelo for sinalizada por uma proteção, o registro mostrará a resposta mascarada, sua pontuação de toxicidade e a ação da proteção realizada nela, como Bloqueado por proteção.

Em geral, o líder de automação e o líder de GRC têm permissão para visualizar os detalhes adicionais das interações do modelo em cada sessão, pois monitoram os logs para conformidade e governança para garantir que as políticas sejam cumpridas ao usar modelos básicos nas automações.

Clique em Mais detalhes para visualizar parâmetros adicionais para a interação do modelo:
Nota: Esse detalhamento adicional estará disponível para desenvolvedores profissionais somente se a permissão relevante for habilitada pelo administrador de automação ( Exibir logs de governança de IA > Exibir detalhes do log de governança de IA). Se não, eles poderão visualizar apenas os detalhes da sessão de primeiro nível.
Item da tabela Descrição
Duração da sessão Mostra a hora de início e término.
Editor Mostra o nome do provedor do modelo básico.
Modelo Mostra o nome da versão do modelo básico, por exemplo: GPT 3.5 Turbo para Azure OpenAI, VertexAI para Google Vertex AI, Claude para Amazon Bedrock e outros.
ID da sessão externa Mostra o ID da sessão de uma interação de modelo específica capturada em uma sessão. Uma única sessão pode consistir em diversas interações do modelo em uma única execução de automação. Você pode usar essas informações para acompanhar cada interação do modelo que ocorre em uma sessão.
Configurações de resposta Mostra os valores dos parâmetros usados para o prompt, como: Temperatura, Top P, Máx. de tokens, Penalidade de presença e outros. Esses parâmetros e os respectivos valores variam conforme o provedor do modelo.
Atributos de resposta Mostra os atributos com os valores da resposta.
Tipo de conexão do modelo Especifica o tipo de conexão do modelo. O Tipo de conexão do modelo pode ser um dos seguintes:
  • Padrão
  • Ajustado
  • Fundamentado em base de conhecimento
  • Fundamentado em armazenamento de dados
  • Baseado na Enterprise Knowledge
  • Fundamentado em pesquisa de IA
Dica: Para uma execução de automação, com múltiplas interações de modelo, é possível ver um painel expansível separado para cada chamada de modelo no log da sessão. Esse é um caso de uso típico para automações executadas para IA generativa Pacotes.

Logs de prompt de Agentes de IA

Ao usar Agentes de IA, o Log do prompt de IA captura as interações entre o agente, o LLM e várias ferramentas associadas ao agente. A seguir estão os principais aspectos dessas interações:

Processo de tomada de decisão e seleção dinâmica de ferramentas:
o processo de tomada de decisão para escolher qual ferramenta usar para realizar uma operação é facilitado via AI Agent Studio. Os Agentes de IA escolhem ferramentas dinamicamente com base no contexto e nas instruções fornecidas ao LLM. Esse processo de seleção é registrado, mostrando quais ferramentas foram escolhidas e por quê.
Instruções para LLM
O registro captura as instruções enviadas ao LLM, incluindo a função, meta e ações. Isso inclui detalhes sobre ferramentas de sistema, ferramentas de estado final e ferramentas de usuário
Execução da ferramenta
O Log do prompt de IA acompanha a execução das ferramentas, incluindo a entrada fornecida à ferramenta e a saída recebida.
Avaliação do estado final
O LLM avalia o contexto e determina se o objetivo foi alcançado. O Log do prompt de IA registra essa avaliação e a decisão final, como recomendar uma ferramenta de sucesso.

Ao monitorar o Log do prompt de IA, você pode obter insights sobre como Agentes de IA estão tomando decisões, quais ferramentas estão sendo usadas e se os agentes estão alcançando seus objetivos.