Monitorar interações de Log de eventos

O Log de eventos apresenta um resumo visual de todos os eventos que ocorrem durante uma sessão de interação do modelo.

Pode haver vários eventos em uma sessão com a possibilidade de consultar detalhes de um evento específico. Por exemplo: detalhes de conexão bem-sucedida a modelos de base, envio de prompts e recebimento de respostas, sessões com falha ou êxito, uso de token e outros detalhes de eventos. A capacidade de monitorar e visualizar esses detalhes permite analisar os dados e tomar medidas preventivas proativamente para segurança, governança e conformidade dos dados.

Detalhes da tabela do Log de eventos

Você pode refinar sua pesquisa por parâmetros disponíveis, como ID de sessão, para visualizar todos os tipos de eventos específicos da sessão selecionada.

Nota: Use o cursor para passar sobre os ícones de ação para identificar funções específicas.

A tabela do Log de eventos classifica e exibe detalhes conforme estas colunas:

Log de eventos detalhes da tabela

um

Status: Mostra se um evento teve falha ou êxito.

dois

Horário: Mostra a hora de início do evento.

três

Tipo de evento: Mostra o tipo de cada sessão, como: Enviar prompt, Resposta recebida, Conexão de modeloe Acionar modelo de prompt.

Você pode clicar no link Tipo de evento para detalhar e visualizar detalhes adicionais do evento.

quatro

Nome do modelo: Mostra o nome da versão do modelo de base com o qual houve interação, por exemplo: Claude para Amazon Bedrock, VertexAI para Google Vertex AI, GPT 3.5 Turbo para Azure OpenAI e outros.

cinco
Tipo de prompt: Mostra o tipo de prompt utilizado na automação. Estes são:
  • Logs de prompt de Formato livre capturados para todos os IA generativa Pacotes.
  • Logs de prompt de Modelo de prompt capturados para Modelos de prompt.
seis

Nome da automação: Mostra o nome da automação que usou um prompt específico.

sete

ID da sessão: Mostra o ID da sessão de automação.

oito

Nome do dispositivo: Mostra o ID do dispositivo em que a automação foi executada.

nove

Usuário: Mostra o ID do usuário que executou a automação.

dez

Proteções para IA : Mostra a proteção específica aplicada a cada evento.

onze

Caminho da pasta: O local da pasta da automação em que ocorreu a execução.

Logs de tipos de eventos compatíveis

Os logs de tipo de evento a seguir são capturados para todas as interações de modelo em uma automação.
  • Conexão de modelo
  • Enviar prompt
  • Resposta recebida
  • Gatilho Modelo de prompt

Na coluna Tipo de evento, clique no link para detalhar ainda mais a visualização do evento pelos parâmetros a seguir. Os detalhes variam conforme o tipo de evento. Na mesma tela, visualize diferentes parâmetros para cada tipo de evento.

Detalhes do Log de eventos

Nota: O campo Tipo de automação mostra o tipo de automação usado na sessão de interação do modelo. Os campos restantes são iguais aos detalhes da tabela do Log de eventos.

Logs de formato livre (gerados ao usar IA generativa Pacotes) são capturados para automações executadas com IA generativa Pacotes e são compatíveis com os tipos de eventos Conexões de modelo, Enviar prompt e Resposta recebida.

Cada evento exibe o seguinte:
  • Status: Indica se a conexão com o modelo foi estabelecida com sucesso.
  • Tipo de evento: Classifica o evento como uma Conexão de modelo.
  • Horário: Especifica o registro de data/hora da tentativa de conexão.
  • Tipo de prompt: Identifica o tipo de prompt usado.
  • Nome do modelo: Especifica o nome do modelo de linguagem usado. Por exemplo: GPT-4.
  • ID da sessão: Um identificador único para a sessão de conexão.
  • Nome da automação indica o nome da automação.
  • Nome do dispositivo: Especifica o dispositivo associado à automação.
  • Usuário: Identifica o usuário que iniciou a automação.
  • Tipo de automação: Categoriza o tipo de automação. Como Task Bot, Tarefa de API.
  • Proteções de IA atribuídas Indica se alguma Proteções de IA foi atribuído.
  • Tipo de conexão do modelo: Especifica o tipo de conexão do modelo. O Tipo de conexão do modelo pode ser um dos seguintes:
    • Padrão
    • Ajustado
    • Fundamentado em base de conhecimento
    • Fundamentado em armazenamento de dados
    • Baseado na Enterprise Knowledge
    • Fundamentado em pesquisa de IA

Vamos examinar os parâmetros de tipo de evento compatíveis.

Conexão de modelo
  • Editor: Mostra o nome do editor do modelo de base, como Amazon Bedrock, Google Vertex AI, Azure OpenAI, OpenAI e outros.
  • Modo de conexão: Mostra o tipo de conexão usado para conectar a um modelo. Por exemplo: Amazon Bedrock, Azure OpenAI e OpenAI se conectam usando chaves de API. O Google Vertex AI se conecta com uma Conta de usuário, Conta de serviço ou Conexão OAuth da Control Room.
Enviar prompt
  • Toxicidade: Mostra a pontuação de toxicidade de todo o prompt (Prompt do sistema e prompt do usuário).
  • Prompt do sistema: Mostra o texto completo do prompt do sistema inserido pelo usuário.
  • Prompt do usuário: Mostra o texto completo do prompt do usuário inserido pelo usuário.
  • Clique em Mais detalhes para ver as seguintes informações:
    • Editor: Mostra o nome do editor do modelo de base, como Amazon Bedrock, Google Vertex AI, Azure OpenAI, OpenAI e outros.
    • Configuração de solicitação: Mostra os valores dos parâmetros usados para o prompt, como: Máximo de tokens, Top P, Temperatura e outros. Esses parâmetros variam para diferentes modelos.
Resposta recebida
  • Toxicidade: Mostra a pontuação de toxicidade de todo o prompt (Prompt do sistema e prompt do usuário) e a pontuação de toxicidade da resposta recebida.
  • Prompt do sistema: Mostra o texto completo do prompt do sistema inserido pelo usuário.
  • Prompt do usuário: Mostra o texto completo do prompt do usuário inserido pelo usuário.
  • Resposta: Mostra a resposta recebida do modelo.
  • Clique em Mais detalhes para visualizar informações adicionais sobre os Tokens consumidos: Mostra o número de tokens consumidos pela interação do modelo. Isso ajuda a controlar os tokens consumidos e o equilíbrio.
Gatilho do Habilidade de IA
  • Detalhes da habilidade de IA do acionador: Mostra os detalhes do prompt usado ao testar a conexão de modelo.