Usar widgets de painel de Governança de IA

Melhore sua experiência de painel de Governança de IA revisando dados para os widgets Principais automações usando IA, Modelos mais usados e Consumo de tokens para visualizar, monitorar e analisar dados de IA derivados de interações de modelos durante o desenvolvimento de automação e execuções de automações em toda a sua empresa.

Permissões

Os leads de GRC, os leads de automação e os desenvolvedores profissionais usariam o painel de Governança de IA por meio destas configurações que precisam ser habilitadas pelo administrador de automação:
  • Funções > IA > Exibir painéis de IA
  • Funções > IA > Exibir logs de prompt de IA > Exibir detalhes do log de prompt de IA
  • Funções > IA > Exibir logs do evento de IA > Exibir detalhes do log do evento de IA
Nota:
Habilitar a configuração Exibir painéis de IA mostra o painel de Governança de IA. Para detalhar ainda mais e acessar logs detalhados nas guias Log de prompt de IA e Log de eventos, estas configurações adicionais devem ser habilitadas:
  • IA > Exibir logs de prompt de IA > Exibir detalhes de prompt de IA
  • IA > Exibir logs do evento de IA > Exibir detalhes do evento de IA

Consulte Atribuir funções e permissões para habilitar Governança de IA.

Widget Principais automações usando IA

Este widget de painel apresenta um gráfico de barras que mostra as dez principais automações executadas com frequência que usam as interações de IA. Você pode ver o nome das dez principais automações e seu número de execuções nas últimas 24 horas. Passar o mouse sobre uma barra de automação no widget mostra um resumo com o nome da automação e o número total de execuções.

Widget Principais automações usando IA

Detalhar:

Clique no gráfico de barras para detalhar e exibir detalhes adicionais. Clicar em uma barra de automação direciona você até a guia AI > Governança de AI > Log de prompt de AI na Control Room, onde você pode visualizar uma lista de todas as execuções realizadas pela automação por sessões. Clicar em cada sessão mostra os detalhes. Você pode alterar o filtro de tempo nesta tela.

Consulte Monitorar interações de Log do prompt de IA.

Nota: Você não verá os dados de configuração de parâmetros de texto de prompt, resposta de prompt e modelo nos detalhes da sessão de execução de automação se o desenvolvedor profissional tiver desabilitado o botão Registro de dados para uma Habilidade de IA específica da tela Habilidades de IA.

Widget Modelos mais usados

Os leads de GRC e de automação usariam este widget para monitorar e rastrear a Utilização do modelo para os Modelos mais usados nas automações para gerenciar assinaturas de forma eficaz. Isso ajudará na implementação e no uso de modelos aprovados e suportados pelos fornecedores do hiperescalador.

O widget Modelos mais usados permite visualizar os cinco modelos mais utilizados nas automações usando o Pacote de IA generativa e o Pacote de Habilidades de IA para executar automações no ambiente de produção.

Widget Modelos mais usados

Vamos revisar os detalhes do widget Modelos mais usados. Os dados estão em um formato de barra e classificados pelo nome da automação, nome do modelo do fornecedor do hiperescalador, nome do pacote e seu uso. Por padrão, o widget Modelos mais usados mostra dados para as últimas 24 horas. Cada barra representa o seguinte:
  • O nome da automação com o pacote usado, se ele usou os Pacotes de IA generativa ou o pacote de Habilidades de IA
  • O modelo usado pelo fornecedor do hiperescalador, por exemplo: GPT-4 de OpenAI

Passe o mouse sobre uma barra para ver um resumo dos detalhes.

Detalhar:

Clique em um gráfico de barras para detalhar e exibir os detalhes adicionais, além da lista completa dos modelos mais usados de fornecedores de hiperescaladores. Clicar na barra direciona você até a guia IA > Governança de AI > Log de eventos na Control Room, onde você pode visualizar uma lista de logs filtrados pelo nome do modelo. Os logs são exibidos por Tipo de evento. Clique em um Tipo de evento para ver detalhes adicionais das interações do modelo que ocorreram durante a execução da automação.

Consulte Monitoramento Logs de eventos.

  1. Além da opção de detalhamento do gráfico de barras, clique nas reticências no canto superior direito para selecionar Exibir detalhes e obter uma visualização detalhada.
  2. A tela do painel Governança de IA exibe os detalhes da guia Utilização do modelo.
Tela Exibir detalhes

A visualização de detalhes de Utilização do modelo para os Modelos mais usados exibe as cinco principais automações no visual, além de toda a lista de detalhes de automação na tabela, conforme mostrado a seguir. Você pode alterar o filtro de tempo nesta tela.

Exporte relatórios com base nos dados representados no widget clicando em Exportar > Exportar como csv ou Exportar > Exportar como PDF na tela.

detalhes de Utilização do modelo para os Modelos mais usados

Tabela 1. Tela de detalhes Utilização do modelo para os Modelos mais usados
Cabeçalho da coluna Descrição
Nome do modelo Este é o modelo usado em uma automação específica, como o GPT-4 de OpenAI. Você pode clicar no modelo para ir até a guia IA > Governança de AI > Log de eventos na Control Room, onde você pode visualizar todos os logs filtrados pelo nome do modelo.

Consulte Monitoramento Logs de eventos.
Editor Fornecedor de hiperescalador compatível, como Amazon Bedrock, Google Vertex AI, Azure OpenAI ou OpenAI.
Automações Número de ações de comando de IA generativa usadas em execuções de automação usando o Pacote de IA generativa e o Pacote de Habilidades de IA.
Habilidades de IA Número de automações de chamadas executadas usando Habilidades de IA.
Chamadas de modelo Número de chamadas feitas para o modelo.
Dispositivos Número de dispositivos usados durante a interação com o modelo.

Widget Consumo de tokens

O widget Consumo de tokens permite visualizar suas principais automações que consomem o maior número de tokens agregados por modelo. Para derivar a contagem total de Consumo de tokens de um modelo, as métricas são calculadas com base no nome da automação, no caminho da pasta e no nome do modelo do fornecedor do hiperescalador. Passe o mouse sobre uma barra no widget para ver os detalhes de Consumo de tokens de uma automação específica.

Widget Consumo de tokens

Por padrão, o widget Consumo de tokens mostra dados das Últimas 24 horas, que podem ser alterados para um filtro de tempo diferente na tela de detalhes do widget.

Os leads de GRC e de automação usariam este widget para monitorar e rastrear o uso de tokens dos modelos durante suas interações e execuções nas automações para gerenciar efetivamente o custo e a assinatura. Isso vai ajudar a projetar o Consumo de tokens com base na preferência do modelo.

Nota: Logs de Consumo de tokens para os modelos Amazon Bedrock não são exibidos no widget Consumo de tokens e na tela Exibir detalhes. Os campos relevantes são exibidos com o valor "0". Este é um comportamento conhecido do produto.
O widget Consumo de tokens não oferece uma visualização detalhada. No entanto, você pode clicar nas reticências no canto superior direito para selecionar Exibir detalhes para ver detalhes adicionais de Consumo de tokens para os modelos mais usados, além da lista completa de modelos usados em automações e seu Consumo de tokens.
  1. Navegue até as reticências no canto superior direito de cada widget e clique para selecionar Exibir detalhes para obter uma visualização detalhada.
  2. A tela do painel Governança de IA exibe os detalhes da guia Consumo de tokens.
Tela Exibir detalhes

A visualização de detalhes de Consumo de tokens exibe as cinco principais automações no visual, além de toda a lista de detalhes de automação na tabela, conforme mostrado a seguir. Você pode alterar o filtro de tempo nesta tela.

Exporte relatórios com base nos dados representados no widget clicando em Exportar > Exportar como csv ou Exportar > Exportar como PDF na tela.

Detalhes de Consumo de tokens para modelos

Tabela 2. Tela de detalhes de Consumo de tokens
Cabeçalho da coluna Descrição
Nome da automação O nome da automação que foi executada. Você pode clicar no nome para ir até a guia IA > Governança de AI > Log de prompt de AI na Control Room, onde você pode visualizar todos os logs filtrados pelo nome da automação.

Consulte Monitorar interações de Log do prompt de IA.
Caminho de pasta A localização da pasta da automaçãoonde aconteceu a execução.
Editor Fornecedor de hiperescalador compatível, como Amazon Bedrock, Google Vertex AI, Azure OpenAI ou OpenAI.
Nome do modelo Este é o modelo usado em uma automação específica, como o GPT-4 de OpenAI.
Usuários Número de usuários.
Espaço de trabalho Pode ser a pasta Privada ou Pública de onde a automação foi executada.
Habilidades de IA Número de Habilidades de IA usadas na automação.
Tokens Contagem total de tokens usados pelo modelo.

Você pode exportar relatórios com base nos dados apresentados no widget clicando em Exportar > Exportar como csv ou Exportar > Exportar como PDF na tela.