Usar widgets de painel de AI Governance

Melhore sua experiência com o painel de AI Governance ao revisar dados para os widgets Top Automations using AI, Most used models, chamadas de modelo de IA generativa, Model utilization, Token consumption e Token consumption para visualizar, monitorar e analisar dados de IA derivados de interações de modelos durante o desenvolvimento e as execuções de automações em toda a sua empresa.

Permissões

Os leads de GRC, os leads de automação e os desenvolvedores profissionais podem usar o painel de AI Governance depois que o administrador de automação ativar as configurações necessárias. A configuração necessária é:
  • Funções > IA > Exibir painéis de IA
Nota:
Habilitar a configuração Exibir painéis de IA mostra o painel AI Governance. Para analisar mais a fundo e acessar os registros detalhados nas guias Log de prompt de IA e Log de eventos, estas configurações adicionais devem ser ativadas:
  • Funções > IA > Exibir logs de governança de IA > Exibir detalhes da governança de IA

Consulte Atribuir funções e permissões para habilitar AI Governance.

Widget Top Automations using AI

Este widget de painel apresenta um gráfico de barras que mostra as dez principais automações executadas com frequência que usam as interações de IA. Você pode ver o nome das dez principais automações e seu número de execuções nas últimas 24 horas. Passar o mouse sobre uma barra de automação no widget mostra um resumo com o nome da automação e o número total de execuções.

Clique no gráfico de barras para detalhar e exibir detalhes adicionais. Clicar em uma barra de automação direciona você até a guia AI > Governança de AI > Log de prompt de AI na Control Room, onde você pode visualizar uma lista de todas as execuções realizadas pela automação por sessões. Clicar em cada sessão mostra os detalhes. Você pode alterar o filtro de tempo nesta tela.

Consulte AI prompt log.

Nota: Você não verá os dados de configuração de parâmetros de texto de prompt, resposta de prompt e modelo nos detalhes da sessão de execução de automação se o desenvolvedor profissional tiver desabilitado o botão Registro de dados para uma AI Skill específica da tela AI Skills.

Widget Most used models

Os leads de GRC e de automação usariam este widget para monitorar e rastrear a Model utilization para os Most used models nas automações para gerenciar assinaturas de forma eficaz. Isso ajudará na implementação e no uso de modelos aprovados e suportados pelos fornecedores do hiperescalador.

O widget Most used models permite visualizar os cinco modelos mais utilizados nas automações usando o Package de Generative AI e o Package de AI Skills para executar automações no ambiente de produção.

Vamos revisar os detalhes do widget Most used models. Os dados estão em um formato de barra e classificados pelo nome da automação, nome do modelo do fornecedor do hiperescalador, nome do pacote e seu uso. Por padrão, o widget Most used models mostra dados para as últimas 24 horas. Cada barra representa o seguinte:
  • O nome da automação com o pacote usado, se ele usou os Packages de Generative AI ou o package de AI Skills
  • O modelo usado pelo fornecedor do hiperescalador, por exemplo: GPT-4 de OpenAI

Passe o mouse sobre uma barra para ver um resumo dos detalhes.

Clicar em um gráfico de barras direciona você até a guia IA > Governança de IA > Log de eventos na Control Room, onde você pode visualizar uma lista de logs filtrados pelo nome do modelo. Essa ação realiza uma pesquisa exata (por exemplo, “=GPT-3.5 (Turbo)”) desse modelo e exibe os registros de eventos associados, categorizados por tipo de evento. Os logs são exibidos por Tipo de evento. Clique em um Tipo de evento para ver detalhes adicionais das interações do modelo que ocorreram durante a execução da automação.

Consulte Event log.

  1. Além da opção de detalhamento do gráfico de barras, clique nas reticências no canto superior direito para selecionar Exibir detalhes e obter uma visualização detalhada.
  2. A tela do painel AI Governance exibe os detalhes da guia Model utilization.

Widget de chamadas do modelo de IA generativa

O widget Chamadas de modelo de IA generativa oferece uma visão do uso do modelo de IA generativa de sua organização. Este painel exibe os cinco modelos de IA generativa mais frequentemente chamados, com base no volume de prompts executados. Ele rastreia especificamente as chamadas feitas por automações executadas em espaços de trabalho públicos, abrangendo execuções bem-sucedidas e fracassadas, bem como execuções assistidas e não assistidas.

O widget exclui chamadas de conexão e autenticação, concentrando-se exclusivamente na execução de prompts dentro das ações de comando de IA generativa e nas ações de comando de AI Skill. É importante ressaltar que, se uma ação de comando estiver em um loop, cada execução de prompt dentro desse loop conta como uma chamada de modelo separada. Você pode selecionar uma janela de tempo para analisar as tendências de uso do modelo. Clique no nome de um modelo no widget para acessar o registro de eventos de AI Governance, pré-filtrado para mostrar todos os eventos associados a esse modelo específico, permitindo uma análise mais profunda e a solução de problemas.

Widget Model utilization

O widget Model utilization exibe as cinco principais automações. Por padrão, ele mostra dados das Últimas 24 horas, que podem ser alterados para um filtro de tempo diferente no topo da tela.

Clicar no nome de um modelo direciona você até a guia IA > Governança de IA > Log de eventos na Control Room, onde você pode visualizar uma lista de logs filtrados pelo nome do modelo. Essa ação realiza uma pesquisa exata (por exemplo, “=GPT-3.5 (Turbo)”) desse modelo e exibe os registros de eventos associados, categorizados por tipo de evento. Os logs são exibidos por Tipo de evento. Clique em um Tipo de evento para ver detalhes adicionais das interações do modelo que ocorreram durante a execução da automação.

Exporte relatórios com base nos dados representados no widget clicando em Exportar itens para .csv.

Ao clicar em Ver mais para ver toda a utilização do modelo, a tela de detalhes de Model utilization para Most used models é exibida. A tabela a seguir apresenta detalhes de cada uma das colunas:

Tabela 1. Tela de detalhes Model utilization para os Most used models
Cabeçalho da coluna Descrição
Nome do modelo Este é o modelo usado em uma automação específica, como o GPT-4 de OpenAI. Você pode clicar no modelo para ir até a guia IA > Governança de AI > Log de eventos na Control Room, onde você pode visualizar todos os logs filtrados pelo nome do modelo.

Consulte Event log.
Editor Fornecedor de hiperescalador compatível, como Amazon Bedrock, Google Vertex AI, Azure OpenAI ou OpenAI.
Automações Número de ações de comando de generative AI usadas em execuções de automação usando o Package de Generative AI e o Package de AI Skills.
AI Skills Número de automações de chamadas executadas usando AI Skills.
Chamadas de modelo Número de chamadas feitas para o modelo.
Dispositivos Número de dispositivos usados durante a interação com o modelo.

Widget Token consumption

O widget Token consumption permite visualizar suas principais automações que consomem o maior número de tokens agregados por modelo. Para derivar a contagem total de Token consumption de um modelo, as métricas são calculadas com base no nome da automação, no caminho da pasta e no nome do modelo do fornecedor do hiperescalador. Passe o mouse sobre uma barra no widget para ver os detalhes de Token consumption de uma automação específica.

Por padrão, o widget Token consumption mostra dados das Últimas 24 horas, que podem ser alterados para um filtro de tempo diferente no topo da tela.

Os leads de GRC e de automação usariam esse widget para monitorar e rastrear o uso de tokens dos modelos durante suas interações e execução em automações a fim de gerenciar com eficácia o custo e a assinatura. Isso vai ajudar a projetar o Token consumption com base na preferência do modelo.

Widget de detalhes de Token consumption

O widget de detalhes de Token consumption exibe as cinco principais automações. Por padrão, ele mostra dados das Últimas 24 horas, que podem ser alterados para um filtro de tempo diferente no topo da tela.

Nota: Você pode filtrar a tabela Detalhes de consumo de token com base no nome da automação, caminho da pasta, editor, nome do modelo ou área de trabalho. Para pesquisar a frase exata, coloque a frase de pesquisa entre aspas duplas (por exemplo, “Amazon Bedrock”)

Exporte relatórios com base nos dados representados no widget clicando em Exportar itens para .csv.

Ao clicar em Ver mais para ver todo o consumo de tokens, a tela de detalhes do Token consumption é exibida. A tabela a seguir apresenta detalhes de cada uma das colunas:

Tabela 2. Tela de detalhes de Token consumption
Cabeçalho da coluna Descrição
Nome da automação O nome da automação que foi executada. Você pode clicar no nome para ir até a guia IA > Governança de AI > Log de prompt de AI na Control Room, onde você pode visualizar todos os logs filtrados pelo nome da automação.

Consulte AI prompt log.
Caminho de pasta A localização da pasta da automaçãoonde aconteceu a execução.
Editor Fornecedor de hiperescalador compatível, como Amazon Bedrock, Google Vertex AI, Azure OpenAI ou OpenAI.
Nome do modelo Este é o modelo usado em uma automação específica, como o GPT-4 de OpenAI.
Usuários Número de usuários.
Espaço de trabalho Pode ser a pasta Privada ou Pública de onde a automação foi executada.
AI Skills Número de AI Skills usadas na automação.
Tokens Contagem total de tokens usados pelo modelo.