Usar widgets de painel de Governança de IA

Melhore sua experiência com o painel de Governança de IA ao revisar dados para os widgets Principais automações usando IA, Modelos mais usados, chamadas de modelo de IA generativa, Utilização do modelo, Consumo de tokens e Consumo de tokens para visualizar, monitorar e analisar dados de IA derivados de interações de modelos durante o desenvolvimento e as execuções de automações em toda a sua empresa.

Permissões

Os leads de GRC, os leads de automação e os desenvolvedores profissionais usariam o painel de Governança de IA por meio destas configurações que precisam ser habilitadas pelo administrador de automação:
  • Funções > IA > Exibir painéis de IA
  • Funções > IA > Exibir logs de prompt de IA > Exibir detalhes do log de prompt de IA
  • Funções > IA > Exibir logs do evento de IA > Exibir detalhes do log do evento de IA
Nota:
Habilitar a configuração Exibir painéis de IA mostra o painel de Governança de IA. Para detalhar ainda mais e acessar logs detalhados nas guias Log de prompt de IA e Log de eventos, estas configurações adicionais devem ser habilitadas:
  • IA > Exibir logs de prompt de IA > Exibir detalhes de prompt de IA
  • IA > Exibir logs do evento de IA > Exibir detalhes do evento de IA

Consulte Atribuir funções e permissões para habilitar Governança de IA.

Widget Principais automações usando IA

Este widget de painel apresenta um gráfico de barras que mostra as dez principais automações executadas com frequência que usam as interações de IA. Você pode ver o nome das dez principais automações e seu número de execuções nas últimas 24 horas. Passar o mouse sobre uma barra de automação no widget mostra um resumo com o nome da automação e o número total de execuções.

Clique no gráfico de barras para detalhar e exibir detalhes adicionais. Clicar em uma barra de automação direciona você até a guia AI > Governança de AI > Log de prompt de AI na Control Room, onde você pode visualizar uma lista de todas as execuções realizadas pela automação por sessões. Clicar em cada sessão mostra os detalhes. Você pode alterar o filtro de tempo nesta tela.

Consulte Log do prompt de IA.

Nota: Você não verá os dados de configuração de parâmetros de texto de prompt, resposta de prompt e modelo nos detalhes da sessão de execução de automação se o desenvolvedor profissional tiver desabilitado o botão Registro de dados para uma Habilidade de IA específica da tela Habilidades de IA.

Widget Modelos mais usados

Os leads de GRC e de automação usariam este widget para monitorar e rastrear a Utilização do modelo para os Modelos mais usados nas automações para gerenciar assinaturas de forma eficaz. Isso ajudará na implementação e no uso de modelos aprovados e suportados pelos fornecedores do hiperescalador.

O widget Modelos mais usados permite visualizar os cinco modelos mais utilizados nas automações usando o Pacote de IA generativa e o Pacote de Habilidades de IA para executar automações no ambiente de produção.

Vamos revisar os detalhes do widget Modelos mais usados. Os dados estão em um formato de barra e classificados pelo nome da automação, nome do modelo do fornecedor do hiperescalador, nome do pacote e seu uso. Por padrão, o widget Modelos mais usados mostra dados para as últimas 24 horas. Cada barra representa o seguinte:
  • O nome da automação com o pacote usado, se ele usou os Pacotes de IA generativa ou o pacote de Habilidades de IA
  • O modelo usado pelo fornecedor do hiperescalador, por exemplo: GPT-4 de OpenAI

Passe o mouse sobre uma barra para ver um resumo dos detalhes.

Clicar em um gráfico de barras direciona você até a guia IA > Governança de IA > Log de eventos na Control Room, onde você pode visualizar uma lista de logs filtrados pelo nome do modelo. Essa ação realiza uma pesquisa exata (por exemplo, “=GPT-3.5 (Turbo)”) desse modelo e exibe os registros de eventos associados, categorizados por tipo de evento. Os logs são exibidos por Tipo de evento. Clique em um Tipo de evento para ver detalhes adicionais das interações do modelo que ocorreram durante a execução da automação.

Consulte Log de eventos.

  1. Além da opção de detalhamento do gráfico de barras, clique nas reticências no canto superior direito para selecionar Exibir detalhes e obter uma visualização detalhada.
  2. A tela do painel Governança de IA exibe os detalhes da guia Utilização do modelo.

Widget de chamadas do modelo de IA generativa

O widget Chamadas de modelo de IA generativa oferece uma visão do uso do modelo de IA generativa de sua organização. Este painel exibe os cinco modelos de IA generativa mais frequentemente chamados, com base no volume de prompts executados. Ele rastreia especificamente as chamadas feitas por automações executadas em espaços de trabalho públicos, abrangendo execuções bem-sucedidas e fracassadas, bem como execuções assistidas e não assistidas.

O widget exclui chamadas de conexão e autenticação, concentrando-se exclusivamente na execução de prompts dentro das ações de comando de IA generativa e nas ações de comando de Habilidade de IA. É importante ressaltar que, se uma ação de comando estiver em um loop, cada execução de prompt dentro desse loop conta como uma chamada de modelo separada. Você pode selecionar uma janela de tempo para analisar as tendências de uso do modelo. Clique no nome de um modelo no widget para acessar o registro de eventos de Governança de IA, pré-filtrado para mostrar todos os eventos associados a esse modelo específico, permitindo uma análise mais profunda e a solução de problemas.

Widget Utilização do modelo

O widget Utilização do modelo exibe as cinco principais automações. Por padrão, ele mostra dados das Últimas 24 horas, que podem ser alterados para um filtro de tempo diferente no topo da tela.

Clicar no nome de um modelo direciona você até a guia IA > Governança de IA > Log de eventos na Control Room, onde você pode visualizar uma lista de logs filtrados pelo nome do modelo. Essa ação realiza uma pesquisa exata (por exemplo, “=GPT-3.5 (Turbo)”) desse modelo e exibe os registros de eventos associados, categorizados por tipo de evento. Os logs são exibidos por Tipo de evento. Clique em um Tipo de evento para ver detalhes adicionais das interações do modelo que ocorreram durante a execução da automação.

Exporte relatórios com base nos dados representados no widget clicando em Exportar itens para .csv.

Ao clicar em Ver mais para ver toda a utilização do modelo, a tela de detalhes de Utilização do modelo para Modelos mais usados é exibida. A tabela a seguir apresenta detalhes de cada uma das colunas:

Tabela 1. Tela de detalhes Utilização do modelo para os Modelos mais usados
Cabeçalho da coluna Descrição
Nome do modelo Este é o modelo usado em uma automação específica, como o GPT-4 de OpenAI. Você pode clicar no modelo para ir até a guia IA > Governança de AI > Log de eventos na Control Room, onde você pode visualizar todos os logs filtrados pelo nome do modelo.

Consulte Log de eventos.
Editor Fornecedor de hiperescalador compatível, como Amazon Bedrock, Google Vertex AI, Azure OpenAI ou OpenAI.
Automações Número de ações de comando de IA generativa usadas em execuções de automação usando o Pacote de IA generativa e o Pacote de Habilidades de IA.
Habilidades de IA Número de automações de chamadas executadas usando Habilidades de IA.
Chamadas de modelo Número de chamadas feitas para o modelo.
Dispositivos Número de dispositivos usados durante a interação com o modelo.

Widget Consumo de tokens

O widget Consumo de tokens permite visualizar suas principais automações que consomem o maior número de tokens agregados por modelo. Para derivar a contagem total de Consumo de tokens de um modelo, as métricas são calculadas com base no nome da automação, no caminho da pasta e no nome do modelo do fornecedor do hiperescalador. Passe o mouse sobre uma barra no widget para ver os detalhes de Consumo de tokens de uma automação específica.

Por padrão, o widget Consumo de tokens mostra dados das Últimas 24 horas, que podem ser alterados para um filtro de tempo diferente no topo da tela.

Os leads de GRC e de automação usariam esse widget para monitorar e rastrear o uso de tokens dos modelos durante suas interações e execução em automações a fim de gerenciar com eficácia o custo e a assinatura. Isso vai ajudar a projetar o Consumo de tokens com base na preferência do modelo.

Widget de detalhes de Consumo de tokens

O widget de detalhes de Consumo de tokens exibe as cinco principais automações. Por padrão, ele mostra dados das Últimas 24 horas, que podem ser alterados para um filtro de tempo diferente no topo da tela.

Nota: Você pode filtrar a tabela Detalhes de consumo de token com base no nome da automação, caminho da pasta, editor, nome do modelo ou área de trabalho. Para pesquisar a frase exata, coloque a frase de pesquisa entre aspas duplas (por exemplo, “Amazon Bedrock”)

Exporte relatórios com base nos dados representados no widget clicando em Exportar itens para .csv.

Ao clicar em Ver mais para ver todo o consumo de tokens, a tela de detalhes do Consumo de tokens é exibida. A tabela a seguir apresenta detalhes de cada uma das colunas:

Tabela 2. Tela de detalhes de Consumo de tokens
Cabeçalho da coluna Descrição
Nome da automação O nome da automação que foi executada. Você pode clicar no nome para ir até a guia IA > Governança de AI > Log de prompt de AI na Control Room, onde você pode visualizar todos os logs filtrados pelo nome da automação.

Consulte Log do prompt de IA.
Caminho de pasta A localização da pasta da automaçãoonde aconteceu a execução.
Editor Fornecedor de hiperescalador compatível, como Amazon Bedrock, Google Vertex AI, Azure OpenAI ou OpenAI.
Nome do modelo Este é o modelo usado em uma automação específica, como o GPT-4 de OpenAI.
Usuários Número de usuários.
Espaço de trabalho Pode ser a pasta Privada ou Pública de onde a automação foi executada.
Habilidades de IA Número de Habilidades de IA usadas na automação.
Tokens Contagem total de tokens usados pelo modelo.