Usar widgets de painel de Governança de IA

Melhore sua experiência de painel de Governança de IA revisando dados para os widgets Principais automações usando IA, Modelos mais usados e Consumo de tokens para visualizar, monitorar e analisar dados de IA derivados de interações de modelos durante o desenvolvimento de automação e execuções de automações em toda a sua empresa.

Permissões

Os leads de GRC, os leads de automação e os desenvolvedores profissionais usariam o painel de Governança de IA por meio destas configurações que precisam ser habilitadas pelo administrador de automação:
  • Funções > IA > Exibir painéis de IA
  • Funções > IA > Exibir logs de prompt de IA > Exibir detalhes do log de prompt de IA
  • Funções > IA > Exibir logs do evento de IA > Exibir detalhes do log do evento de IA
Nota:
Habilitar a configuração Exibir painéis de IA mostra o painel de Governança de IA. Para detalhar ainda mais e acessar logs detalhados nas guias Log de prompt de IA e Log de eventos, estas configurações adicionais devem ser habilitadas:
  • IA > Exibir logs de prompt de IA > Exibir detalhes de prompt de IA
  • IA > Exibir logs do evento de IA > Exibir detalhes do evento de IA

Consulte Atribuir funções e permissões para habilitar Governança de IA.

Widget Principais automações usando IA

Este widget de painel apresenta um gráfico de barras que mostra as dez principais automações executadas com frequência que usam as interações de IA. Você pode ver o nome das dez principais automações e seu número de execuções nas últimas 24 horas. Passar o mouse sobre uma barra de automação no widget mostra um resumo com o nome da automação e o número total de execuções.

Widget Principais automações usando IA

Detalhar:

Clique no gráfico de barras para detalhar e exibir detalhes adicionais. Clicar em uma barra de automação direciona você até a guia AI > Governança de AI > Log de prompt de AI na Control Room, onde você pode visualizar uma lista de todas as execuções realizadas pela automação por sessões. Clicar em cada sessão mostra os detalhes. Você pode alterar o filtro de tempo nesta tela.

Consulte Monitorar interações de Log do prompt de IA.

Nota: Você não verá os dados de configuração de parâmetros de texto de prompt, resposta de prompt e modelo nos detalhes da sessão de execução de automação se o desenvolvedor profissional tiver desabilitado o botão Registro de dados para uma Habilidade de IA específica da tela Habilidades de IA.

Widget Modelos mais usados

Os leads de GRC e de automação usariam este widget para monitorar e rastrear a Utilização do modelo para os Modelos mais usados nas automações para gerenciar assinaturas de forma eficaz. Isso ajudará na implementação e no uso de modelos aprovados e suportados pelos fornecedores do hiperescalador.

O widget Modelos mais usados permite visualizar os cinco modelos mais utilizados nas automações usando o Pacote de IA generativa e o Pacote de Habilidades de IA para executar automações no ambiente de produção.

Widget Modelos mais usados

Vamos revisar os detalhes do widget Modelos mais usados. Os dados estão em um formato de barra e classificados pelo nome da automação, nome do modelo do fornecedor do hiperescalador, nome do pacote e seu uso. Por padrão, o widget Modelos mais usados mostra dados para as últimas 24 horas. Cada barra representa o seguinte:
  • O nome da automação com o pacote usado, se ele usou os Pacotes de IA generativa ou o pacote de Habilidades de IA
  • O modelo usado pelo fornecedor do hiperescalador, por exemplo: GPT-4 de OpenAI

Passe o mouse sobre uma barra para ver um resumo dos detalhes.

Detalhar:

Clique em um gráfico de barras para detalhar e exibir os detalhes adicionais, além da lista completa dos modelos mais usados de fornecedores de hiperescaladores. Clicar na barra direciona você até a guia IA > Governança de AI > Log de eventos na Control Room, onde você pode visualizar uma lista de logs filtrados pelo nome do modelo. Os logs são exibidos por Tipo de evento. Clique em um Tipo de evento para ver detalhes adicionais das interações do modelo que ocorreram durante a execução da automação.

Consulte Monitorar interações de Log de eventos.

  1. Além da opção de detalhamento do gráfico de barras, clique nas reticências no canto superior direito para selecionar Exibir detalhes e obter uma visualização detalhada.
  2. A tela do painel Governança de IA exibe os detalhes da guia Utilização do modelo.

Widget de chamadas do modelo de IA generativa

O widget Chamadas de modelo de IA generativa oferece uma visão do uso do modelo de IA generativa de sua organização. Este painel exibe os cinco modelos de IA generativa mais frequentemente chamados, com base no volume de prompts executados. Ele rastreia especificamente as chamadas feitas por automações executadas em espaços de trabalho públicos, abrangendo execuções bem-sucedidas e fracassadas, bem como execuções assistidas e não assistidas.

O widget exclui chamadas de conexão e autenticação, concentrando-se exclusivamente na execução de prompts dentro das ações de comando de IA generativa e nas ações de comando de Habilidade de IA. É importante ressaltar que, se uma ação de comando estiver em um loop, cada execução de prompt dentro desse loop conta como uma chamada de modelo separada. Você pode selecionar uma janela de tempo para analisar as tendências de uso do modelo. Clique no nome de um modelo no widget para acessar o registro de eventos de Governança de IA, pré-filtrado para mostrar todos os eventos associados a esse modelo específico, permitindo uma análise mais profunda e a solução de problemas.

Widget Utilização do modelo

O widget Utilização do modelo exibe as cinco principais automações. Clique em Ver mais para ver todas as automações. Por padrão, ele mostra dados das Últimas 24 horas, que podem ser alterados para um filtro de tempo diferente no topo da tela.

Nota: Você pode filtrar a tabela Utilização do modelo com base em modelos ou editores específicos. Para pesquisar a frase exata, inclua a frase de busca em aspas duplas (por exemplo, "GPT")

Exporte relatórios com base nos dados representados no widget clicando em Exportar itens para .csv.

Detalhes de Utilização do modelo para Modelos mais usados

Widget Consumo de tokens

O widget Consumo de tokens permite visualizar suas principais automações que consomem o maior número de tokens agregados por modelo. Para derivar a contagem total de Consumo de tokens de um modelo, as métricas são calculadas com base no nome da automação, no caminho da pasta e no nome do modelo do fornecedor do hiperescalador. Passe o mouse sobre uma barra no widget para ver os detalhes de Consumo de tokens de uma automação específica.

Widget Consumo de tokens

Por padrão, o widget Consumo de tokens mostra dados das Últimas 24 horas, que podem ser alterados para um filtro de tempo diferente no topo da tela.

Os leads de GRC e de automação usariam esse widget para monitorar e rastrear o uso de tokens dos modelos durante suas interações e execução em automações a fim de gerenciar com eficácia o custo e a assinatura. Isso vai ajudar a projetar o Consumo de tokens com base na preferência do modelo.

Widget de detalhes de Consumo de tokens

O widget de detalhes de Consumo de tokens exibe as cinco principais automações. Clique em Ver mais para ver todas as automações. Por padrão, ele mostra dados das Últimas 24 horas, que podem ser alterados para um filtro de tempo diferente no topo da tela.

Nota: Você pode filtrar a tabela Detalhes de consumo de token com base no nome da automação, caminho da pasta, editor, nome do modelo ou área de trabalho. Para pesquisar a frase exata, coloque a frase de pesquisa entre aspas duplas (por exemplo, “Amazon Bedrock”)

Exporte relatórios com base nos dados representados no widget clicando em Exportar itens para .csv.