Usar widgets del panel de AI Governance

Mejore su experiencia en el panel de AI Governance revisando los datos de Top Automations using AI, Most used models, las llamadas al modelo de IA generativa, Model utilization, Token consumption y detalles de los widgets de Token consumption para ver, supervisar y analizar los datos de IA derivados de las interacciones del modelo durante el desarrollo de la automatización y las ejecuciones de automatizaciones en toda su empresa.

Permisos

Los líderes de GRC, los líderes de automatización y los desarrolladores profesionales utilizarían el panel de AI Governance a través de estas configuraciones que el administrador de automatización debe habilitar:
  • Roles > IA > Ver paneles de IA
  • Roles > IA > Ver registros de indicadores de IA > Ver detalles de registros de indicadores de IA
  • Roles > IA > Ver registros de eventos de IA > Ver detalles del registro de eventos de IA
Nota:
Al habilitar la configuración Ver paneles de IA, se muestra el panel de AI Governance. Para profundizar y acceder a registros detallados en las pestañas Registro de avisos de IA y Registro de eventos, se deben habilitar estas configuraciones adicionales:
  • IA > Ver registros de indicaciones de IA > Ver detalles de indicaciones de IA
  • IA > Ver registros de eventos de IA > Ver detalles de eventos de IA

Consulte Asignación de roles y permisos para habilitar AI Governance.

Widget Top Automations using AI

Este widget del panel muestra un gráfico de barras que presenta las diez automatizaciones más ejecutadas que utilizan interacciones de IA. Puede ver el nombre de las diez principales automatizaciones y su número de ejecuciones en las Últimas 24 horas. Al pasar el cursor sobre una barra de automatización en el widget, se muestra un resumen con el nombre de la automatización y el número total de ejecuciones.

Haga clic en un gráfico de barras para explorar en profundidad y ver detalles adicionales. Al hacer clic en una barra de automatización, se lo dirige a la pestaña AI > Gobernanza de IA > Registro de indicaciones de IA en la Control Room, donde puede ver una lista de todas las ejecuciones que ejecutó la automatización enumeradas por sesiones. Al hacer clic en cada sesión se muestran los detalles. Puede cambiar el filtro de tiempo en esta pantalla.

Consulte AI prompt log.

Nota: No verá el texto del mensaje, la respuesta del mensaje y los datos de configuración de los parámetros del modelo en los detalles de la sesión de ejecución de automatización si el desarrollador profesional ha desactivado el botón Registro de datos para una AI Skill específica desde la pantalla AI Skills.

Widget Most used models

El responsable de GRC y el responsable de automatización utilizarían este widget para supervisar y rastrear la Model utilization para los Most used models dentro de las automatizaciones para gestionar eficazmente las suscripciones. Esto les ayudará a implementar el uso de modelos aprobados y compatibles de los proveedores de hiperescaladores.

El widget Most used models ofrece visibilidad sobre los cinco modelos más utilizados dentro de las automatizaciones usando el Package de Generative AI y el Package de AI Skills para ejecutar automatizaciones en el Entorno de producción.

Repasemos los detalles del widget Most used models. Los datos se representan en formato de barra y se ordenan por nombre de automatización, nombre del modelo del proveedor de hiperescalador, nombre del paquete y su uso. Por defecto, el widget Most used models muestra datos de las Últimas 24 horas. Cada barra representa lo siguiente:
  • El nombre de la automatización con el paquete utilizado, ya sea que haya utilizado Packages Generative AI o el package AI Skills.
  • El modelo utilizado del proveedor de hiperescalador, por ejemplo: GPT-4 de OpenAI

Pase el cursor sobre una barra para ver un resumen de los detalles.

Al hacer clic en un gráfico de barras, lo lleva a la pestaña IA > Gobernanza de IA > Registro de eventos en la Control Room, donde puede ver una lista de registros filtrados por el nombre del modelo. Esta acción realiza una búsqueda exacta (por ejemplo, "=GPT-3.5 (Turbo)") de ese modelo y muestra los registros de eventos asociados, que se clasifican por tipo de evento. Los registros se muestran por Tipo de evento. Haga clic en un Tipo de evento para ver detalles adicionales de las interacciones del modelo que tuvieron lugar durante la ejecución de la automatización.

Consulte Event log.

  1. Además de la opción de desglose del gráfico de barras, haga clic en los puntos suspensivos en la esquina superior derecha para seleccionar Ver detalles para obtener una vista detallada.
  2. La pantalla del panel de AI Governance muestra los detalles de la pestaña Model utilization.

Widget de llamadas del modelo GenAI

El widget de llamadas del modelo GenAI ofrece una vista del uso del modelo GenAI de su organización. Este panel muestra los 5 modelos de GenAI más utilizados, basándose en el volumen de indicadores ejecutados. En especial, realiza un seguimiento de las llamadas realizadas por las automatizaciones que se ejecutan en espacios de trabajo públicos, e incluye tanto las ejecuciones exitosas como las fallidas, así como las ejecuciones atendidas y desatendidas.

El widget excluye las llamadas de conexión y autenticación y se centra únicamente en la ejecución de comandos dentro de las acciones de comando de GenAI y las acciones de comando de AI Skill. Lo importante es que, si una acción de comando está dentro de un bucle, cada ejecución de solicitud dentro de ese bucle cuenta como una llamada de modelo separada. Puede seleccionar un intervalo de tiempo para analizar las tendencias de uso del modelo. Haga clic en el nombre de un modelo dentro del widget para ir al registro de eventos de AI Governance, prefiltrado para mostrar todos los eventos asociados con ese modelo específico, lo que permite hacer un análisis más profundo y una mejor resolución de problemas.

Widget Model utilization

El widget Model utilization muestra las cinco automatizaciones principales. De forma predeterminada, muestra datos de las Últimas 24 horas, que se pueden cambiar a un filtro de tiempo diferente en la parte superior de la pantalla.

Al hacer clic en un nombre de modelo, lo lleva a la pestaña IA > Gobernanza de IA > Registro de eventos en la Control Room, donde puede ver una lista de registros filtrados por el nombre del modelo. Esta acción realiza una búsqueda exacta (por ejemplo, "=GPT-3.5 (Turbo)") de ese modelo y muestra los registros de eventos asociados, que se clasifican por tipo de evento. Los registros se muestran por Tipo de evento. Haga clic en un Tipo de evento para ver detalles adicionales de las interacciones del modelo que tuvieron lugar durante la ejecución de la automatización.

Exporte informes basados en los datos representados en el widget haciendo clic en Exportar elementos a .csv.

Cuando hace clic en Ver más para ver toda la utilización del modelo, aparece la pantalla de detalles de Model utilization de los Most used models . La siguiente tabla ofrece detalles de cada una de las columnas:

Tabla 1. Pantalla de detalles de Model utilization para Most used models
Encabezado de columna Descripción
Nombre del modelo Este es el modelo utilizado en una automatización específica como GPT-4 de OpenAI. Puede hacer clic en el modelo para ir a la pestaña IA > Gobernanza de IA > Registro de eventos en la Control Room, donde puede ver todos los registros filtrados por el nombre del modelo.

Consulte Event log.

Editor Proveedor de hiperescalador compatible, como Amazon Bedrock, Google Vertex AI, Azure OpenAI o OpenAI.
Automatizaciones Número de acciones de comando generative AI utilizadas en ejecuciones de automatización utilizando el Package de Generative AI y el Package de AI Skills .
AI Skills Número de automatizaciones de llamadas ejecutadas utilizando AI Skills.
Llamadas del modelo Número de llamadas realizadas al modelo.
Dispositivos Número de dispositivos utilizados durante la interacción con el modelo.

Widget Token consumption

El widget Token consumption proporciona visibilidad de sus principales automatizaciones que consumen la mayor cantidad de tokens agregados por modelo. Para derivar el recuento total de Token consumption de un modelo, las métricas se calculan en función del nombre de la automatización, la ruta de la carpeta y el nombre del modelo del proveedor del hiperescalador. Pase el cursor sobre una barra en el widget para ver los detalles de Token consumption de una automatización específica.

De forma predeterminada, el widget Token consumption muestra datos de las Últimas 24 horas, que se pueden cambiar a un filtro de tiempo diferente en la parte superior de la pantalla.

Los líderes de GRC y los líderes de automatización usarían este widget para monitorear y rastrear el uso de tokens de los modelos durante sus interacciones y ejecución dentro de las automatizaciones para administrar de manera efectiva los costos y las suscripciones. Esto les ayudará a proyectar el Token consumption según la preferencia del modelo.

Widget de detalles de Token consumption

El widget de detalles Token consumption muestra las cinco automatizaciones principales. De forma predeterminada, muestra datos de las Últimas 24 horas, que se pueden cambiar a un filtro de tiempo diferente en la parte superior de la pantalla.

Nota: Puede filtrar la tabla Detalles de consumo de tokens según el nombre de la automatización, la ruta de la carpeta, el editor, el nombre del modelo o el espacio de trabajo. Para buscar la frase exacta, incluya la frase de búsqueda entre comillas dobles (por ejemplo, “Amazon Bedrock”).

Exporte informes basados en los datos representados en el widget haciendo clic en Exportar elementos a .csv.

Cuando hace clic en Ver más para ver todo el consumo de tokens, aparece la pantalla de detalles de Token consumption . La siguiente tabla ofrece detalles de cada una de las columnas:

Tabla 2. Pantalla de detalles de Token consumption
Encabezado de columna Descripción
Nombre de la automatización Nombre de la automatización que se ejecutó. Puede hacer clic en el nombre para ir a la pestaña IA > Gobernanza de IA > Registro de indicadores de IA en la Control Room, donde puede ver todos los registros filtrados por el nombre de la automatización.

Consulte AI prompt log.

Ruta de la carpeta La ubicación de la carpeta de la automatizacióndesde donde se ejecutó.
Editor Proveedor de hiperescalador compatible, como Amazon Bedrock, Google Vertex AI, Azure OpenAI o OpenAI.
Nombre del modelo Este es el modelo utilizado en una automatización específica como GPT-4 de OpenAI.
Usuarios Número de usuarios.
Espacio de trabajo Esta puede ser la carpeta privada o pública desde donde se ejecutó la automatización.
AI Skills Número de AI Skills utilizadas en la automatización.
Tokens Recuento total de tokens utilizados por el modelo.