Usar widgets del panel de Gobernanza de IA

Mejore su experiencia en el panel de Gobernanza de IA revisando los datos de Las mejores automatizaciones que usan IA, Modelos más usados, las llamadas al modelo de IA generativa, Uso del modelo, Consumo de tókenes y detalles de los widgets de Consumo de tókenes para ver, supervisar y analizar los datos de IA derivados de las interacciones del modelo durante el desarrollo de la automatización y las ejecuciones de automatizaciones en toda su empresa.

Permisos

Los líderes de gobernanza, riesgos y cumplimiento (GRC), los líderes de automatización y los desarrolladores profesionales pueden usar el panel de Gobernanza de IA después de que el administrador de automatización habilite las configuraciones requeridas. La configuración necesaria es:
  • Roles > IA > Ver paneles de IA
Nota:
Al habilitar la configuración Ver paneles de IA, se muestra el panel de Gobernanza de IA. Para profundizar y acceder a registros detallados en las pestañas Registro de avisos de IA y Registro de eventos, se debe habilitar esta configuración adicional:
  • Roles > IA > Ver registros de gobernanza de IA > Ver detalles de gobernanza de IA

Consulte Asignación de roles y permisos para habilitar Gobernanza de IA.

Widget Las mejores automatizaciones que usan IA

Este widget del panel muestra un gráfico de barras que presenta las diez automatizaciones más ejecutadas que utilizan interacciones de IA. Puede ver el nombre de las diez principales automatizaciones y su número de ejecuciones en las Últimas 24 horas. Al pasar el cursor sobre una barra de automatización en el widget, se muestra un resumen con el nombre de la automatización y el número total de ejecuciones.

Haga clic en un gráfico de barras para explorar en profundidad y ver detalles adicionales. Al hacer clic en una barra de automatización, se lo dirige a la pestaña AI > Gobernanza de IA > Registro de indicaciones de IA en la Control Room, donde puede ver una lista de todas las ejecuciones que ejecutó la automatización enumeradas por sesiones. Al hacer clic en cada sesión se muestran los detalles. Puede cambiar el filtro de tiempo en esta pantalla.

Consulte Registro de indicaciones de IA.

Nota: No verá el texto del mensaje, la respuesta del mensaje y los datos de configuración de los parámetros del modelo en los detalles de la sesión de ejecución de automatización si el desarrollador profesional ha desactivado el botón Registro de datos para una Habilidad de IA específica desde la pantalla Habilidades de IA.

Widget Modelos más usados

El responsable de GRC y el responsable de automatización utilizarían este widget para supervisar y rastrear la Uso del modelo para los Modelos más usados dentro de las automatizaciones para gestionar eficazmente las suscripciones. Esto les ayudará a implementar el uso de modelos aprobados y compatibles de los proveedores de hiperescaladores.

El widget Modelos más usados ofrece visibilidad sobre los cinco modelos más utilizados dentro de las automatizaciones usando el Paquete de IA generativa y el Paquete de Habilidades de IA para ejecutar automatizaciones en el Entorno de producción.

Repasemos los detalles del widget Modelos más usados. Los datos se representan en formato de barra y se ordenan por nombre de automatización, nombre del modelo del proveedor de hiperescalador, nombre del paquete y su uso. Por defecto, el widget Modelos más usados muestra datos de las Últimas 24 horas. Cada barra representa lo siguiente:
  • El nombre de la automatización con el paquete utilizado, ya sea que haya utilizado Paquetes IA generativa o el paquete Habilidades de IA.
  • El modelo utilizado del proveedor de hiperescalador, por ejemplo: GPT-4 de OpenAI

Pase el cursor sobre una barra para ver un resumen de los detalles.

Al hacer clic en un gráfico de barras, lo lleva a la pestaña IA > Gobernanza de IA > Registro de eventos en la Control Room, donde puede ver una lista de registros filtrados por el nombre del modelo. Esta acción realiza una búsqueda exacta (por ejemplo, "=GPT-3.5 (Turbo)") de ese modelo y muestra los registros de eventos asociados, que se clasifican por tipo de evento. Los registros se muestran por Tipo de evento. Haga clic en un Tipo de evento para ver detalles adicionales de las interacciones del modelo que tuvieron lugar durante la ejecución de la automatización.

Consulte Registro de eventos.

  1. Además de la opción de desglose del gráfico de barras, haga clic en los puntos suspensivos en la esquina superior derecha para seleccionar Ver detalles para obtener una vista detallada.
  2. La pantalla del panel de Gobernanza de IA muestra los detalles de la pestaña Uso del modelo.

Widget de llamadas del modelo GenAI

El widget de llamadas del modelo GenAI ofrece una vista del uso del modelo GenAI de su organización. Este panel muestra los 5 modelos de GenAI más utilizados, basándose en el volumen de indicadores ejecutados. En especial, realiza un seguimiento de las llamadas realizadas por las automatizaciones que se ejecutan en espacios de trabajo públicos, e incluye tanto las ejecuciones exitosas como las fallidas, así como las ejecuciones atendidas y desatendidas.

El widget excluye las llamadas de conexión y autenticación y se centra únicamente en la ejecución de comandos dentro de las acciones de comando de GenAI y las acciones de comando de Habilidad de IA. Lo importante es que, si una acción de comando está dentro de un bucle, cada ejecución de solicitud dentro de ese bucle cuenta como una llamada de modelo separada. Puede seleccionar un intervalo de tiempo para analizar las tendencias de uso del modelo. Haga clic en el nombre de un modelo dentro del widget para ir al registro de eventos de Gobernanza de IA, prefiltrado para mostrar todos los eventos asociados con ese modelo específico, lo que permite hacer un análisis más profundo y una mejor resolución de problemas.

Widget Uso del modelo

El widget Uso del modelo muestra las cinco automatizaciones principales. De forma predeterminada, muestra datos de las Últimas 24 horas, que se pueden cambiar a un filtro de tiempo diferente en la parte superior de la pantalla.

Al hacer clic en un nombre de modelo, lo lleva a la pestaña IA > Gobernanza de IA > Registro de eventos en la Control Room, donde puede ver una lista de registros filtrados por el nombre del modelo. Esta acción realiza una búsqueda exacta (por ejemplo, "=GPT-3.5 (Turbo)") de ese modelo y muestra los registros de eventos asociados, que se clasifican por tipo de evento. Los registros se muestran por Tipo de evento. Haga clic en un Tipo de evento para ver detalles adicionales de las interacciones del modelo que tuvieron lugar durante la ejecución de la automatización.

Exporte informes basados en los datos representados en el widget haciendo clic en Exportar elementos a .csv.

Cuando hace clic en Ver más para ver toda la utilización del modelo, aparece la pantalla de detalles de Uso del modelo de los Modelos más usados . La siguiente tabla ofrece detalles de cada una de las columnas:

Tabla 1. Pantalla de detalles de Uso del modelo para Modelos más usados
Encabezado de columna Descripción
Nombre del modelo Este es el modelo utilizado en una automatización específica como GPT-4 de OpenAI. Puede hacer clic en el modelo para ir a la pestaña IA > Gobernanza de IA > Registro de eventos en la Control Room, donde puede ver todos los registros filtrados por el nombre del modelo.

Consulte Registro de eventos.

Editor Proveedor de hiperescalador compatible, como Amazon Bedrock, Google Vertex AI, Azure OpenAI o OpenAI.
Automatizaciones Número de acciones de comando IA generativa utilizadas en ejecuciones de automatización utilizando el Paquete de IA generativa y el Paquete de Habilidades de IA .
Habilidades de IA Número de automatizaciones de llamadas ejecutadas utilizando Habilidades de IA.
Llamadas del modelo Número de llamadas realizadas al modelo.
Dispositivos Número de dispositivos utilizados durante la interacción con el modelo.

Widget Consumo de tókenes

El widget Consumo de tókenes proporciona visibilidad de sus principales automatizaciones que consumen la mayor cantidad de tokens agregados por modelo. Para derivar el recuento total de Consumo de tókenes de un modelo, las métricas se calculan en función del nombre de la automatización, la ruta de la carpeta y el nombre del modelo del proveedor del hiperescalador. Pase el cursor sobre una barra en el widget para ver los detalles de Consumo de tókenes de una automatización específica.

De forma predeterminada, el widget Consumo de tókenes muestra datos de las Últimas 24 horas, que se pueden cambiar a un filtro de tiempo diferente en la parte superior de la pantalla.

Los líderes de GRC y los líderes de automatización usarían este widget para monitorear y rastrear el uso de tokens de los modelos durante sus interacciones y ejecución dentro de las automatizaciones para administrar de manera efectiva los costos y las suscripciones. Esto les ayudará a proyectar el Consumo de tókenes según la preferencia del modelo.

Widget de detalles de Consumo de tókenes

El widget de detalles Consumo de tókenes muestra las cinco automatizaciones principales. De forma predeterminada, muestra datos de las Últimas 24 horas, que se pueden cambiar a un filtro de tiempo diferente en la parte superior de la pantalla.

Nota: Puede filtrar la tabla Detalles de consumo de tokens según el nombre de la automatización, la ruta de la carpeta, el editor, el nombre del modelo o el espacio de trabajo. Para buscar la frase exacta, incluya la frase de búsqueda entre comillas dobles (por ejemplo, “Amazon Bedrock”).

Exporte informes basados en los datos representados en el widget haciendo clic en Exportar elementos a .csv.

Cuando hace clic en Ver más para ver todo el consumo de tokens, aparece la pantalla de detalles de Consumo de tókenes . La siguiente tabla ofrece detalles de cada una de las columnas:

Tabla 2. Pantalla de detalles de Consumo de tókenes
Encabezado de columna Descripción
Nombre de la automatización Nombre de la automatización que se ejecutó. Puede hacer clic en el nombre para ir a la pestaña IA > Gobernanza de IA > Registro de indicadores de IA en la Control Room, donde puede ver todos los registros filtrados por el nombre de la automatización.

Consulte Registro de indicaciones de IA.

Ruta de la carpeta La ubicación de la carpeta de la automatizacióndesde donde se ejecutó.
Editor Proveedor de hiperescalador compatible, como Amazon Bedrock, Google Vertex AI, Azure OpenAI o OpenAI.
Nombre del modelo Este es el modelo utilizado en una automatización específica como GPT-4 de OpenAI.
Usuarios Número de usuarios.
Espacio de trabajo Esta puede ser la carpeta privada o pública desde donde se ejecutó la automatización.
Habilidades de IA Número de Habilidades de IA utilizadas en la automatización.
Tokens Recuento total de tokens utilizados por el modelo.