Usar widgets del panel de Gobernanza de IA

Mejore su experiencia en el panel de Gobernanza de IA revisando los datos de los widgets Las mejores automatizaciones que usan IA, Modelos más usados y Consumo de tokens para ver, monitorear y analizar los datos de IA derivados de las interacciones del modelo durante el desarrollo de la automatización y las ejecuciones de automatizaciones en toda su empresa.

Permisos

Los líderes de GRC, los líderes de automatización y los desarrolladores profesionales utilizarían el panel de Gobernanza de IA a través de estas configuraciones que el administrador de automatización debe habilitar:
  • Roles > IA > Ver paneles de IA
  • Roles > IA > Ver registros de indicadores de IA > Ver detalles de registros de indicadores de IA
  • Roles > IA > Ver registros de eventos de IA > Ver detalles del registro de eventos de IA
Nota:
Al habilitar la configuración Ver paneles de IA, se muestra el panel de Gobernanza de IA. Para profundizar y acceder a registros detallados en las pestañas Registro de avisos de IA y Registro de eventos, se deben habilitar estas configuraciones adicionales:
  • IA > Ver registros de indicaciones de IA > Ver detalles de indicaciones de IA
  • IA > Ver registros de eventos de IA > Ver detalles de eventos de IA

Consulte Asignación de roles y permisos para habilitar Gobernanza de IA.

Widget Las mejores automatizaciones que usan IA

Este widget del panel muestra un gráfico de barras que presenta las diez automatizaciones más ejecutadas que utilizan interacciones de IA. Puede ver el nombre de las diez principales automatizaciones y su número de ejecuciones en las Últimas 24 horas. Al pasar el cursor sobre una barra de automatización en el widget, se muestra un resumen con el nombre de la automatización y el número total de ejecuciones.

Widget de Las mejores automatizaciones que usan IA

Análisis detallado:

Haga clic en un gráfico de barras para explorar en profundidad y ver detalles adicionales. Al hacer clic en una barra de automatización, se lo dirige a la pestaña AI > Gobernanza de IA > Registro de indicaciones de IA en la Control Room, donde puede ver una lista de todas las ejecuciones que ejecutó la automatización enumeradas por sesiones. Al hacer clic en cada sesión se muestran los detalles. Puede cambiar el filtro de tiempo en esta pantalla.

Consulte Supervisión de interacciones Registro de indicaciones de IA.

Nota: No verá el texto del mensaje, la respuesta del mensaje y los datos de configuración de los parámetros del modelo en los detalles de la sesión de ejecución de automatización si el desarrollador profesional ha desactivado el botón Registro de datos para una Habilidad de IA específica desde la pantalla Habilidades de IA.

Widget Modelos más usados

El responsable de GRC y el responsable de automatización utilizarían este widget para supervisar y rastrear la Uso del modelo para los Modelos más usados dentro de las automatizaciones para gestionar eficazmente las suscripciones. Esto les ayudará a implementar el uso de modelos aprobados y compatibles de los proveedores de hiperescaladores.

El widget Modelos más usados ofrece visibilidad sobre los cinco modelos más utilizados dentro de las automatizaciones usando el Paquete de IA generativa y el Paquete de Habilidades de IA para ejecutar automatizaciones en el Entorno de producción.

Widget de Modelos más usados

Repasemos los detalles del widget Modelos más usados. Los datos se representan en formato de barra y se ordenan por nombre de automatización, nombre del modelo del proveedor de hiperescalador, nombre del paquete y su uso. Por defecto, el widget Modelos más usados muestra datos de las Últimas 24 horas. Cada barra representa lo siguiente:
  • El nombre de la automatización con el paquete utilizado, ya sea que haya utilizado Paquetes IA generativa o el paquete Habilidades de IA.
  • El modelo utilizado del proveedor de hiperescalador, por ejemplo: GPT-4 de OpenAI

Pase el cursor sobre una barra para ver un resumen de los detalles.

Análisis detallado:

Haga clic en un gráfico de barras para explorar en profundidad y ver detalles adicionales además de la lista completa de los modelos más utilizados por los proveedores de hiperescaladores. Al hacer clic en la barra, accederá a la pestaña AI > Gobernanza de IA > Registro de eventos en la Control Room, donde puede ver una lista de registros filtrados por el nombre del modelo. Los registros se muestran por Tipo de evento. Haga clic en un Tipo de evento para ver detalles adicionales de las interacciones del modelo que tuvieron lugar durante la ejecución de la automatización.

Consulte Supervisión de interacciones Registro de eventos.

  1. Además de la opción de desglose del gráfico de barras, haga clic en los puntos suspensivos en la esquina superior derecha para seleccionar Ver detalles para obtener una vista detallada.
  2. La pantalla del panel de Gobernanza de IA muestra los detalles de la pestaña Uso del modelo.

Widget de llamadas del modelo GenAI

El widget de llamadas del modelo GenAI ofrece una vista del uso del modelo GenAI de su organización. Este panel muestra los 5 modelos de GenAI más utilizados, basándose en el volumen de indicadores ejecutados. En especial, realiza un seguimiento de las llamadas realizadas por las automatizaciones que se ejecutan en espacios de trabajo públicos, e incluye tanto las ejecuciones exitosas como las fallidas, así como las ejecuciones atendidas y desatendidas.

El widget excluye las llamadas de conexión y autenticación y se centra únicamente en la ejecución de comandos dentro de las acciones de comando de GenAI y las acciones de comando de Habilidad de IA. Lo importante es que, si una acción de comando está dentro de un bucle, cada ejecución de solicitud dentro de ese bucle cuenta como una llamada de modelo separada. Puede seleccionar un intervalo de tiempo para analizar las tendencias de uso del modelo. Haga clic en el nombre de un modelo dentro del widget para ir al registro de eventos de Gobernanza de IA, prefiltrado para mostrar todos los eventos asociados con ese modelo específico, lo que permite hacer un análisis más profundo y una mejor resolución de problemas.

Widget Uso del modelo

El widget Uso del modelo muestra las cinco automatizaciones principales. Haga clic en Ver más para ver todas las automatizaciones. De forma predeterminada, muestra datos de las Últimas 24 horas, que se pueden cambiar a un filtro de tiempo diferente en la parte superior de la pantalla.

Nota: Puede filtrar la tabla Utilización del modelo según modelos o editores específicos. Para buscar la frase exacta, incluya la frase de búsqueda entre comillas dobles (por ejemplo, “GPT”).

Exporte informes basados en los datos representados en el widget haciendo clic en Exportar elementos a .csv.

Detalles de Uso del modelo para Modelos más usados

Tabla 1. Pantalla de detalles de Uso del modelo para Modelos más usados
Encabezado de columna Descripción
Nombre del modelo Este es el modelo utilizado en una automatización específica como GPT-4 de OpenAI. Puede hacer clic en el modelo para ir a la pestaña IA > Gobernanza de IA > Registro de eventos en la Control Room, donde puede ver todos los registros filtrados por el nombre del modelo.

Consulte Supervisión de interacciones Registro de eventos.

Editor Proveedor de hiperescalador compatible, como Amazon Bedrock, Google Vertex AI, Azure OpenAI o OpenAI.
Automatizaciones Número de acciones de comando IA generativa utilizadas en ejecuciones de automatización utilizando el Paquete de IA generativa y el Paquete de Habilidades de IA .
Habilidades de IA Número de automatizaciones de llamadas ejecutadas utilizando Habilidades de IA.
Llamadas del modelo Número de llamadas realizadas al modelo.
Dispositivos Número de dispositivos utilizados durante la interacción con el modelo.

Widget Consumo de tokens

El widget Consumo de tokens proporciona visibilidad de sus principales automatizaciones que consumen la mayor cantidad de tokens agregados por modelo. Para derivar el recuento total de Consumo de tokens de un modelo, las métricas se calculan en función del nombre de la automatización, la ruta de la carpeta y el nombre del modelo del proveedor del hiperescalador. Pase el cursor sobre una barra en el widget para ver los detalles de Consumo de tokens de una automatización específica.

Widget de Consumo de tokens

De forma predeterminada, el widget Consumo de tokens muestra datos de las Últimas 24 horas, que se pueden cambiar a un filtro de tiempo diferente en la parte superior de la pantalla.

Los líderes de GRC y los líderes de automatización usarían este widget para monitorear y rastrear el uso de tokens de los modelos durante sus interacciones y ejecución dentro de las automatizaciones para administrar de manera efectiva los costos y las suscripciones. Esto les ayudará a proyectar el Consumo de tokens según la preferencia del modelo..

Widget de detalles de Consumo de tokens

El widget de detalles Consumo de tokens muestra las cinco automatizaciones principales. Haga clic en Ver más para ver todas las automatizaciones. De forma predeterminada, muestra datos de las Últimas 24 horas, que se pueden cambiar a un filtro de tiempo diferente en la parte superior de la pantalla.

Nota: Puede filtrar la tabla Detalles de consumo de tokens según el nombre de la automatización, la ruta de la carpeta, el editor, el nombre del modelo o el espacio de trabajo. Para buscar la frase exacta, incluya la frase de búsqueda entre comillas dobles (por ejemplo, “Amazon Bedrock”).

Exporte informes basados en los datos representados en el widget haciendo clic en Exportar elementos a .csv.

Tabla 2. Pantalla de detalles de Consumo de tokens
Encabezado de columna Descripción
Nombre de la automatización Nombre de la automatización que se ejecutó. Puede hacer clic en el nombre para ir a la pestaña IA > Gobernanza de IA > Registro de indicadores de IA en la Control Room, donde puede ver todos los registros filtrados por el nombre de la automatización.

Consulte Supervisión de interacciones Registro de indicaciones de IA.

Ruta de la carpeta La ubicación de la carpeta de la automatizacióndesde donde se ejecutó.
Editor Proveedor de hiperescalador compatible, como Amazon Bedrock, Google Vertex AI, Azure OpenAI o OpenAI.
Nombre del modelo Este es el modelo utilizado en una automatización específica como GPT-4 de OpenAI.
Usuarios Número de usuarios.
Espacio de trabajo Esta puede ser la carpeta privada o pública desde donde se ejecutó la automatización.
Habilidades de IA Número de Habilidades de IA utilizadas en la automatización.
Tokens Recuento total de tokens utilizados por el modelo.