Supervisión de interacciones Registro de eventos

Registro de eventos le brinda un resumen visual de todos los eventos que ocurren durante una sesión de interacción con el modelo.

En una sesión, puede haber varios eventos con la posibilidad de ver los detalles de un evento específico. Por ejemplo: detalles de la conexión exitosa a modelos fundacionales, envío de indicaciones y recepción de respuestas, sesiones fallidas y exitosas, uso de tokens y otros detalles de eventos. La capacidad de monitorear y ver estos detalles le permite analizar los datos y adoptar medidas preventivas de forma proactiva para la seguridad de los datos, la gobernanza y el cumplimiento.

Detalles de la tabla de Registro de eventos

Puede perfeccionar la búsqueda utilizando los parámetros de búsqueda disponibles, como por ID de sesión para ver todos los tipos de eventos específicos de la sesión seleccionada.

Nota: Desplace el mouse sobre los íconos de acción para identificar funciones específicas para cada uno.

La tabla de Registro de eventos ordena y muestra detalles según estas columnas:

Detalles de la tabla Registro de eventos

uno

Estado: Muestra si un evento se realizó con éxito o falló.
dos

Hora: Muestra la hora de inicio del evento.
tres

Tipo de evento: Muestra cada tipo de sesión, como por ejemplo: Enviar indicador, respuesta recibida, Conexión del modelo y plantilla de indicadores del activador.

Puede hacer clic en el enlace Tipo de evento para buscar información específica y ver detalles adicionales del evento.
cuatro

Nombre del modelo: Muestra el nombre de la versión del modelo fundamental con el que se interactuó, como los siguientes: Claude para Amazon Bedrock, VertexAI para Google Vertex AI, GPT 3.5 Turbo para Azure OpenAI y otros.
cinco
Tipo de indicador: Muestra el tipo de indicador utilizado en la automatización. Son los siguientes:
  • Registros de indicaciones de forma libre capturados para todos los IA generativa de Paquetes.
  • Registros de indicaciones de Plantilla de indicaciones capturados para Plantillas de indicaciones.
seis

Nombre de la automatización: Muestra el nombre de la automatización que utilizó un indicador específico.
siete

ID de sesión: Muestra el ID de la sesión de automatización.
ocho

Nombre del dispositivo: Muestra el ID del dispositivo en el que se ejecutó la automatización.
nueve

Usuario: Muestra el ID del usuario que ejecutó la automatización.
diez

Barrera de seguridad de la IA : Muestra la barrera de seguridad específica que se implementa en cada evento.
once

Ruta de la carpeta: La ubicación de la carpeta de la automatización desde donde se ejecutó.

Registros de tipos de eventos compatibles

Los siguientes registros de tipo de evento se capturan para todas las interacciones del modelo en una automatización.
  • Conexión del modelo
  • enviar indicador;
  • respuesta recibida;
  • Activador de Plantilla de indicaciones

En la columna Tipo de evento, haga clic en el enlace para buscar información específica y ver los detalles del evento según los siguientes parámetros. Los detalles varían según el tipo de evento. En la misma pantalla, podrá ver diferentes parámetros para cada tipo de evento.

Detalles de Registro de eventos

Nota: En el campo Tipo de automatización, se muestra el tipo de automatización que se utiliza en la sesión de interacción del modelo. Los campos restantes son los mismos que los detalles de la tabla de Registro de eventos.

Los registros de forma libre (se generan al usar IA generativa de Paquetes) se capturan en el caso de las automatizaciones ejecutadas con IA generativa de Paquetes y son compatibles con los tipos de eventos Conexión de modelo, Enviar indicaciones y Respuesta recibida.

Cada evento muestra lo siguiente:
  • Estado: Indica si la conexión con el modelo se estableció correctamente.
  • Tipo de evento: Clasifica el evento como una Conexión del modelo.
  • Hora: Especifica la marca de tiempo del intento de conexión.
  • Tipo de indicador: Identifica el tipo de indicador utilizado.
  • Nombre del modelo: Especifica el nombre del modelo de lenguaje utilizado. Por ejemplo: GPT-4.
  • ID de sesión: Un identificador único para la sesión de conexión.
  • Nombre de la automatización Indica el nombre de la automatización.
  • Nombre del dispositivo: Especifica el dispositivo asociado con la automatización.
  • Usuario: Identifica al usuario que inició la automatización.
  • Tipo de automatización: Categoriza el tipo de automatización. Como Bot de tarea, Tarea de API.
  • Barreras de seguridad de la IA asignadas Indica si se asignaron Barreras de seguridad de la IA.
  • Tipo de conexión del modelo: Especifica el tipo de conexión de modelo. El Tipo de conexión del modelo puede ser uno de los siguientes:
    • Estándar
    • Ajustado
    • Anclado en la base de conocimientos
    • Basado en el almacenamiento de datos
    • Basado en el conocimiento de la empresa
    • Basado en la búsqueda de IA

Repasemos los parámetros de tipo de evento compatibles.

Conexión del modelo
  • Editor: Muestra el nombre del editor del modelo fundacional, como Amazon Bedrock, Google Vertex AI, Azure OpenAI, OpenAI y otros.
  • Método de conexión: Muestra el tipo de conexión que se utilizó para conectarse a un modelo. Por ejemplo: Amazon Bedrock, Azure OpenAI y OpenAI se conectan usando claves API. Google Vertex AI se conecta con una Cuenta de Usuario, Cuenta de Servicio o conexión OAuth de Control Room.
Enviar indicador
  • Toxicidad: Muestra el puntaje de toxicidad de todo el indicador (Indicación del sistema y el indicador del usuario).
  • Indicador del sistema: Muestra el texto completo del indicador del sistema que ingresó el usuario.
  • Indicador del usuario: Muestra el texto completo del indicador del usuario ingresado por el usuario.
  • Haga clic en Más detalles para ver la siguiente información:
    • Editor: Muestra el nombre del editor del modelo fundacional, como Amazon Bedrock, Google Vertex AI, Azure OpenAI, OpenAI y otros.
    • Configuración de la solicitud: Muestra los valores de los parámetros utilizados para el indicador, como los siguientes: tokens máximos, P superior, temperatura y otros. Estos parámetros varían según los diferentes modelos.
Respuesta recibida
  • Toxicidad: Muestra el puntaje de toxicidad de todo el indicador (Indicación del sistema y el indicador del usuario) y el puntaje de toxicidad de la respuesta recibida.
  • Indicador del sistema: Muestra el texto completo del indicador del sistema que ingresó el usuario.
  • Indicador del usuario: Muestra el texto completo del indicador del usuario ingresado por el usuario.
  • Respuesta: Muestra la respuesta recibida del modelo.
  • Haga clic en Más detalles para ver información adicional sobre los Tokens consumidos: Muestra la cantidad de tokens consumidos por la interacción del modelo. Esto permite realizar un seguimiento de los tokens consumidos y del saldo.
Habilidad de IA de activador
  • Detalles de activación de habilidades de IA: Muestra los detalles del indicador utilizado al probar la conexión del modelo.