Utilisation des widgets du tableau de bord AI Governance

Améliorez votre expérience de tableau de bord AI Governance en examinant les données des widgets Top Automations using AI, Most used models, appels de modèle d\'IA générative, Model utilization, Token consumption, et détails Token consumption pour afficher, surveiller et analyser les données d\'IA dérivées des interactions des modèles pendant le développement de l\'automatisation et les exécutions d\'automatisation dans toute votre entreprise.

Autorisations

Les responsables GRC, les responsables de l\'automatisation et les développeurs professionnels peuvent utiliser le tableau de bord AI Governance après que l\'administrateur de l\'automatisation a activé les paramètres requis. Le paramètre nécessaire est :
  • Rôles > IA > Afficher les tableaux de bord IA
Remarque :
L\'activation du paramètre Afficher les tableaux de bord AI affiche le tableau de bord AI Governance. Pour approfondir et accéder aux journaux détaillés dans les onglets Journal des invites AI et Journal des événements, ce paramètre supplémentaire doit être activé :
  • Rôles > IA > Afficher les journaux de gouvernance de l\'IA > Afficher les détails de la gouvernance de l\'IA

Voir Attribution des rôles et des autorisations pour activer la AI Governance.

Top Automations using AI widget

Ce widget de tableau de bord affiche un graphique à barres montrant les dix automatisations les plus fréquemment exécutées qui utilisent des interactions d\'IA. Vous pouvez voir le nom des dix premières automatisations et leur nombre d\'exécutions au cours des dernières 24 heures. En survolant une barre d\'automatisation dans le widget, vous voyez une description avec le nom de l\'automatisation et le nombre total d\'exécutions.

Cliquez sur un graphique à barres pour explorer en détail et afficher des détails supplémentaires. Cliquer sur une barre d\'automatisation vous permet d\'accéder à l\'onglet IA > Gouvernance de l\'IA > Journal des invites de l\'IA dans le Control Room où vous pouvez afficher une liste de toutes les exécutions effectuées par l\'automatisation, répertoriées par sessions. Cliquer sur chaque session affiche les détails. Vous pouvez modifier le filtre temporel dans cet écran.

Voir, AI prompt log.

Remarque : Vous ne verrez pas le texte de l\'invite, la réponse de l\'invite et les données de configuration des paramètres du modèle dans les détails de la session d\'exécution de l\'automatisation si le développeur Pro a désactivé l\'option Journalisation des données pour un AI Skill spécifique à partir de l\'écran AI Skills.

Most used models widget

Le responsable GRC et le responsable de l\'automatisation utiliseraient ce widget pour surveiller et suivre le Model utilization pour le Most used models dans les automatisations afin de gérer efficacement les abonnements. Cela les aidera à mettre en œuvre l\'utilisation de modèles approuvés et pris en charge par les fournisseurs d\'hyperscalers.

Le widget Most used models donne une visibilité sur les cinq modèles les plus utilisés dans les automatisations en utilisant Generative AI Package et AI Skills Package pour exécuter des automatisations dans l\'environnement de production.

Passons en revue les détails du widget Most used models. Les données sont représentées sous forme de barre et sont triées par nom d\'automatisation, nom de modèle de fournisseur d\'hyperscaler, nom de package et leur utilisation. Par défaut, le widget Most used models affiche les données des dernières 24 heures. Chaque barre représente les éléments suivants :
  • Le nom de l\'automatisation avec le package utilisé, qu\'il utilise le Generative AI Packages ou le AI Skills package
  • Le modèle utilisé par le fournisseur d\'hyperscaler, par exemple : GPT-4 de OpenAI

Passez la souris sur une barre pour voir un résumé des détails.

Cliquer sur un graphique à barres vous permet d\'accéder à l\'onglet IA > Gouvernance de l\'IA > Journal des événements dans le Control Room où vous pouvez afficher une liste de journaux filtrés par le nom du modèle. Cette action effectue une recherche exacte (par exemple, "=GPT-3.5 (Turbo)") de ce modèle et affiche les journaux d\'événements associés, classés par type d\'événement. Les journaux sont affichés par type d\'événement. Cliquer sur un type d\'événement pour voir des détails supplémentaires sur les interactions de modèle qui se sont produites lors de l\'exécution de l\'automatisation.

Voir Event log.

  1. En plus de l\'option d\'exploration détaillée du graphique à barres, cliquez sur les points de suspension dans le coin supérieur droit pour sélectionner Afficher les détails pour une vue détaillée.
  2. L\'écran du tableau de bord AI Governance affiche les détails de l\'onglet Model utilization.

Widget d\'appels du modèle GenAI

Le widget Appels du modèle GenAI offre une vue de l\'utilisation du modèle GenAI de votre organisation. Ce tableau de bord affiche les 5 modèles GenAI les plus fréquemment appelés, en fonction du volume de requêtes exécutées. Il suit spécifiquement les appels effectués par des automatisations fonctionnant dans des espaces de travail publics, englobant à la fois les exécutions réussies et échouées, ainsi que les exécutions assistées et non assistées.

Le widget exclut les appels de connexion et d\'authentification, se concentrant uniquement sur l\'exécution rapide des actions de commande GenAI et des actions de commande AI Skill. Il est important de noter que si une action de commande se trouve dans une boucle, chaque exécution de l\'invite dans cette boucle est considérée comme un appel de modèle distinct. Vous pouvez sélectionner une plage horaire pour analyser les tendances d\'utilisation du modèle. En cliquant sur un nom de modèle dans le widget, vous accédez au AI Governance journal des événements, pré-filtré pour afficher tous les événements associés à ce modèle spécifique, permettant une analyse plus approfondie et un dépannage.

Model utilization widget

Le widget Model utilization affiche les cinq principales automatisations. Par défaut, il affiche les données des Dernières 24 heures qui peuvent être modifiées en un filtre temporel différent en haut de l\'écran.

Cliquer sur un nom de modèle vous permet d\'accéder à l\'onglet IA > Gouvernance de l\'IA > Journal des événements dans le Control Room où vous pouvez afficher une liste de journaux filtrés par le nom du modèle. Cette action effectue une recherche exacte (par exemple, "=GPT-3.5 (Turbo)") de ce modèle et affiche les journaux d\'événements associés, classés par type d\'événement. Les journaux sont affichés par type d\'événement. Cliquer sur un type d\'événement pour voir des détails supplémentaires sur les interactions de modèle qui se sont produites lors de l\'exécution de l\'automatisation.

Exportez des rapports basés sur les données représentées dans le widget en cliquant sur Exporter les éléments au format .csv.

Lorsque vous cliquez sur Voir plus pour voir toute l\'utilisation du modèle, l\'écran de détails Model utilization pour Most used models apparaît. Le tableau suivant fournit des détails sur chacune des colonnes :

Tableau 1. Model utilization écran de détails pour Most used models
En-tête de colonne Description
Nom du modèle Il s\'agit du modèle utilisé dans une automatisation spécifique telle que GPT-4 de OpenAI. Vous pouvez cliquer sur le modèle pour accéder à l\'onglet IA > Gouvernance de l\'IA > Journal des événements dans le Control Room où vous pouvez afficher tous les journaux filtrés par le nom du modèle.

Voir Event log.
Éditeur Fournisseur d\'hyperscaler pris en charge tel que Amazon Bedrock, Google Vertex AI, Azure OpenAI ou OpenAI.
Automatisations Nombre d\'actions de commande generative AI utilisées dans les exécutions d\'automatisation à l\'aide de Generative AI Package et AI Skills Package.
AI Skills Nombre d\'automatisations d\'appels exécutées à l\'aide de AI Skills.
Appels de modèle Nombre d\'appels effectués vers le modèle.
Périphériques Nombre d\'appareils utilisés lors de l\'interaction avec le modèle.

Token consumption widget

Le widget Token consumption offre une visibilité sur vos principales automatisations consommant le plus grand nombre de jetons agrégés par modèle. Pour dériver le nombre total de Token consumption d\'un modèle, les métriques sont calculées en fonction du nom de l\'automatisation, du chemin du dossier et du nom du modèle du fournisseur de l\'hyperscaler. Passez la souris sur une barre du widget pour voir les Token consumption détails d\'une automatisation spécifique.

Par défaut, le Token consumption widget affiche les données des Dernières 24 heures qui peuvent être modifiées en un filtre temporel différent en haut de l\'écran.

Les responsables GRC et les responsables de l\'automatisation utiliseraient ce widget pour surveiller et suivre l\'utilisation des jetons des modèles au cours de leurs interactions et de leur exécution au sein des automatisations afin de gérer efficacement les coûts et les abonnements. Cela les aidera à projeter Token consumption en fonction de la préférence du modèle.

Token consumptionWidget des détails

Le widget de détails Token consumption affiche les cinq principales automatisations. Par défaut, il affiche les données des Dernières 24 heures qui peuvent être modifiées en un filtre temporel différent en haut de l\'écran.

Remarque : Vous pouvez filtrer la table Détails de consommation de jetons en fonction du nom de l\'automatisation, du chemin du dossier, de l\'éditeur, du nom du modèle ou de l\'espace de travail. Pour rechercher une expression exacte, insérez-la entre guillemets doubles (par exemple, "Amazon Bedrock").

Exportez des rapports basés sur les données représentées dans le widget en cliquant sur Exporter les éléments au format .csv.

Lorsque vous cliquez sur Voir plus pour voir toute la consommation de jetons, l\' Token consumptionécran de détails apparaît. Le tableau suivant fournit des détails sur chacune des colonnes :

Tableau 2. Écran des détails Token consumption
En-tête de colonne Description
Nom de l\'automatisation Nom de l\'automatisation qui a été exécutée. Vous pouvez cliquer sur le nom pour accéder à l\'onglet IA > Gouvernance de l\'IA > Journal des invites de l\'IA dans le Control Room où vous pouvez afficher tous les journaux filtrés par le nom de l\'automatisation.

Voir AI prompt log.
Chemin du dossier L\'emplacement du dossier de l\'automatisationd\'où il a été exécuté.
Éditeur Fournisseur d\'hyperscaler pris en charge tel que Amazon Bedrock, Google Vertex AI, Azure OpenAI ou OpenAI.
Nom du modèle Il s\'agit du modèle utilisé dans une automatisation spécifique telle que GPT-4 de OpenAI.
Utilisateurs Nombre d\'utilisateurs.
Espace de travail Il peut s\'agir du dossier privé ou public à partir duquel l\'automatisation a été exécutée.
AI Skills Nombre de AI Skills utilisés dans l\'automatisation.
Jetons Nombre total de jetons utilisés par le modèle.