Verbessern Sie Ihr AI Governance-Dashboard-Erlebnis durch die Überprüfung der Daten für Top Automations using AI, Most used models, Gen-AI-Modellaufrufe, Model utilization, Token consumption und Token consumption-Detail-Widgets, um KI-Daten anzuzeigen, zu überwachen und zu analysieren, die aus Modellinteraktionen während der Automatisierungsentwicklung und Automatisierungsausführung in Ihrem Unternehmen abgeleitet wurden.

Berechtigungen

GRC Leads, Automation Leads und Pro Developers würden das AI Governance-Dashboard über diese Einstellungen verwenden, die vom Automation Admin aktiviert werden müssen:
  • Rollen > KI > KI-Dashboards anzeigen
  • Rollen > KI > KI-Eingabeaufforderungsprotokolle anzeigen > KI-Eingabeaufforderungs-Protokoll-Details anzeigen
  • Rollen > KI > KI-Ereignisprotokolle anzeigen > KI-Ereignisprotokolldetails anzeigen
Anmerkung:
Wenn Sie die Einstellung KI-Dashboards anzeigen aktivieren, wird das AI Governance Dashboard angezeigt. Um noch detailliertere Informationen anzuzeigen und auf die ausführlichen Protokolle in den Registerkarten AI-Eingabeaufforderungsprotokoll und Ereignisprotokoll zuzugreifen, müssen diese zusätzlichen Einstellungen aktiviert werden:
  • KI > KI-Eingabeaufforderungsprotokolle anzeigen > KI-Eingabeaufforderungs-Details anzeigen
  • KI > KI-Ereignisprotokolle anzeigen > KI-Ereignisdetails anzeigen

Einzelheiten finden Sie unter Zuweisung von Rollen und Berechtigungen zur Aktivierung von AI Governance.

Top Automations using AI Widget

Dieses Dashboard-Widget zeigt ein Balkendiagramm mit den zehn am häufigsten ausgeführten Automatisierungen, die KI-Interaktionen verwenden. Sie können die Namen der zehn wichtigsten Automatisierungen und die Anzahl ihrer Ausführungen in den letzten 24 Stunden sehen. Wenn Sie mit der Maus über eine Automatisierungsleiste im Widget fahren, wird ein Text mit dem Namen der Automatisierung und der Gesamtzahl der Ausführungsläufe angezeigt.

Klicken Sie auf ein Balkendiagramm, um in die Tiefe zu gehen und zusätzliche Einzelheiten anzuzeigen. Wenn Sie auf eine Automatisierungsleiste klicken, gelangen Sie zur Registerkarte AI > AI-Governance > AI-Prompt-Protokoll im Control Room. Dort können Sie eine nach Sitzungen sortierte Liste aller Ausführungen der Automatisierung anzeigen. Durch Klicken auf jede Sitzung werden die Details angezeigt. In diesem Bildschirm können Sie den Zeitfilter ändern.

Weitere Informationen finden Sie unter AI prompt log.

Anmerkung: Sie werden den Eingabeaufforderungstext, die Eingabeaufforderungsantwort und die Daten zur Einstellung der Modellparameter in den Details der Automatisierungsausführungssitzung nicht sehen, wenn der Pro Developer die Umschaltfläche Datenprotokollierung für eine bestimmte AI Skill auf dem Bildschirm AI Skills deaktiviert hat.

Most used models Widget

Der GRC-Leiter und der Automatisierungsleiter würden dieses Widget verwenden, um die Model utilization für die Most used models innerhalb von Automatisierungen zu überwachen und zu verfolgen, um Abonnements effektiv zu verwalten. Dies wird ihnen dabei helfen, die Nutzung genehmigter und unterstützter Modelle der Hyperscaler-Anbieter zu implementieren.

Das Most used models-Widget bietet Einblick in die fünf am häufigsten verwendeten Modelle innerhalb von Automatisierungen, die mithilfe von Generative AI Package und AI Skills Package in der Produktionsumgebung ausgeführt werden.

Lassen Sie uns die Details des Widgets Most used models überprüfen. Die Daten werden in einem Balkenformat dargestellt und nach Automatisierungsname, Modellname des Hyperscaler-Anbieters, Paketname und deren Verwendung sortiert. Standardmäßig zeigt das Most used models-Widget Daten für die letzten 24 Stunden an. Jeder Balken repräsentiert Folgendes:
  • Der Name der Automatisierung mit dem verwendeten Paket, unabhängig davon, ob Generative AI Packages oder AI Skills package verwendet wurde.
  • Das vom Hyperscaler-Anbieter verwendete Modell, zum Beispiel: GPT-4 von OpenAI

Bewegen Sie den Mauszeiger über einen Balken, um eine Zusammenfassung der Details anzuzeigen.

Wenn Sie auf ein Balkendiagramm klicken, gelangen Sie zur Registerkarte KI > KI-Governance > Ereignisprotokoll im Control Room, wo Sie eine Liste von Protokollen anzeigen können, die nach Modellnamen gefiltert sind. Diese Aktion führt eine genaue Suche (zum Beispiel "=GPT-3.5 (Turbo)") nach diesem Modell durch und zeigt die zugehörigen Ereignisprotokolle an, kategorisiert nach Ereignistyp. Die Protokolle werden nach Ereignistyp angezeigt. Wenn Sie auf einen Ereignistyp klicken, können Sie zusätzliche Details zu den Modellinteraktionen einsehen, die während der Automatisierungsausführung stattgefunden haben.

Einzelheiten finden Sie unter Event log.

  1. Klicken Sie zusätzlich zur Drilldown-Option im Balkendiagramm auf die Auslassungspunkte in der oberen rechten Ecke, um Details anzeigen für eine Detailansicht auszuwählen.
  2. Der AI Governance-Dashboard-Bildschirm zeigt die Details der Registerkarte Model utilization an.

GenAI-Modellaufruf-Widget

Das GenAI-Modellaufruf-Widget bietet eine Ansicht der Nutzung des GenAI-Modells in Ihrer Organisation. Dieses Dashboard zeigt die fünf am häufigsten genutzten GenAI-Modelle, basierend auf der Anzahl der ausgeführten Eingabeaufforderungen. Es verfolgt speziell Anrufe, die von Automatisierungen in öffentlichen Arbeitsbereichen ausgeführt werden, und umfasst sowohl erfolgreiche als auch fehlgeschlagene sowie betreute und unbetreute Ausführungen.

Verbindungs- und Authentifizierungsaufrufe werden vom Widget nicht berücksichtigt. Der Fokus liegt ausschließlich auf der Ausführung von Eingabeaufforderungen in GenAI- und AI Skill-Befehlsaktionen. Wichtig zu wissen: Befindet sich eine Befehlsaktion in einer Schleife, so zählt jede Ausführung einer Eingabeaufforderung innerhalb der Schleife als eigener Modellaufruf. Sie können ein Zeitfenster auswählen, um die Nutzungstrends des Modells zu analysieren. Klicken Sie auf einen Modellnamen im Widget, um zum AI Governance-Ereignisprotokoll zu gelangen. Dieses ist vorgefiltert, um alle Ereignisse anzuzeigen, die mit diesem speziellen Modell verbunden sind, und ermöglicht so eine tiefergehende Analyse und Fehlersuche.

Model utilization Widget

Das Model utilization-Widget zeigt die fünf wichtigsten Automatisierungen an. Standardmäßig werden Daten für die Letzten 24 Stunden angezeigt. Sie können jedoch oben auf dem Bildschirm einen anderen Zeitfilter auswählen.

Wenn Sie auf einen Modellnamen klicken, gelangen Sie zur Registerkarte KI > KI-Governance > Ereignisprotokoll im Control Room, wo Sie eine Liste der Protokolle nach Modellnamen gefiltert anzeigen können. Diese Aktion führt eine genaue Suche (zum Beispiel "=GPT-3.5 (Turbo)") nach diesem Modell durch und zeigt die zugehörigen Ereignisprotokolle an, kategorisiert nach Ereignistyp. Die Protokolle werden nach Ereignistyp angezeigt. Wenn Sie auf einen Ereignistyp klicken, können Sie zusätzliche Details zu den Modellinteraktionen einsehen, die während der Automatisierungsausführung stattgefunden haben.

Exportieren Sie Berichte basierend auf den im Widget dargestellten Daten, indem Sie auf Elemente als .csv exportieren klicken.

Wenn Sie auf Mehr anzeigen klicken, um die gesamte Modellauslastung zu sehen, erscheint der Model utilization-Detailbildschirm für Most used models . Die folgende Tabelle enthält Details zu den einzelnen Spalten:

Tabelle 1. Model utilization Detailbildschirm für Most used models
Spaltenüberschrift Beschreibung
Modellname Dies ist das Modell, das in einer bestimmten Automatisierung wie GPT-4 von OpenAI verwendet wird. Sie können auf das Modell klicken, um zur Registerkarte KI > KI-Governance > Ereignisprotokoll in Control Room zu gelangen, wo Sie alle Protokolle nach Modellnamen gefiltert anzeigen können.

Einzelheiten finden Sie unter Event log.
Herausgeber Unterstützter Hyperscaler-Anbieter wie Amazon Bedrock, Google Vertex AI, Azure OpenAI oder OpenAI.
Automatisierungen Anzahl der generative AIBefehlsaktionen, die bei Automatisierungsausführungen unter Verwendung von Generative AI Package und AI Skills Package verwendet wurden.
AI Skills Anzahl der ausgeführten Anrufautomatisierungen mit AI Skills.
Modellaufrufe Anzahl der Anrufe, die an das Modell getätigt wurden.
Geräte Anzahl der während der Modellinteraktion verwendeten Geräte.

Token consumption Widget

Das Widget Token consumption bietet Einblick in Ihre Top-Automatisierungen, die die größte Anzahl aggregierter Token pro Modell verbrauchen. Um die Gesamtanzahl für Token consumption eines Modells zu ermitteln, werden die Metriken basierend auf dem Automatisierungsnamen, dem Ordnerpfad und dem Modellnamen des Hyperscaler-Anbieters berechnet. Bewegen Sie den Mauszeiger über einen Balken im Widget, um die Token consumption Details einer bestimmten Automatisierung anzuzeigen.

Standardmäßig zeigt das Token consumption-Widget Daten für die Letzten 24 Stunden an. Sie können jedoch oben auf dem Bildschirm einen anderen Zeitfilter auswählen.

Die GRC-Leiter und Automatisierungsleiter würden dieses Widget verwenden, um die Token-Nutzung der Modelle während ihrer Interaktionen und Ausführungen innerhalb von Automatisierungen zu überwachen und zu verfolgen, um Kosten und Abonnements effektiv zu verwalten. Dies wird ihnen dabei helfen, Token consumption basierend auf der Modellpräferenz zu projizieren.

Token consumption-Details-Widget

Das Token consumption-Detail-Widget zeigt die fünf meistgenutzten Automatisierungen an. Standardmäßig werden Daten für die Letzten 24 Stunden angezeigt. Sie können jedoch oben auf dem Bildschirm einen anderen Zeitfilter auswählen.

Anmerkung: Sie können die Tabelle Token-Verbrauch-Details basierend auf Automatisierungsname, Ordnerpfad, Herausgeber, Modellname oder Arbeitsbereich filtern. Um nach einem exakten Begriff zu suchen, müssen Sie den Suchbegriff in gerade Anführungszeichen setzen (z. B. "Amazon Bedrock").

Exportieren Sie Berichte basierend auf den im Widget dargestellten Daten, indem Sie auf Elemente als .csv exportieren klicken.

Wenn Sie auf Mehr anzeigen klicken, um den gesamten Tokenverbrauch zu sehen, erscheint der Token consumption-Detailbildschirm. Die folgende Tabelle enthält Details zu den einzelnen Spalten:

Tabelle 2. Token consumption-Details-Bildschirm
Spaltenüberschrift Beschreibung
Automatisierungsname Name der Automatisierung, die ausgeführt wurde. Sie können auf den Namen klicken, um zur Registerkarte AI > AI-Governance > AI-Prompt-Log in Control Room zu gelangen, wo Sie alle Protokolle gefiltert nach dem Automatisierungsnamen anzeigen können.

Einzelheiten finden Sie unter AI prompt log.
Ordnerpfad Der Speicherort des Ordners der Automatisierungvon wo aus es ausgeführt wurde.
Herausgeber Unterstützter Hyperscaler-Anbieter wie Amazon Bedrock, Google Vertex AI, Azure OpenAI oder OpenAI.
Modellname Dies ist das Modell, das in einer bestimmten Automatisierung wie GPT-4 von OpenAI verwendet wird.
Nutzer Anzahl der Nutzer.
Arbeitsbereich Dies kann der private oder öffentliche Ordner sein, von dem aus die Automatisierung ausgeführt wurde.
AI Skills Anzahl der AI Skills, die in der Automatisierung verwendet werden.
Token Gesamtanzahl der vom Modell verwendeten Token.