Verbessern Sie Ihr KI-Governance-Dashboard-Erlebnis durch die Überprüfung der Daten für Häufigste Automatisierungen mit KI, Am häufigsten verwendete Modelle, Gen-AI-Modellaufrufe, Modellnutzung, Token-Nutzung und Token-Nutzung-Detail-Widgets, um KI-Daten anzuzeigen, zu überwachen und zu analysieren, die aus Modellinteraktionen während der Automatisierungsentwicklung und Automatisierungsausführung in Ihrem Unternehmen abgeleitet wurden.

Berechtigungen

GRC Leads, Automation Leads und Pro Developers können das KI-Governance-Dashboard verwenden, nachdem der Automation Admin die erforderlichen Einstellungen aktiviert hat. Die notwendige Einstellung ist:
  • Rollen > KI > KI-Dashboards anzeigen
Anmerkung:
Wenn Sie die Einstellung KI-Dashboards anzeigen aktivieren, wird das KI-Governance Dashboard angezeigt. Um noch detailliertere Informationen anzuzeigen und auf die ausführlichen Protokolle in den Registerkarten AI-Eingabeaufforderungsprotokoll und Ereignisprotokoll zuzugreifen, müssen diese zusätzliche Einstellung aktiviert werden:
  • Rollen > KI > KI-Governance-Protokolle anzeigen > KI-Governance-Details anzeigen

Einzelheiten finden Sie unter Zuweisung von Rollen und Berechtigungen zur Aktivierung von KI-Governance.

Häufigste Automatisierungen mit KI Widget

Dieses Dashboard-Widget zeigt ein Balkendiagramm mit den zehn am häufigsten ausgeführten Automatisierungen, die KI-Interaktionen verwenden. Sie können die Namen der zehn wichtigsten Automatisierungen und die Anzahl ihrer Ausführungen in den letzten 24 Stunden sehen. Wenn Sie mit der Maus über eine Automatisierungsleiste im Widget fahren, wird ein Text mit dem Namen der Automatisierung und der Gesamtzahl der Ausführungsläufe angezeigt.

Klicken Sie auf ein Balkendiagramm, um in die Tiefe zu gehen und zusätzliche Einzelheiten anzuzeigen. Wenn Sie auf eine Automatisierungsleiste klicken, gelangen Sie zur Registerkarte AI > AI-Governance > AI-Prompt-Protokoll im Control Room. Dort können Sie eine nach Sitzungen sortierte Liste aller Ausführungen der Automatisierung anzeigen. Durch Klicken auf jede Sitzung werden die Details angezeigt. In diesem Bildschirm können Sie den Zeitfilter ändern.

Weitere Informationen finden Sie unter KI-Prompt-Protokoll.

Anmerkung: Sie werden den Eingabeaufforderungstext, die Eingabeaufforderungsantwort und die Daten zur Einstellung der Modellparameter in den Details der Automatisierungsausführungssitzung nicht sehen, wenn der Pro Developer die Umschaltfläche Datenprotokollierung für eine bestimmte KI-Fähigkeit auf dem Bildschirm KI-Fähigkeiten deaktiviert hat.

Am häufigsten verwendete Modelle Widget

Der GRC-Leiter und der Automatisierungsleiter würden dieses Widget verwenden, um die Modellnutzung für die Am häufigsten verwendete Modelle innerhalb von Automatisierungen zu überwachen und zu verfolgen, um Abonnements effektiv zu verwalten. Dies wird ihnen dabei helfen, die Nutzung genehmigter und unterstützter Modelle der Hyperscaler-Anbieter zu implementieren.

Das Am häufigsten verwendete Modelle-Widget bietet Einblick in die fünf am häufigsten verwendeten Modelle innerhalb von Automatisierungen, die mithilfe von Generative KI Paket und KI-Fähigkeiten Paket in der Produktionsumgebung ausgeführt werden.

Lassen Sie uns die Details des Widgets Am häufigsten verwendete Modelle überprüfen. Die Daten werden in einem Balkenformat dargestellt und nach Automatisierungsname, Modellname des Hyperscaler-Anbieters, Paketname und deren Verwendung sortiert. Standardmäßig zeigt das Am häufigsten verwendete Modelle-Widget Daten für die letzten 24 Stunden an. Jeder Balken repräsentiert Folgendes:
  • Der Name der Automatisierung mit dem verwendeten Paket, unabhängig davon, ob Generative KI Pakete oder KI-Fähigkeiten Paket verwendet wurde.
  • Das vom Hyperscaler-Anbieter verwendete Modell, zum Beispiel: GPT-4 von OpenAI

Bewegen Sie den Mauszeiger über einen Balken, um eine Zusammenfassung der Details anzuzeigen.

Wenn Sie auf ein Balkendiagramm klicken, gelangen Sie zur Registerkarte KI > KI-Governance > Ereignisprotokoll im Control Room, wo Sie eine Liste von Protokollen anzeigen können, die nach Modellnamen gefiltert sind. Diese Aktion führt eine genaue Suche (zum Beispiel "=GPT-3.5 (Turbo)") nach diesem Modell durch und zeigt die zugehörigen Ereignisprotokolle an, kategorisiert nach Ereignistyp. Die Protokolle werden nach Ereignistyp angezeigt. Wenn Sie auf einen Ereignistyp klicken, können Sie zusätzliche Details zu den Modellinteraktionen einsehen, die während der Automatisierungsausführung stattgefunden haben.

Einzelheiten finden Sie unter Ereignisprotokoll.

  1. Klicken Sie zusätzlich zur Drilldown-Option im Balkendiagramm auf die Auslassungspunkte in der oberen rechten Ecke, um Details anzeigen für eine Detailansicht auszuwählen.
  2. Der KI-Governance-Dashboard-Bildschirm zeigt die Details der Registerkarte Modellnutzung an.

GenAI-Modellaufruf-Widget

Das GenAI-Modellaufruf-Widget bietet eine Ansicht der Nutzung des GenAI-Modells in Ihrer Organisation. Dieses Dashboard zeigt die fünf am häufigsten genutzten GenAI-Modelle, basierend auf der Anzahl der ausgeführten Eingabeaufforderungen. Es verfolgt speziell Anrufe, die von Automatisierungen in öffentlichen Arbeitsbereichen ausgeführt werden, und umfasst sowohl erfolgreiche als auch fehlgeschlagene sowie betreute und unbetreute Ausführungen.

Verbindungs- und Authentifizierungsaufrufe werden vom Widget nicht berücksichtigt. Der Fokus liegt ausschließlich auf der Ausführung von Eingabeaufforderungen in GenAI- und KI-Fähigkeit-Befehlsaktionen. Wichtig zu wissen: Befindet sich eine Befehlsaktion in einer Schleife, so zählt jede Ausführung einer Eingabeaufforderung innerhalb der Schleife als eigener Modellaufruf. Sie können ein Zeitfenster auswählen, um die Nutzungstrends des Modells zu analysieren. Klicken Sie auf einen Modellnamen im Widget, um zum KI-Governance-Ereignisprotokoll zu gelangen. Dieses ist vorgefiltert, um alle Ereignisse anzuzeigen, die mit diesem speziellen Modell verbunden sind, und ermöglicht so eine tiefergehende Analyse und Fehlersuche.

Modellnutzung Widget

Das Modellnutzung-Widget zeigt die fünf wichtigsten Automatisierungen an. Standardmäßig werden Daten für die Letzten 24 Stunden angezeigt. Sie können jedoch oben auf dem Bildschirm einen anderen Zeitfilter auswählen.

Wenn Sie auf einen Modellnamen klicken, gelangen Sie zur Registerkarte KI > KI-Governance > Ereignisprotokoll im Control Room, wo Sie eine Liste der Protokolle nach Modellnamen gefiltert anzeigen können. Diese Aktion führt eine genaue Suche (zum Beispiel "=GPT-3.5 (Turbo)") nach diesem Modell durch und zeigt die zugehörigen Ereignisprotokolle an, kategorisiert nach Ereignistyp. Die Protokolle werden nach Ereignistyp angezeigt. Wenn Sie auf einen Ereignistyp klicken, können Sie zusätzliche Details zu den Modellinteraktionen einsehen, die während der Automatisierungsausführung stattgefunden haben.

Exportieren Sie Berichte basierend auf den im Widget dargestellten Daten, indem Sie auf Elemente als .csv exportieren klicken.

Wenn Sie auf Mehr anzeigen klicken, um die gesamte Modellauslastung zu sehen, erscheint der Modellnutzung-Detailbildschirm für Am häufigsten verwendete Modelle . Die folgende Tabelle enthält Details zu den einzelnen Spalten:

Tabelle 1. Modellnutzung Detailbildschirm für Am häufigsten verwendete Modelle
Spaltenüberschrift Beschreibung
Modellname Dies ist das Modell, das in einer bestimmten Automatisierung wie GPT-4 von OpenAI verwendet wird. Sie können auf das Modell klicken, um zur Registerkarte KI > KI-Governance > Ereignisprotokoll in Control Room zu gelangen, wo Sie alle Protokolle nach Modellnamen gefiltert anzeigen können.

Einzelheiten finden Sie unter Ereignisprotokoll.
Herausgeber Unterstützter Hyperscaler-Anbieter wie Amazon Bedrock, Google Vertex AI, Azure OpenAI oder OpenAI.
Automatisierungen Anzahl der generative KIBefehlsaktionen, die bei Automatisierungsausführungen unter Verwendung von Generative KI Paket und KI-Fähigkeiten Paket verwendet wurden.
KI-Fähigkeiten Anzahl der ausgeführten Anrufautomatisierungen mit KI-Fähigkeiten.
Modellaufrufe Anzahl der Anrufe, die an das Modell getätigt wurden.
Geräte Anzahl der während der Modellinteraktion verwendeten Geräte.

Token-Nutzung Widget

Das Widget Token-Nutzung bietet Einblick in Ihre Top-Automatisierungen, die die größte Anzahl aggregierter Token pro Modell verbrauchen. Um die Gesamtanzahl für Token-Nutzung eines Modells zu ermitteln, werden die Metriken basierend auf dem Automatisierungsnamen, dem Ordnerpfad und dem Modellnamen des Hyperscaler-Anbieters berechnet. Bewegen Sie den Mauszeiger über einen Balken im Widget, um die Token-Nutzung Details einer bestimmten Automatisierung anzuzeigen.

Standardmäßig zeigt das Token-Nutzung-Widget Daten für die Letzten 24 Stunden an. Sie können jedoch oben auf dem Bildschirm einen anderen Zeitfilter auswählen.

Die GRC-Leiter und Automatisierungsleiter würden dieses Widget verwenden, um die Token-Nutzung der Modelle während ihrer Interaktionen und Ausführungen innerhalb von Automatisierungen zu überwachen und zu verfolgen, um Kosten und Abonnements effektiv zu verwalten. Dies wird ihnen dabei helfen, Token-Nutzung basierend auf der Modellpräferenz zu projizieren.

Token-Nutzung-Details-Widget

Das Token-Nutzung-Detail-Widget zeigt die fünf meistgenutzten Automatisierungen an. Standardmäßig werden Daten für die Letzten 24 Stunden angezeigt. Sie können jedoch oben auf dem Bildschirm einen anderen Zeitfilter auswählen.

Anmerkung: Sie können die Tabelle Token-Verbrauch-Details basierend auf Automatisierungsname, Ordnerpfad, Herausgeber, Modellname oder Arbeitsbereich filtern. Um nach einem exakten Begriff zu suchen, müssen Sie den Suchbegriff in gerade Anführungszeichen setzen (z. B. "Amazon Bedrock").

Exportieren Sie Berichte basierend auf den im Widget dargestellten Daten, indem Sie auf Elemente als .csv exportieren klicken.

Wenn Sie auf Mehr anzeigen klicken, um den gesamten Tokenverbrauch zu sehen, erscheint der Token-Nutzung-Detailbildschirm. Die folgende Tabelle enthält Details zu den einzelnen Spalten:

Tabelle 2. Token-Nutzung-Details-Bildschirm
Spaltenüberschrift Beschreibung
Automatisierungsname Name der Automatisierung, die ausgeführt wurde. Sie können auf den Namen klicken, um zur Registerkarte AI > AI-Governance > AI-Prompt-Log in Control Room zu gelangen, wo Sie alle Protokolle gefiltert nach dem Automatisierungsnamen anzeigen können.

Einzelheiten finden Sie unter KI-Prompt-Protokoll.
Ordnerpfad Der Speicherort des Ordners der Automatisierungvon wo aus es ausgeführt wurde.
Herausgeber Unterstützter Hyperscaler-Anbieter wie Amazon Bedrock, Google Vertex AI, Azure OpenAI oder OpenAI.
Modellname Dies ist das Modell, das in einer bestimmten Automatisierung wie GPT-4 von OpenAI verwendet wird.
Nutzer Anzahl der Nutzer.
Arbeitsbereich Dies kann der private oder öffentliche Ordner sein, von dem aus die Automatisierung ausgeführt wurde.
KI-Fähigkeiten Anzahl der KI-Fähigkeiten, die in der Automatisierung verwendet werden.
Token Gesamtanzahl der vom Modell verwendeten Token.