KI-Prompt-Protokoll

KI-Prompt-Protokoll wird für die Prüfung und Überwachung von Interaktionen mit dem Foundation-Modell verwendet und bietet eine konsolidierte Übersicht über alle Sitzungen, die innerhalb einer Automatisierungsausführung für Modellinteraktionen stattfinden.

Innerhalb einer Sitzung kann es zu Interaktionen mit mehreren Modellen kommen. Jeder Automatisierungsausführung wird eine Sitzungs-ID zugewiesen, mit der alle Ereignisse zu einer einzigen Sitzungs-ID zusammengefasst werden können.

Durch Klicken auf den Sitzungs-ID-Link können Sie zu einer detaillierten, sitzungsspezifischen Ansicht gelangen. Die Detailansicht enthält Eingabeaufforderungen, Antworten und andere Parameter, die mit den Basismodellen ausgetauscht werden.

KI-Prompt-Protokoll-Tabellendetails

Um auf die Promptprotokolle zuzugreifen, navigieren Sie zu KI > Governance > KI-Promptprotokoll. Die KI-Prompt-Protokoll-Tabelle sortiert und zeigt die Details nach diesen Spalten an:

KI-Eingabeprotokoll-Updates

eins
Dauer: Zeigt die Start- und Endzeit der Ausführung einer Sitzung an.
Anmerkung: Diese Informationen sind nicht verfügbar, wenn die Sitzung läuft.
zwei

Startzeit: Zeigt die Startzeit der Ausführung der Sitzung an.
drei

Sitzungs-ID: Zeigt die Sitzungs-ID für eine Automatisierungsausführung an. Eine Sitzung kann aus mehreren Modellinteraktionen bestehen, die Teil der gleichen Automatisierungsausführung sind. Klicken Sie auf den Link Sitzungs-ID, um Details zu allen Modellinteraktionen für diese Sitzung anzuzeigen.
vier

Quelle: Zeigt, wo in dem Produkt diese Eingabe gemacht wurde.
fünf
Eingabeaufforderungs-Typ Zeigt die Art des in der Automatisierung verwendeten Prompts an. Die Typen umfassen:
  • Freiform (wenn Generative KI-Pakete oder Co-Pilotfür Automatisierer verwendet werden).
  • KI-Fähigkeit ( wenn KI-Fähigkeiten Pakete verwendet werden.)
sechs

Automatisierungsname: Zeigt den Namen der Automatisierung an, die die Eingabeaufforderung verwendet hat.
sieben

Gerätename: Zeigt die ID des Geräts an, auf dem die Automatisierung ausgeführt wurde.
acht

Nutzer: Zeigt die ID des Nutzers an, der die Automatisierung ausgeführt hat.
neun

KI-Schutzvorrichtung : Zeigt die spezifische Schutzvorrichtung, die auf jede KI-Sitzung angewendet wird.
zehn

Ordnerpfad: Der Speicherort des Ordners der ausgeführten Automatisierung. Wenn eine KI-Fähigkeit in eine Automatisierung (übergeordnet oder untergeordnet) integriert ist, wird derselbe Ordnerpfad angezeigt wie der Ordnerpfad der übergeordneten Automatisierung.

KI-Prompt-Protokoll-Sitzungs- und Modellinteraktionsdetails

Um weitere Informationen zu einer bestimmten KI-Interaktion anzuzeigen, klicken Sie zuerst auf die Sitzungs-ID aus der KI-Prompt-Protokoll-Tabelle. Dies zeigt Ihnen zusätzliche Sitzungsdetails auf demselben Bildschirm an. Von dort aus können Sie den Namen des grundlegenden Modells erweitern, um die vollständigen Details dieser Interaktion anzuzeigen.

Anmerkung: Das Feld Automatisierungstyp zeigt den Modelltyp an, für den das Basismodell in der Modellinteraktionssitzung verwendet wurde. Die übrigen Felder sind die gleichen wie in den KI-Prompt-Protokoll-Tabellendetails.

Modellinteraktionsdetails

Tabellenelement Beschreibung
KI-Schutzvorrichtung zugewiesen Zeigt die spezifische Schutzvorrichtung an, die auf jede KI-Sitzung angewendet wird.
Toxizität Zeigt den Toxizitätsgrad der Eingabeaufforderung und der Antwort an.
Prompt Zeigt den Eingabetext, den der Nutzer im Feld Nutzer-Prompt eingegeben hat, wenn die Eingabeaufforderung definiert wird.
Antwort Zeigt die vom Modell erhaltene Antwort auf die Eingabeaufforderungs-Anforderung an.
Wenn eine Eingabeaufforderung durch eine KI-Schutzvorrichtung blockiert wird, wird dieses Ereignis im KI-Prompt-Protokoll protokolliert. Die Protokolle enthalten Details wie den Inhalt der Eingabeaufforderung, das bewertete Toxizitätsniveau und die ergriffene Maßnahme. Bitte beachten Sie, dass eine Eingabeaufforderung, die durch die Schutzvorrichtungsrichtlinie blockiert wird, nicht an das LLM weitergeleitet wird.
  • Erlaubte Eingabeaufforderungen: Wenn der Toxizitätswert der Eingabe innerhalb akzeptabler Grenzen liegt, wird das Protokoll die Antwort des Modells enthalten, wobei alle sensiblen Daten maskiert werden. Der Toxizitätswert der Antwort und die ergriffene Schutzmaßnahme für die Antwort werden ebenfalls aufgezeichnet.
  • Blockierte Eingabeaufforderungen: Wenn eine Eingabeaufforderung durch eine Schutzvorrichtung (vor Erreichen des LLM) oder aufgrund ihres Toxizitätswerts blockiert wird, wird im Protokoll ausdrücklich die ergriffene Schutzmaßnahme angegeben, z. B. Durch Schutzvorrichtung blockiert.
  • Blockierte Antworten: Wenn die vom Modell generierte Antwort durch eine Schutzvorrichtung markiert wird, werden im Protokoll die maskierte Antwort, ihr Toxizitätswert und die daraufhin ergriffene Schutzmaßnahme angezeigt, z. B. Durch Schutzvorrichtung blockiert.

Normalerweise haben der Automation-Lead und der GRC-Lead die Berechtigung, die zusätzlichen Details für Modellinteraktionen in jeder Sitzung einzusehen, da sie die Protokolle für Compliance und Governance überwachen, um sicherzustellen, dass die Richtlinien bei der Verwendung von Basismodellen innerhalb von Automatisierungen eingehalten werden.

Klicken Sie auf Mehr Details, um zusätzliche Parameter für die Modellinteraktion anzuzeigen:
Anmerkung: Dieser zusätzliche Drill-Down ist nur für Pro-Entwickler verfügbar, wenn die entsprechende Berechtigung vom Automatisierungsadministrator aktiviert ist ( KI-Governance-Protokolle anzeigen > KI-Governance-Protokolldetails anzeigen). Falls nicht, können sie nur die Sitzungsdetails der ersten Ebene einsehen.
Tabellenelement Beschreibung
Sitzungsdauer Zeigt die Start- und Endzeit an.
Herausgeber Zeigt den Namen des Anbieters des Basismodells an.
Modell Zeigt den Versionsnamen des Basismodells an, z. B.: GPT 3.5 Turbo für Azure OpenAI, VertexAI für Google Vertex AI, Claude für Amazon Bedrock und andere.
Externe Sitzungs-ID Zeigt die Sitzungs-ID einer bestimmten Modellinteraktion an, die innerhalb einer Sitzung erfasst wurde. Eine einzelne Sitzung kann aus mehreren Modellinteraktionen innerhalb einer einzigen Automatisierungsausführung bestehen. Sie können diese Informationen verwenden, um jede Modellinteraktion in einer Sitzung zu verfolgen.
Antwortkonfigurationen Zeigt die für die Eingabeaufforderung verwendeten Parameterwerte an, wie z. B.: Temperatur, Top P, Max Token, Präsenzstrafe und andere. Diese Parameter und ihre Werte variieren je nach Modellanbieter.
Antwortattribute Zeigt die Attribute mit den Werten aus der Antwort an.
Modellverbindungstyp Gibt den Typ der Modellverbindung an. Der Modellverbindungstyp kann einer der folgenden sein:
  • Standard
  • Fein abgestimmt
  • Durch Wissensdatenbank geerdet
  • Durch Datenspeicher geerdet
  • Grounded by Enterprise Knowledge
  • Grounded durch AI search
Tipp: Bei einer Automatisierungsausführung mit mehreren Modellinteraktionen sehen Sie im Sitzungsprotokoll für jeden Modellaufruf ein separates erweiterbares Bedienfeld. Dies ist ein typischer Anwendungsfall für Automatisierungen, die für generative KI-Pakete ausgeführt werden.

KI-Agenten-Promptprotokolle

Bei der Verwendung von KI-Agenten erfasst der KI-Prompt-Protokoll die Interaktionen zwischen dem Agent, dem LLM und verschiedenen dem Agent zugeordneten Tools. Im Folgenden sind die wichtigsten Aspekte dieser Interaktionen aufgeführt:

Entscheidungsfindungsprozess und dynamische Tool-Auswahl:
Der Entscheidungsprozess, welches Tool für die Durchführung einer Operation verwendet werden soll, wird über AI Agent Studio erleichtert. KI-Agenten wählen Werkzeuge dynamisch basierend auf dem Kontext und den Anleitungen, die dem LLM bereitgestellt werden. Dieser Auswahlprozess wird protokolliert und zeigt, welche Tools ausgewählt wurden und warum.
Anleitungen für LLM
Das Protokoll erfasst die Anleitungen, die an das LLM gesendet wurden, einschließlich der Rolle, des Ziels und der Aktionen. Dies umfasst Details zu System-Tools, Endzustand-Tools und Nutzer-Tools.
Tool-Ausführung
Der KI-Prompt-Protokoll verfolgt die Ausführung von Tools, einschließlich der dem Tool bereitgestellten Eingaben und der empfangenen Ausgaben.
Bewertung des Endstatus
Das LLM bewertet den Kontext und bestimmt, ob das Ziel erreicht ist. Der KI-Prompt-Protokoll dokumentiert diese Bewertung und die endgültige Entscheidung, wie zum Beispiel die Empfehlung eines Erfolgs-Tools.

Durch die Überwachung des KI-Prompt-Protokolls können Sie Einblicke gewinnen, wie KI-Agenten Entscheidungen treffen, welche Tools verwendet werden und ob die Agents ihre Ziele erreichen.