Sehen Sie sich die neuen Funktionen sowie Fehlerbehebungen und Einschränkungen in AI Governance, AI Guardrails und AI Evaluations für v.40 an.
Wichtig: Diese Versionshinweise gelten nur für Automation 360 v.40 für die Cloud-Sandbox-Umgebung (Build 45794). Cloud v.40 ist noch nicht allgemein verfügbar. Deshalb kann sich der Inhalt auf diesen Seiten noch ändern, bis Cloud allgemein verfügbar ist.

Neue Funktionen

AI Evaluations liefern gesteuerte, umsetzbare Leistungsanalysen für Agents und Fähigkeiten

AI Evaluations führt kontrollierte, gemessene Bewertung von AI Agents und AI Skills ein, wobei Lizenzierung und Verbrauch von KI-Credits an die Berechtigungsverfolgung und -durchsetzung für Cloud-Umgebungen gekoppelt sind. Diese Fähigkeit stellt sicher, dass Teams die Leistung von KI mit automatisierter Bewertung im Entwicklungszyklus von KI-Agents validieren und benchmarken können. Lizenzierte Benutzer haben Zugriff auf die Bewertungsfunktion sowie auf die automatisierten Bewertungen und Details über neue Bewertungsseiten, die im KI-Menü verfügbar sind. Weitere Informationen finden Sie unter KI-Bewertungen.

Nur für Cloud-Umgebungen verfügbar.

• Berechtigungs- und Nutzungssteuerungen: Erfordert eine entsprechende Lizenzierung (APA Essentials oder APA Pro) sowie KI-Credits mit Nutzungsverfolgung und Durchsetzung.

• Automatische und manuelle Tools: Integrierte Unterstützung für automatische und manuelle Bewertungen mithilfe vordefinierter Metriken zur Messung der Leistung und zur detaillierten Bewertung.

• Detaillierte Insights: Die Bewertungen basieren auf Branchen- und Forschungskennzahlen und enthalten Aufschlüsselungen, die erwartete und tatsächliche Interaktionen, Ausführungssequenzen und Verhaltensmuster aufzeigen.

• Flexible Datensatzunterstützung: Laden Sie Datensätze hoch, verwenden Sie sie erneut oder definieren Sie sie manuell mit sicherer, auditkonformer Aufbewahrung für wiederholbare Evaluierungszyklen. Maximale Dateigröße beträgt 50 MB. Datensätze werden für 1 Jahr aufbewahrt (bei Nutzung wird die Frist zurückgesetzt).
Anmerkung: Hochladen ist nur verfügbar, wenn AI Skills ausgewertet wird.

AI Evaluations hilft Teams, die Qualität, Zuverlässigkeit und Governance von KI-gestützten Automatisierungen und agentenbasierten Prozessen vor der Produktionseinführung und nach der Produktionseinführung zu optimieren.
Führen Sie AI Evaluations für AI Skills und AI Agents durch und sehen Sie Einblicke in der Detailbewertung-Ansicht

Der Bewertung durchführen -Ablauf unterstützt jetzt AI Agents. Benutzer können Agent-Bewertungen über die Seite „Bewertungen“ oder direkt im Agent-Editor aufrufen. Sie können auch anzeigen

Sie können die Auswertungen im Agent-Editor und auf der Evaluations-Landing-Page einsehen. Eine Zusammenfassung ist für die gesamte Evaluation verfügbar. Eine genauere Untersuchung ist verfügbar, indem Sie auf der Seite die Bewertungsdetails auswählen. Dies bietet eine Zusammenfassung der Bewertungen des ausgeführten Datensatzes. Die Detailansicht für jede Datensatzausführung ist über die Agent-Ausgabedetails verfügbar. Einige dieser Details umfassen:
  • Metriken
  • Ergebnisse
  • Begründung
Protokolldateien und Richtlinie zur Datenaufbewahrung für AI Evaluations

Wenn AI Evaluations ausgeführt wird, wird ein Ereignisprotokoll in AI Governance zu Prüfzwecken erstellt. Daten von AI Evaluations enthalten Datum und Benutzerinformationen für Sicherheit sowie Kontrolle über Versionen und Änderungen. Die Speicherung und Aufbewahrung dieser Daten erfolgt gemäß der bestehenden Aufbewahrungsrichtlinie entsprechend unserem Plattform-Framework. Weitere Informationen finden Sie unter Datenaufbewahrungsrichtlinie.
KI-Agent-Auditprotokolle jetzt in der AI Governance verfügbar
Vollständige Transparenz und Nachverfolgbarkeit der Aktivitäten und Interaktionen von KI-Agents mit LLM-Modellen für Governance- und Compliance-Audits. Stellt die Einhaltung von Sicherheitsrichtlinien und Anforderungen an eine verantwortungsvolle AI Governance durch umfassende Audit Trails sicher.
  • Verfolgen Sie alle Agent-Ausführungen vom Start bis zum Abschluss mit detaillierter Protokollierung von Eingaben und Ausgaben.
  • Überwachen Sie LLM-Interaktionen, Tool-Aufrufe und Systemantworten in Echtzeit.
  • 180-tägige Protokollaufbewahrung mit Drilldown-Funktionen zur Untersuchung.

Änderungen

Erweiterte AI Governance-Protokollierung für Systemprompts mit Sichtbarkeit der Toxizität

AI Governance erfasst jetzt System-Prompt-Details und Toxizitätswerte in Prompt-Protokollen und Ereignisprotokollen, selbst wenn Benutzereingaben von AI Guardrails blockiert werden. Wenn entweder System- oder Benutzerprompts die gemäß der Richtlinie der Schutzvorrichtung für Toxizität konfigurierten Schwellenwerte überschreiten, wird die Sperre angewendet und sowohl System- als auch Benutzeraufforderungs-Toxizitätswerte werden in den Protokollen aufgezeichnet.

Diese erweiterte Transparenz verdeutlicht, warum Prompts blockiert wurden, und unterstützt die Bewertung und Analyse der Systemprompt-Toxizität zusammen mit Benutzereingaben. Dadurch wird die Überprüfbarkeit verbessert und die Ausrichtung an Schutzrichtlinien für ein sichereres und transparenteres Automatisierungsverhalten gestärkt.

AI Guardrails-Maskierungsfunktion unterstützt jetzt zusätzliche Entitäten und erweiterte regionale Sprache

Verbesserungen stärken die Data Loss Prevention (DLP)-Kontrollen, indem sie die Abdeckung von Entitäten erweitern und eine zuverlässige Maskierung in weiteren globalen Sprachen ermöglichen. Maskierungs- und Entmaskierungsoperationen sind für alle drei sensiblen Datenkategorien (PII, PCI, PHI) vollständig funktionsfähig.Die vollständige Liste finden Sie unter Data Masking in KI.

AI Guardrails unterstützt jetzt das Maskieren und Entmaskieren für die folgenden Sprachen: Russisch, Hindi, Japanisch, Koreanisch, Mandarin (Traditionelles Chinesisch) und Portugiesisch.

Korrekturen

KI-Prompt-Protokolle zeigen wie erwartet mehr als 1.000 Einträge in AI Governance an. Zuvor wurden Datensätze nicht geladen.

Einschränkungen

Im Arabischen wird Maskierung teilweise unterstützt. Einige Entitäten werden möglicherweise nicht immer erkannt oder maskiert.