Examinez les nouveautés ainsi que les correctifs et les limitations de AI Governance, AI Guardrails et AI Evaluations pour la version v.40.
Important : Ces notes de publication sont applicables uniquement à Automation 360 v.40 pour un environnement Cloud-Sandbox (Build 45794). La version v.40 pour le cloud n\'est pas encore généralement disponible (Generally Available/GA), le contenu de ces pages est donc susceptible d\'être modifié jusqu\'à la publication de la version pour le cloud généralement disponible.

Nouveautés

AI Evaluations fournit des informations exploitables et gouvernées sur les performances pour les agents et les compétences

AI Evaluations introduit une évaluation contrôlée et mesurée des AI Agents et des AI Skills, avec la gestion des licences et la consommation de crédits IA liées au suivi des droits et à l\'application des règles dans les environnements cloud. Cette fonctionnalité garantit que les équipes peuvent valider et évaluer les performances de l\'Agent IA avec une évaluation automatisée intégrée au cycle de développement de l\'Agent IA. Les utilisateurs sous licence ont accès à la fonctionnalité d\'évaluation ainsi qu\'aux scores automatisés et aux détails via les nouvelles pages d\'évaluation, disponibles dans le menu IA. Voir, Évaluations IA.

Disponible uniquement pour les environnements cloud.

Droits et contrôles d\'utilisation : Nécessite une licence appropriée (APA Essentials ou APA Pro) ainsi que des crédits AI avec suivi et application de l\'utilisation.

Outils automatiques et manuels : Prise en charge intégrée des évaluations automatiques et manuelles à l\'aide de métriques prédéfinies permettant de mesurer les performances et les détails des scores.

Informations détaillées : Les scores sont étayés par des indicateurs issus du secteur et de la recherche, avec des analyses détaillées qui mettent en lumière les interactions attendues par rapport aux interactions réelles, les séquences d\'exécution et les schémas de comportement.

Prie en charge flexible des ensembles de données Téléchargez, réutilisez ou définissez manuellement des jeux de données avec une conservation sécurisée et conforme aux audits, pour des cycles d\'évaluation reproductibles. La taille maximale du fichier est de 50 Mo. Les jeux de données sont conservés pendant 1 an (réinitialisation en cas d\'utilisation).
Remarque : Le téléversement n\'est disponible que lors de l\'évaluation des AI Skills.

AI Evaluations aide les équipes à optimiser la qualité, la fiabilité et la gouvernance des automatisations alimentées par l\'IA et des processus agentiques, avant le déploiement en production et après le déploiement.

Réalisez une AI Evaluations pour les AI Skills et les AI Agents et consultez les informations dans la vue Évaluation détaillée

Le flux Exécuter l\'évaluation prend désormais en charge les AI Agents. Les utilisateurs peuvent lancer des évaluations d\'agent en utilisant la page Évaluations, ou directement depuis l\'éditeur d\'agent. Vous pouvez également consulter

Vous pouvez consulter les évaluations depuis l\'éditeur d\'agent et la page d\'accueil des évaluations. Un résumé est disponible pour l\'Évaluation globale. Une analyse plus approfondie est disponible en sélectionnant les détails de l\'évaluation sur la page. Ceci fournit un résumé des scores du jeu de données exécuté. Une vue détaillée de chaque exécution de jeu de données est disponible via les détails de sortie de l\'agent. Voici quelques-uns de ces détails :
  • Métriques
  • Scores
  • Raisonnement
Politique de journalisation des événements et de conservation des données pour AI Evaluations

Lorsqu\'une AI Evaluations est exécutée, un Journal des événements est créé dans AI Governance à des fins d\'audit. Les données provenant de l\'AI Evaluations incluent la date et les informations utilisateur pour assurer la sécurité et le contrôle des versions et des modifications. Le stockage et la conservation de ces données respectent la politique de conservation existante conformément au cadre de notre plateforme. Voir, Politique de rétention des données.

Les journaux d\'audit des Agents IA sont désormais disponibles dans la Gouvernance de l\'IA
Visibilité et traçabilité complètes des activités de l\'Agent IA et de ses interactions avec les modèles LLM pour la gouvernance et l\'audit de conformité. Garantit la conformité aux stratégies de sécurité et aux exigences de gouvernance responsable de l\'IA grâce à des pistes d\'audit complètes.
  • Suivez toutes les exécutions d\'agent du début à la fin grâce à une journalisation détaillée des entrées et des sorties.
  • Surveillez en temps réel les interactions avec les LLM, les appels d\'outils et les réponses du système.
  • Rétention des journaux pendant 180 jours avec des capacités d\'exploration approfondie pour l\'investigation.

Qu\'est-ce qui a changé ?

Journalisation AI Governance étendue pour les invites système avec visibilité de la toxicité

AI Governance enregistre désormais les détails de l\'invite système et les scores de toxicité dans les journaux d\'invite et les journaux d\'événements, même lorsque les invites utilisateur sont bloquées par les AI Guardrails. Lorsque les invites système ou utilisateur dépassent les seuils configurés selon la politique de garde-fou pour la toxicité, le blocage est appliqué et les niveaux de toxicité des invites système et utilisateur sont tous deux enregistrés dans les journaux.

Cette visibilité accrue précise les raisons pour lesquelles des invites ont été bloquées et permet l\'évaluation ainsi que l\'analyse de la toxicité des invites système parallèlement aux entrées utilisateur ; cela améliore l\'auditabilité et l\'alignement avec les politiques de garde-fous pour un comportement d\'automatisation plus sûr et plus transparent.

La fonctionnalité de masquage des AI Guardrails prend désormais en charge des entités supplémentaires et une langue régionale étendue

Les améliorations renforcent les contrôles de prévention de la perte de données (Data Loss Prevention/DLP) en élargissant la couverture des entités et en permettant un masquage fiable dans de nouvelles langues mondiales. Les opérations de masquage et de démasquage sont entièrement fonctionnelles pour les trois catégories de données sensibles (PII, PCI, PHI).Voir la liste complète, Masquage des données dans l\'IA.

Les AI Guardrails prennent désormais en charge le masquage et le démasquage pour les langues suivantes : Russe, hindi, japonais, coréen, mandarin (chinois traditionnel) et portugais.

Correctifs

Les journaux des invites IA affichent plus de 1000 enregistrements dans AI Governance, comme prévu. Auparavant, les enregistrements ne se chargeaient pas.

Limites

En arabe, le masquage est partiellement pris en charge. Certaines entités peuvent ne pas être détectées ou masquées de manière cohérente.