Obtenez des informations sur les performances de l\'IA grâce à une compréhension approfondie des métriques et des dimensions de l\'évaluation.

Important : Cette fonctionnalité n\'est en général pas disponible et est réservée à certains clients. Contactez votre équipe chargée du compte Automation Anywhere pour obtenir plus d\'informations.

Chaque évaluation retourne des scores pour la qualité de la performance. Lors de l\'utilisation de Évaluer automatiquement, il existe une variété de métriques que le LLM utilise pour juger et retourner des scores.

Métriques

Les évaluations sont notées à partir des quatre principaux types de tâches de capacités de l\'IA. Chaque type possède des dimensions et des métriques correspondantes pour fournir des scores à l\'évaluation. Une évaluation est entièrement terminée lorsque chaque dimension est résolue.
Remarque : Les valeurs de score associent les chiffres bas à une performance faible et les chiffres élevés à une performance élevée.
Tableau 1.
Métrique Métrique Type Définition Plage de score
Résumé Cohérence factuelle LLM en tant que juge L\'alignement factuel entre le résumé et la source résumée. 0 - 1
Exhaustivité LLM en tant que juge Le résumé met-il en évidence les points clés. 0 - 1
Bleu-2 TLN Cette métrique mesure la précision des bigrammes (séquences de deux mots consécutifs) dans la sortie du LLM qui correspondent au texte de référence. 0 - 1
Rouge-2 TLN Cette métrique mesure le rappel des bigrammes (séquences de deux mots consécutifs) du texte de référence qui apparaissent dans la sortie du LLM. 0 - 1
Génération de texte Pertinence de la réponse LLM en tant que juge Quelle est la pertinence de la sortie du LLM par rapport à l\'entrée fournie ? 0 - 1
Hallucination LLM en tant que juge Si le LLM génère des informations factuellement correctes en comparant la sortie réelle au contexte fourni. 0 - 1
Bleu-2 TLN Alignement de la réponse avec la vérité terrain. 0 - 1
Rouge-2 TLN Dans quelle mesure la sortie du LLM est-elle pertinente par rapport à l\'entrée fournie ? 0 - 1
Extraction de texte Pertinence de la réponse LLM en tant que juge Quelle est la pertinence de la sortie du LLM par rapport à l\'entrée fournie ? 0 - 1
Hallucination LLM en tant que juge Si le LLM génère des informations factuellement correctes en comparant la sortie réelle au contexte fourni. 0 - 1
Équivalence à la vérité terrain LLM en tant que juge Alignement de la réponse avec la vérité terrain. 0 ou 1
Classification de texte Exactitude LLM en tant que juge L\'étiquette prédite est-elle correcte. 0 ou 1
Correspondance exacte TLN La métrique vérifie une correspondance exacte entre le résultat attendu et le résultat réel. 0 ou 1
Correspondance quasi exacte TLN Cette métrique vérifie une correspondance exacte entre le résultat attendu et le résultat réel après leur normalisation en mettant en minuscules, en supprimant la ponctuation et les articles, et en éliminant les espaces blancs supplémentaires. 0 ou 1