Découvrez comment les AI Evaluations consomment des crédits en fonction de l\'utilisation des jetons dans les scénarios d\'évaluation de AI Skills et d\'AI Agents.

Modèle de licence pour les évaluations de l\'IA

Les AI Evaluations consomment des crédits IA d\'automatisation, en s\'appuyant sur le même cadre de crédits sous-jacent utilisé par AI Agents. Cependant, la consommation pour les évaluations est déterminée par les métriques d\'évaluation et le périmètre d\'exécution, plutôt que par l\'exécution des tâches de l\'agent.

  • La licence de plateforme Enterprise comprend un pool de base de crédits IA d\'automatisation.

  • Ces crédits sont partagés entre les services alimentés par l\'IA, y compris AI Agents, AI Skills et AI Evaluations.

Crédits d\'IA d\'automatisation

Les crédits IA d\'automatisation sont déduits lorsqu\'une AI Evaluations s\'exécute avec succès. Les AI Evaluations consomment des crédits en fonction de :
  • Les AI Evaluations consomment des crédits d\'IA lorsque des évaluations automatiques sont sélectionnées (aucune consommation pour l\'évaluation manuelle).
  • Jetons consommés pour l\'évaluation d\'AI Agents lorsqu\'elle est exécutée depuis un espace de travail public.
  • Pour les AI Skills, des jetons supplémentaires sont consommés lorsque des modèles prêts à l\'emploi sont utilisés.

  • La consommation de crédits dépend de la taille du jeu de données.

Chaque évaluation peut déclencher plusieurs appels de modèle et exécutions d\'agent selon la taille de l\'ensemble de données, ce qui a un impact direct sur la consommation de crédits.

Interprétation clé

  • Modèle de facturation basé sur les jetons :

    AI Evaluations la consommation est entièrement déterminée par l\'utilisation des jetons (entrée + sortie) plutôt que par le nombre d\'exécutions.

  • Hiérarchie des coûts :

    • AI Skills < AI Agents

    • Jetons d\'entrée < jetons de sortie

  • Pourquoi cette différence :

    • Les évaluations des AI Skills impliquent généralement des réponses de modèle en une seule étape

    • Les évaluations des AI Agents impliquent un raisonnement en plusieurs étapes, l\'utilisation d\'outils et l\'orchestration, ce qui augmente l\'utilisation des jetons et les coûts.

  • Implication pratique :

    la consommation totale de crédits pour une évaluation peut être estimée comme suit :

    Total Credits = 
  (Input Tokens × Input Rate) + 
  (Output Tokens × Output Rate)

    Les tarifs varient selon le type d\'évaluation (Compétences vs agents).

  • Consomme également des crédits pour les exécutions d\'agent lorsqu\'elles sont exécutées depuis un espace de travail public, ainsi que les crédits consommés pour l\'utilisation des connexions de modèle prêtes à l\'emploi. Cette consommation varie en fonction de la taille du jeu de données.

Politique de grâce

Si les crédits achetés sont épuisés, jusqu\'à 10 % de crédits supplémentaires peuvent être consommés comme marge de sécurité afin d\'éviter toute interruption des flux de travail d\'évaluation.

Visibilité

Les administrateurs peuvent surveiller l\'utilisation des crédits liée aux évaluations dans la page des licences Control Room, notamment :

  • Crédits achetés au total

  • Crédits utilisés

  • Solde restant

  • Utilisation du volume de grâce

Règles de consommation d\'évaluation
Facturés (crédits déduits) Non facturés (aucune déduction)
AI Evaluations facturées à la fois pour le public et le privé lors de l\'utilisation de l\'évaluation automatique. Les évaluations ne sont pas facturées depuis les espaces publics et privés lors de l\'utilisation de l\'évaluation manuelle.
Toutes les évaluations sont réussies. Des évaluations ont échoué.