Descubra cómo AI Evaluations consume créditos según el uso de tókenes en escenarios de evaluación de AI Skills y AI Agents.

Modelo de licenciamiento de las evaluaciones de IA

AI Evaluations consume créditos de IA de automatización, aprovechando el mismo marco de créditos subyacente utilizado por AI Agents. Sin embargo, el consumo para evaluaciones está impulsado por métricas de evaluación y alcance de ejecución, en lugar de por la ejecución de tareas del agente.

  • La licencia de plataforma Enterprise incluye un conjunto base de créditos de IA de automatización.

  • Estos créditos se comparten entre los servicios impulsados por IA, incluidos AI Agents, AI Skills y AI Evaluations.

Créditos de IA de automatización

Los créditos de IA de automatización se deducen cuando un AI Evaluations se ejecuta correctamente. AI Evaluations consume créditos según lo siguiente:
  • AI Evaluations consume créditos de IA cuando se seleccionan evaluaciones automáticas (no consume créditos en el caso de la evaluación manual).
  • Se consumen tókenes para evaluar AI Agents cuando se ejecuta desde el espacio de trabajo público.
  • En el caso de AI Skills, se consumen tókenes adicionales cuando se usan modelos listos para usar.

  • El consumo de créditos depende del tamaño del conjunto de datos.

Cada evaluación puede activar múltiples llamadas al modelo y ejecuciones de agente según el tamaño del conjunto de datos, lo que afecta directamente el consumo de créditos.

Interpretación clave

  • Modelo de facturación basado en tókenes:

    El consumo de AI Evaluations está impulsado completamente por el uso de tókenes (entrada + salida) en lugar del número de ejecuciones.

  • Jerarquía de costos:

    • AI Skills < AI Agents

    • Tókenes de entrada < tókenes de salida

  • ¿Por qué la diferencia?

    • Las evaluaciones de AI Skills normalmente implican respuestas de modelo de un solo paso.

    • Las evaluaciones de AI Agents implican razonamiento de varios pasos, uso de herramientas y orquestación, lo que aumenta la utilización de tókenes y el costo.

  • Implicación práctica:

    El consumo total de créditos para una evaluación se puede estimar de la siguiente manera:

    Total Credits = 
  (Input Tokens × Input Rate) + 
  (Output Tokens × Output Rate)

    Las tarifas varían según el tipo de evaluación (habilidades vs. agentes).

  • También se consumen créditos por ejecuciones de agentes cuando se ejecutan desde un espacio de trabajo público, y se consumen créditos por usar conexiones de modelo listas para usar. Este consumo varía según el tamaño del conjunto de datos.

Política de gracia

Si se agotan los créditos comprados, se puede consumir hasta un 10% de créditos adicionales como un margen de gracia para evitar interrupciones en los flujos de trabajo de evaluación.

Visibilidad

Los administradores pueden monitorear el uso de créditos relacionado con evaluaciones en la página de licencias de la Control Room, incluido lo siguiente:

  • Créditos totales adquiridos

  • Créditos usados

  • Saldo restante

  • Uso de gracia

Reglas de consumo de ejecución
Cobrado (créditos deducidos) No cobrado (sin deducción)
Se cobran AI Evaluations tanto para el uso público como privado al usar la evaluación automática. Las evaluaciones no se cobran en el uso público y privado cuando se usa la evaluación manual.
Todas las evaluaciones exitosas. Las evaluaciones fallidas.