토큰 사용량을 기준으로 AI Skills 및 AI Agents 평가 시나리오 전반에서 AI Evaluations이 크레딧을 소비하는 방식을 이해합니다.

AI 평가를 위한 라이선스 모델

AI Evaluations은 AI Agents에서 사용하는 것과 동일한 기본 크레딧 프레임워크를 활용하여 Automation AI 크레딧을 소비합니다. 그러나 평가에 대한 소비는 에이전트 태스크 실행이 아니라 평가 메트릭 및 실행 범위에 의해 결정됩니다.

  • 엔터프라이즈 플랫폼 라이선스에는 자동화 AI 크레딧의 기본 풀이 포함되어 있습니다.

  • 이러한 크레딧은 AI Agents, AI Skills, AI Evaluations을 포함한 AI 기반 서비스에서 공유됩니다.

자동화 AI 크레딧

자동화 AI 크레딧은 AI Evaluations이 성공적으로 실행될 때 차감됩니다. AI Evaluations은 다음을 기준으로 크레딧을 소비합니다.
  • AI Evaluations은 자동 평가가 선택되면 AI 크레딧을 소비합니다(수동 평가에는 소비되지 않음).
  • 공용 워크스페이스에서 실행될 때 AI Agents 평가에 소비된 토큰입니다.
  • AI Skills의 경우 기본 제공 모델을 사용할 때 추가 토큰이 소비됩니다.

  • 크레딧 소비는 데이터 세트의 크기에 따라 달라집니다.

각 평가는 데이터 세트의 크기에 따라 여러 모델 호출과 에이전트 실행을 트리거할 수 있으며, 이는 크레딧 소비에 직접적인 영향을 미칩니다.

주요 해석

  • 토큰 기반 청구 모델:

    AI Evaluations 소비는 실행 횟수가 아니라 토큰 사용량(입력 + 출력)에 의해 전적으로 결정됩니다.

  • 비용 계층 구조:

    • AI Skills < AI Agents

    • 입력 토큰 < 출력 토큰

  • 차이가 발생하는 이유:

    • AI Skills 평가는 일반적으로 단일 단계 모델 응답이 포함됩니다.

    • AI Agents 평가는 다단계 추론, 도구 사용, 오케스트레이션이 포함되므로 토큰 활용도와 비용이 증가합니다.

  • 실질적 의미:

    평가의 총 크레딧 소비량은 다음과 같이 추정할 수 있습니다.

    Total Credits = 
  (Input Tokens × Input Rate) + 
  (Output Tokens × Output Rate)

    평가 유형(기술 대 에이전트)에 따라 요금이 다릅니다.

  • 또한 공용 워크스페이스에서 실행될 때 에이전트 실행에 대한 크레딧과 기본 제공 모델 연결 사용에 소비되는 크레딧도 소비합니다. 이 소비량은 데이터 세트의 크기에 따라 달라집니다.

유예 정책

구매한 크레딧이 소진되면, 평가 워크플로의 중단을 방지하기 위해 10% 추가 크레딧까지 유예 버퍼로 소비할 수 있습니다.

가시성

관리자는 Control Room 라이선스 페이지에서 다음을 포함하여 평가 관련 크레딧 사용량을 모니터링할 수 있습니다.

  • 총 구매 크레딧

  • 사용된 크레딧

  • 남은 잔액

  • 유예 사용량

평가 소비 규칙
청구됨(크레딧 차감) 청구되지 않음(차감 없음)
자동 평가 사용 시 공개 및 비공개 모두에 대해 AI Evaluations이 부과됩니다. 수동 평가를 사용할 때는 공개 및 비공개 평가에 대한 비용이 청구되지 않습니다.
모든 성공적인 평가. 실패한 평가.