이벤트 로그 상호 작용 모니터링

이벤트 로그는 모델 상호작용 세션 중에 발생하는 모든 이벤트에 대한 시각적 요약을 제공합니다.

특정 이벤트의 세부 정보를 볼 수 있는 기능이 있는 세션에 여러 개의 이벤트가 있을 수 있습니다. 예를 들어, 기본 모델에 대한 성공적인 연결, 프롬프트 전송 및 응답 수신, 세션 실패 및 성공, 토큰 사용 및 기타 이벤트 세부 정보 등이 있습니다. 이러한 세부 정보를 모니터링하고 볼 수 있는 기능을 통해 데이터를 분석하고 데이터 보안, 거버넌스 및 규정 준수를 위한 예방 조치를 선제적으로 취할 수 있습니다.

이벤트 로그 테이블 세부 정보

선택한 세션과 관련된 모든 이벤트 유형을 보려면 세션 ID와 같이 사용 가능한 검색 매개변수로 검색을 구체화할 수 있습니다.

주: 마우스를 작업 아이콘에 롤오버하여 각 항목에 대한 특정 기능을 식별할 수 있습니다.

이벤트 로그 테이블은 다음 열에 따라 세부 정보를 정렬하고 표시합니다.

이벤트 로그 테이블 세부 정보

1

상태: 이벤트의 성공 또는 실패를 표시합니다.
2

시간: 이벤트의 시작 시간을 표시합니다.
3

이벤트 유형: 다음과 같은 각 세션 유형을 표시합니다. 프롬프트 보내기, 수신한 응답, 모델 연결 및 트리거 프롬프트 템플릿.

이벤트 유형 링크를 클릭하여 추가 이벤트 세부 정보를 드릴다운하여 볼 수 있습니다.
4

모델 이름: 다음과 같이 상호 작용한 기본 모델 버전 이름을 표시합니다. Amazon Bedrock용 Claude, Google Vertex AI용 VertexAI, Azure OpenAI용 GPT 3.5 Turbo 및 기타.
5
프롬프트 유형: 자동화에 사용된 프롬프트 유형을 표시합니다. 다음이 포함됩니다.
  • 모든 생성형 AI 패키지에 대해 캡처된 자유 형식 프롬프트 로그.
  • 프롬프트 템플릿에 대해 캡처된 프롬프트 템플릿 프롬프트 로그.
6

자동화 이름: 특정 프롬프트를 사용한 자동화 이름을 표시합니다.
7

세션 ID: 자동화 세션 ID를 표시합니다.
8

기기 이름: 자동화가 실행된 기기의 ID를 표시합니다.
9

사용자: 자동화를 실행한 사용자의 ID를 표시합니다.
10

AI 가드레일 : 각 이벤트에 적용된 구체적인 가드레일을 보여줍니다.
11

폴더 경로: 자동화가 실행된 폴더 위치입니다.

지원되는 이벤트 유형 로그

자동화의 모든 모델 상호 작용에 대해 다음 이벤트 유형 로그가 캡처됩니다.
  • 모델 연결
  • 프롬프트 전송
  • 응답 수신
  • 프롬프트 템플릿 트리거

이벤트 유형 열에서 해당 링크를 클릭하면 다음 매개변수별로 이벤트 세부 정보를 보다 자세히 볼 수 있습니다. 세부 정보는 이벤트 유형에 따라 다릅니다. 같은 화면에서 각 이벤트 유형에 대해 서로 다른 매개변수를 볼 수 있습니다.

이벤트 로그 세부 정보

주: 자동화 유형 필드에는 모델 상호작용 세션에 사용된 자동화 유형이 표시됩니다. 나머지 필드는 이벤트 로그 테이블 세부 정보와 동일합니다.

생성형 AI 패키지로 실행된 자동화에 대해 자유 양식 로그(생성형 AI 패키지 사용 시 생성됨)가 캡처되며, 모델 연결, 프롬프트 전송, 수신된 응답 이벤트 유형의 지원을 받습니다.

각 이벤트는 다음을 표시합니다.
  • 상태: 모델 연결이 성공적으로 설정되었는지 여부를 나타냅니다.
  • 이벤트 유형: 이벤트를 모델 연결로 분류합니다.
  • 시간: 연결 시도의 타임스탬프를 지정합니다.
  • 프롬프트 유형: 사용된 프롬프트의 유형을 식별합니다.
  • 모델 이름: 사용된 언어 모델의 이름을 지정합니다. 예시: GPT-4.
  • 세션 ID: 연결 세션의 고유 식별자입니다.
  • 자동화 이름 - 자동화의 이름을 나타냅니다.
  • 기기 이름: 자동화와 관련된 기기를 지정합니다.
  • 사용자: 자동화를 시작한 사용자를 식별합니다.
  • 자동화 유형: 자동화 유형을 분류합니다. 예를 들어 Task Bot, API Task가 있습니다.
  • AI 가드레일 할당 AI 가드레일이 할당되었는지 여부를 나타냅니다.
  • 모델 연결 유형: 모델 연결의 유형을 지정합니다. 모델 연결 유형은 다음 중 하나일 수 있습니다.
    • 표준
    • 미세 조정됨
    • 기술 자료에 기반함
    • 데이터 저장소에 기반함
    • 기업 지식에 기반
    • AI 검색에 기반함

지원되는 이벤트 유형 매개변수에 대해 살펴보겠습니다.

모델 연결
  • 게시자: Amazon Bedrock, Google Vertex AI, Azure OpenAI, OpenAI 등과 같은 기본 모델 게시자 이름을 표시합니다.
  • 연결 방법: 모델에 연결하는 데 사용되는 연결 유형을 표시합니다. 예: Amazon Bedrock, Azure OpenAI 및 OpenAI는 API 키를 사용하여 연결합니다. Google Vertex AI는 사용자 계정, 서비스 계정 또는 Control room OAuth 연결을 사용하여 연결합니다.
프롬프트 전송
  • 독성: 전체 프롬프트(시스템 프롬프트 및 사용자 프롬프트)의 독성 점수를 보여줍니다.
  • 시스템 프롬프트: 사용자가 입력한 전체 시스템 프롬프트 텍스트를 표시합니다.
  • 사용자 프롬프트: 사용자가 입력한 전체 사용자 프롬프트 텍스트를 표시합니다.
  • 자세한 내용을 클릭하면 다음 정보가 표시됩니다.
    • 게시자: Amazon Bedrock, Google Vertex AI, Azure OpenAI, OpenAI 등과 같은 기본 모델 게시자 이름을 표시합니다.
    • 요청 구성: 다음과 같이 프롬프트에 대해 사용된 매개변수 값을 표시합니다. Max tokens, Top P, Temperature 등. 이러한 매개변수는 모델에 따라 다릅니다.
수신된 응답
  • 독성: 전체 프롬프트(시스템 프롬프트 및 사용자 프롬프트)의 독성 점수와 받은 응답의 독성 점수를 보여줍니다.
  • 시스템 프롬프트: 사용자가 입력한 전체 시스템 프롬프트 텍스트를 표시합니다.
  • 사용자 프롬프트: 사용자가 입력한 전체 사용자 프롬프트 텍스트를 표시합니다.
  • 응답: 모델로부터 받은 응답을 표시합니다.
  • 자세한 내용을 클릭하면 소비된 토큰에 대한 추가 정보를 볼 수 있습니다. 모델 상호 작용에 의해 소비된 토큰 수를 표시합니다. 이렇게 하면 소비된 토큰과 잔액을 추적하는 데 도움이 됩니다.
트리거 AI Skill:
  • AI 기술 세부 정보 트리거: 모델 연결을 테스트할 때 사용되는 프롬프트의 세부 정보를 표시합니다.