이벤트 로그 모니터링

이벤트 로그는 모델 상호작용 세션 중에 발생하는 모든 이벤트에 대한 시각적 요약을 제공합니다.

특정 이벤트의 세부 정보를 볼 수 있는 기능이 있는 세션에 여러 개의 이벤트가 있을 수 있습니다. 예를 들어, 기본 모델에 대한 성공적인 연결, 프롬프트 전송 및 응답 수신, 세션 실패 및 성공, 토큰 사용 및 기타 이벤트 세부 정보 등이 있습니다. 이러한 세부 정보를 모니터링하고 볼 수 있는 기능을 통해 데이터를 분석하고 데이터 보안, 거버넌스 및 규정 준수를 위한 예방 조치를 선제적으로 취할 수 있습니다.

선택한 세션과 관련된 모든 이벤트 유형을 보려면 세션 ID와 같이 사용 가능한 검색 매개변수로 검색을 구체화할 수 있습니다.

특정 세션의 모든 이벤트 유형 보기

주: 마우스를 작업 아이콘에 롤오버하여 각 항목에 대한 특정 기능을 식별할 수 있습니다.

이벤트 로그 테이블 세부 정보

이벤트 로그 테이블은 다음 열에 따라 세부 정보를 정렬하고 표시합니다.

이벤트 로그 테이블 세부 정보

1

상태: 이벤트의 성공 또는 실패를 표시합니다.

2

시간: 이벤트의 시작 시간을 표시합니다.

3

이벤트 유형: 다음과 같은 각 세션 유형을 표시합니다. 프롬프트 보내기, 수신한 응답, 모델 연결 및 트리거 프롬프트 템플릿.

이벤트 유형 링크를 클릭하여 추가 이벤트 세부 정보를 드릴다운하여 볼 수 있습니다.

4

모델 이름: 다음과 같이 상호 작용한 기본 모델 버전 이름을 표시합니다. Amazon Bedrock용 Claude, Google Vertex AI용 VertexAI, Azure OpenAI용 GPT 3.5 Turbo 및 기타.

5
프롬프트 유형: 자동화에 사용된 프롬프트 유형을 표시합니다. 다음이 포함됩니다.
  • 모든 생성형 AI 패키지에 대해 캡처된 자유 형식 프롬프트 로그.
  • 프롬프트 템플릿에 대해 캡처된 프롬프트 템플릿 프롬프트 로그.
6

자동화 이름: 특정 프롬프트를 사용한 자동화 이름을 표시합니다.

7

세션 ID: 자동화 세션 ID를 표시합니다.

8

기기 이름: 자동화가 실행된 기기의 ID를 표시합니다.

9

사용자: 자동화를 실행한 사용자의 ID를 표시합니다.

10

폴더 경로: 자동화가 실행된 폴더 위치입니다.

지원되는 이벤트 유형 로그

자동화의 모든 모델 상호 작용에 대해 다음 이벤트 유형 로그가 캡처됩니다.
  • 모델 연결
  • 프롬프트 전송
  • 응답 수신
  • 프롬프트 템플릿 트리거

이벤트 유형 열에서 해당 링크를 클릭하면 다음 매개변수별로 이벤트 세부 정보를 보다 자세히 볼 수 있습니다. 세부 정보는 이벤트 유형에 따라 다릅니다. 같은 화면에서 각 이벤트 유형에 대해 서로 다른 매개변수를 볼 수 있습니다.

이벤트 로그 세부 정보

주: 자동화 유형 필드에는 모델 상호작용 세션에 사용된 자동화 유형이 표시됩니다. 나머지 필드는 이벤트 로그 테이블 세부 정보와 동일합니다.

이벤트 세부 정보는 이벤트 유형에 따라 표시됩니다.

생성형 AI 패키지로 실행된 자동화에 대해 자유 양식 로그(생성형 AI 패키지 사용 시 생성됨)가 캡처되며, 모델 연결, 프롬프트 전송, 수신된 응답 이벤트 유형의 지원을 받습니다.

지원되는 이벤트 유형 매개변수에 대해 살펴보겠습니다.

모델 연결
  • 프롬프트 템플릿: 모델 연결을 테스트할 때 사용되는 프롬프트 템플릿을 표시합니다.
  • 공급업체: Azure OpenAI, Google Vertex AI 등과 같은 기본 모델 공급업체 이름을 표시합니다.
  • 줄 번호: Task Bot에서 이 연결이 사용된 줄의 번호를 표시합니다.
  • 연결 방법: 모델에 연결하는 데 사용되는 연결 유형을 표시합니다. 예: Amazon Bedrock, Azure OpenAIOpenAIAPI 키를 사용하여 연결합니다. Google Vertex AI사용자 계정, 서비스 계정 또는 Control room OAuth 연결을 사용하여 연결합니다.
프롬프트 전송
  • 프롬프트: 사용자가 입력한 전체 프롬프트 텍스트를 표시합니다.
  • 자세한 내용을 클릭하면 다음 정보가 표시됩니다.
    • 공급업체: Amazon Bedrock, Google Vertex AI, Azure OpenAI, OpenAI 등과 같은 기본 모델 공급업체 이름을 표시합니다.
    • 매개변수: 다음과 같이 프롬프트에 대해 사용된 매개변수 값을 표시합니다. Max tokens, Top P, Temperature 등. 이러한 매개변수는 모델에 따라 다릅니다.
수신된 응답
  • 프롬프트: 사용자가 입력한 전체 프롬프트 텍스트를 표시합니다.
  • 응답: 모델로부터 받은 응답을 표시합니다.
  • 자세한 내용을 클릭하면 소비된 토큰에 대한 추가 정보를 볼 수 있습니다. 모델 상호 작용에 의해 소비된 토큰 수를 표시합니다. 이렇게 하면 소비된 토큰과 잔액을 추적하는 데 도움이 됩니다.
프롬프트 템플릿 트리거
  • 프롬프트 템플릿: 모델 연결을 테스트할 때 사용되는 프롬프트 템플릿을 표시합니다.