이벤트 로그

이벤트 로그는 모델 상호작용 세션 중에 발생하는 모든 이벤트에 대한 시각적 요약을 제공합니다.

특정 이벤트의 세부 정보를 볼 수 있는 기능이 있는 세션에 여러 개의 이벤트가 있을 수 있습니다. 예를 들어, 기본 모델에 대한 성공적인 연결, 프롬프트 전송 및 응답 수신, 세션 실패 및 성공, 토큰 사용 및 기타 이벤트 세부 정보 등이 있습니다. 이러한 세부 정보를 모니터링하고 볼 수 있는 기능을 통해 데이터를 분석하고 데이터 보안, 거버넌스 및 규정 준수를 위한 예방 조치를 선제적으로 취할 수 있습니다.

이벤트 로그 테이블 세부 정보

선택한 세션과 관련된 모든 이벤트를 보려면 세션 ID와 같이 사용 가능한 검색 매개변수로 검색을 구체화할 수 있습니다.

주: 마우스를 작업 아이콘에 롤오버하여 각 항목에 대한 특정 기능을 식별할 수 있습니다.

이벤트 로그 테이블은 다음 열에 따라 세부 정보를 정렬하고 표시합니다.

이벤트 로그 테이블 세부 정보

1

상태: 이벤트의 성공 또는 실패를 표시합니다.

2

시간: 이벤트의 시작 시간을 표시합니다.

3

이벤트 유형: 다음과 같은 각 세션 유형을 표시합니다. 프롬프트 보내기, 수신한 응답, 모델 연결AI 기술 트리거.

이벤트 유형 링크를 클릭하여 추가 이벤트 세부 정보를 드릴다운하여 볼 수 있습니다.

4

출처: 이 프롬프트가 입력된 제품의 위치를 표시합니다.

5

모델 이름: 다음과 같이 상호 작용한 기본 모델 버전 이름을 표시합니다. Amazon Bedrock용 Claude, Google Vertex AI용 VertexAI, Azure OpenAI용 GPT 3.5 Turbo 및 기타.

6
프롬프트 유형: 자동화에 사용된 프롬프트 유형을 표시합니다. 유형은 다음과 같습니다.
  • 자유 형식(생성형 AI 패키지가 사용되는 경우)
  • AI Skill(AI 기술 패키지가 사용되는 경우)
7

자동화 이름: 특정 프롬프트를 사용한 자동화 이름을 표시합니다.

8

세션 ID: 자동화 세션 ID를 표시합니다.

9

기기 이름: 자동화가 실행된 기기의 ID를 표시합니다.

10

사용자: 자동화를 실행한 사용자의 ID를 표시합니다.

11

AI 가드레일 : 각 이벤트에 적용된 구체적인 가드레일을 보여줍니다.

12

폴더 경로: 자동화가 실행된 폴더 위치입니다.

지원되는 이벤트 유형 로그

자동화의 모든 모델 상호 작용에 대해 다음 이벤트 유형 로그가 캡처됩니다.
  • AI 기술 트리거
  • 프롬프트 전송
  • 모델 연결
  • 응답 수신

이벤트 유형 열에서 해당 링크를 클릭하면 다음 매개변수별로 이벤트 세부 정보를 보다 자세히 볼 수 있습니다. 세부 정보는 이벤트 유형에 따라 다릅니다. 같은 화면에서 각 이벤트 유형에 대해 서로 다른 매개변수를 볼 수 있습니다.

이벤트 로그 세부 정보

주: 자동화 유형 필드에는 모델 상호작용 세션에 사용된 자동화 유형이 표시됩니다. 나머지 필드는 이벤트 로그 테이블 세부 정보와 동일합니다.

생성형 AI 패키지로 실행된 자동화에 대해 자유 양식 로그(생성형 AI 패키지 사용 시 생성됨)가 캡처되며, 모델 연결, 프롬프트 전송, 수신된 응답 이벤트 유형의 지원을 받습니다.

각 이벤트는 다음을 표시합니다.
  • 상태: 모델 연결이 성공적으로 설정되었는지 여부를 나타냅니다.
  • 이벤트 유형: 이벤트 유형을 분류합니다.
  • 시간: 연결 시도의 타임스탬프를 지정합니다.
  • 프롬프트 유형: 사용된 프롬프트의 유형을 식별합니다.
  • 모델 이름: 사용된 언어 모델의 이름을 지정합니다. 예시: GPT-4.
  • 세션 ID: 연결 세션의 고유 식별자입니다.
  • 자동화 이름 - 자동화의 이름을 나타냅니다.
  • 기기 이름: 자동화와 관련된 기기를 지정합니다.
  • 사용자: 자동화를 시작한 사용자를 식별합니다.
  • 자동화 유형: 자동화 유형을 분류합니다.
  • AI 가드레일 할당 AI 가드레일이 할당되었는지 여부를 나타냅니다.
  • 모델 연결 유형: 모델 연결의 유형을 지정합니다. 모델 연결 유형은 다음 중 하나일 수 있습니다.
    • 표준
    • 미세 조정됨
    • 기술 자료에 기반함
    • 데이터 저장소에 기반함
    • 기업 지식에 기반
    • AI 검색에 기반함

지원되는 이벤트 유형 매개변수에 대해 살펴보겠습니다.

트리거 AI 기술
  • AI 기술 세부 정보 트리거: 모델 연결을 테스트할 때 사용되는 프롬프트의 세부 정보를 표시합니다.
프롬프트 전송
  • 독성: 전체 프롬프트(시스템 프롬프트 및 사용자 프롬프트)의 독성 점수를 보여줍니다. 가드레일이 유해한 콘텐츠를 차단하도록 설정된 경우 해당 작업이 가드레일에 의해 차단된 사실이 로그에 표시되며, 이는 프롬프트가 LLM에 도달하기 전에 AI 가드레일에서 이를 차단하고 있음을 명시적으로 나타냅니다. 유해성에 대한 자세한 내용은 AI의 유해성의 내용을 참조하십시오.
  • 시스템 프롬프트: 사용자가 입력한 전체 시스템 프롬프트 텍스트를 표시합니다.
  • 사용자 프롬프트: 사용자가 입력한 전체 사용자 프롬프트 텍스트를 표시합니다.
  • 자세한 내용을 클릭하면 다음 정보가 표시됩니다.
    주: 이 추가적인 드릴다운 기능은 자동화 관리자가 관련 권한을 활성화한 경우에만 전문 개발자에게 제공됩니다( 관리 > 역할 > AI > AI 거버넌스 로그 보기 > AI 거버넌스 세부 정보 보기). 권한이 활성화되지 않은 경우, 첫 번째 수준 세션 세부 정보만 볼 수 있습니다.
    • 게시자: Amazon Bedrock, Google Vertex AI, Azure OpenAI, OpenAI 등과 같은 기본 모델 게시자 이름을 표시합니다.
    • 요청 구성: 다음과 같이 프롬프트에 대해 사용된 매개변수 값을 표시합니다. Max tokens, Top P, Temperature 등. 이러한 매개변수는 모델에 따라 다릅니다.
모델 연결
  • 게시자: Amazon Bedrock, Google Vertex AI, Azure OpenAI, OpenAI 등과 같은 기본 모델 게시자 이름을 표시합니다.
  • 연결 방법: 모델에 연결하는 데 사용되는 연결 유형을 표시합니다. 예: Amazon Bedrock, Azure OpenAIOpenAIAPI 키를 사용하여 연결합니다. Google Vertex AI사용자 계정, 서비스 계정 또는 Control room OAuth 연결을 사용하여 연결합니다.
수신된 응답
  • 독성: 전체 프롬프트(시스템 프롬프트 및 사용자 프롬프트)의 독성 점수를 보여줍니다. 가드레일이 유해한 콘텐츠를 차단하도록 설정된 경우 해당 작업이 가드레일에 의해 차단된 사실이 로그에 표시되며, 이는 프롬프트가 LLM에 도달하기 전에 AI 가드레일에서 이를 차단하고 있음을 명시적으로 나타냅니다.
    주: 프롬프트가 LLM에 도달하기 전에 차단되면 응답을 받을 수 없습니다. 따라서, 이러한 경우에는 이벤트 로그에서 해당 이벤트를 확인할 수 없습니다. 유해성 규칙 설정에 대한 자세한 내용은 AI 가드레일 생성 및 관리 항목을 참조하십시오.
  • 시스템 프롬프트: 사용자가 입력한 전체 시스템 프롬프트 텍스트를 표시합니다.
  • 사용자 프롬프트: 사용자가 입력한 전체 사용자 프롬프트 텍스트를 표시합니다.
  • 응답: 모델로부터 받은 응답을 표시합니다.
  • 자세한 내용을 클릭하면 소비된 토큰에 대한 추가 정보를 볼 수 있습니다. 모델 상호 작용에 의해 소비된 토큰 수를 표시합니다. 이렇게 하면 소비된 토큰과 잔액을 추적하는 데 도움이 됩니다.