AI prompt log

AI prompt log는 모델 상호 작용을 위한 자동화 실행 내에서 발생하는 모든 세션에 대한 통합 요약 보기를 제공합니다.

세션 내에서 여러 모델과 상호 작용할 수 있습니다. 모든 자동화 실행에는 모든 이벤트를 단일 세션 ID로 집계할 수 있는 세션ID가 할당됩니다.

세션 ID 열의 AI 거버넌스 > AI 프롬프트 로그 > 세션 ID 링크를 클릭하면 해당 세션 ID 내에서 발생한 모든 모델 상호작용 세부정보를 자세히 보고 확인할 수 있습니다. 상세 보기에는 기본 모델과 교환된 프롬프트, 응답 및 기타 매개변수가 포함됩니다. 세션 ID로 검색을 구체화하여 선택한 세션에 고유한 추가 세부 정보를 볼 수 있습니다.

주: 마우스를 작업 아이콘에 롤오버하여 각 항목에 대한 특정 기능을 식별할 수 있습니다.

AI prompt log 테이블 세부 정보

AI prompt log 테이블은 다음 열에 따라 세부 정보를 정렬하고 표시합니다.

AI 프롬프트 로그 업데이트

1
지속 기간: 세션 실행의 시작 및 종료 시간을 표시합니다.
주: 세션이 진행 중인 경우에는 이 정보를 사용할 수 없습니다.
2

시작 시간: 세션 실행 시작 시간을 표시합니다.
3

세션 ID: 자동화 실행을 위한 세션 ID를 표시합니다. 하나의 세션은 동일한 자동화 실행의 일부인 여러 모델 상호 작용으로 구성될 수 있습니다. 해당 세션의 모든 모델 상호 작용에 대한 세부 정보를 보려면 해당 세션 ID 링크를 클릭하십시오.
4

출처: 이 프롬프트가 입력된 제품의 위치를 표시합니다.
5
프롬프트 유형: 자동화에 사용된 프롬프트 유형을 표시합니다. 유형은 다음과 같습니다.
  • 자유 형식(Generative AI packages가 사용되는 경우)
  • AI Skill(AI Skills packages가 사용되는 경우)
6

자동화 이름: 프롬프트를 사용한 자동화 이름을 표시합니다.
7
기기 이름: 자동화가 실행된 기기의 ID를 표시합니다.
주: Control Room에서 작업을 수행한 경우에는 이 정보를 사용할 수 없습니다.
8

사용자: 자동화를 실행한 사용자의 ID를 표시합니다.
9

AI guardrail : 각 AI 세션에 적용된 구체적인 가드레일을 보여줍니다.
10

폴더 경로: 자동화가 실행된 폴더 위치입니다. AI Skill이 자동화(상위 또는 하위)와 통합될 때, 표시되는 폴더 경로는 상위 자동화의 폴더 경로와 동일합니다.

AI prompt log 세션 및 모델 상호작용 세부사항

AI prompt log 테이블에서 세션 ID 링크를 클릭하여 해당 세션의 세부 정보를 더 자세히 드릴다운하여 볼 수 있습니다.

해당 상호작용에 대해 표시된 기본 모델 이름을 확장하면 같은 화면에서 추가 모델 상호작용 세션 세부 정보를 볼 수 있습니다. 세부 정보 섹션에서 프롬프트 또는 작업을 클릭하면 프롬프트 또는 모델 응답에 대한 자세한 내용을 볼 수 있습니다.

주: 자동화 유형 필드에는 모델 상호 작용 세션에서 기본 모델이 사용된 모델 유형이 표시됩니다. 나머지 필드는 AI prompt log 테이블 세부 정보와 동일합니다.

모델 상호작용 세부 정보

테이블 항목 설명
AI guardrail 할당됨 각 AI 세션에 적용된 특정 가드레일을 표시합니다.
독성 프롬프트와 응답의 독성 수준을 표시합니다.
프롬프트 프롬프트를 정의할 때 사용자가 User prompt 필드에 입력한 프롬프트 텍스트를 표시합니다.
응답 프롬프트 요청에 대해 모델로부터 받은 응답을 표시합니다.
프롬프트가 AI guardrail에 의해 차단되는 경우, 이 이벤트는 AI prompt log에 기록됩니다. 로그에는 프롬프트 내용, 평가된 유해성 수준, 취해진 조치 등의 세부 정보가 포함됩니다. 프롬프트가 요청 가드레일에 의해 차단되면 LLM에 도달하지 못한다는 점을 꼭 유의해야 합니다.
  • 허용된 프롬프트: 프롬프트의 유해성 점수가 허용 한도 내에 있으면, 로그에는 모델의 응답이 포함되며 민감한 데이터는 마스킹 처리됩니다. 응답의 유해성 점수와 응답에 취해진 가드레일 조치도 기록됩니다.
  • 차단된 프롬프트: 프롬프트가 (LLM에 도달하기 전에) 가드레일에 의해 차단되거나 유해성 점수로 인해 차단된 경우, 로그에는 가드레일에 의해 차단됨과 같은 가드레일 조치가 명시적으로 기록됩니다.
  • 차단된 응답: 모델이 생성한 응답에 대해 가드레일에서 플래그를 지정하면, 로그에는 마스킹된 응답, 해당 응답의 유해성 점수, 그리고 가드레일에 의해 차단됨과 같은 가드레일 조치가 표시됩니다.

일반적으로 자동화 책임자와 GRC 책임자는 자동화 내에서 기본 모델을 사용할 때 정책이 준수되는지 확인하기 위해 규정 준수 및 거버넌스에 대한 로그를 모니터링하므로 각 세션에서 모델 상호 작용에 대한 추가 세부 정보를 볼 수 있는 권한을 갖습니다.

모델 상호 작용에 대한 추가 매개변수를 보려면 자세히 보기를 클릭하십시오.
주: 이 추가 세부 정보는 관련 권한이 자동화 관리자가 활성화한 경우에만 전문 개발자에게 제공됩니다 ( 관리 > 역할 > AI 거버넌스 > AI 프롬프트 로그 보기 > AI 프롬프트 세부정보 보기). 그렇지 않으면 첫 번째 수준의 세션 세부 정보만 볼 수 있습니다.
테이블 항목 설명
세션 기간 시작 및 종료 시간을 표시합니다.
게시자 기본 모델 공급자 이름을 표시합니다.
모델 다음과 같은 기본 모델 버전 이름을 표시합니다. Azure OpenAI용 GPT 3.5 Turbo, Google Vertex AI용 VertexAI, Amazon Bedrock용 Claude 및 기타.
외부 세션 ID 세션 내에서 캡처된 특정 모델 상호 작용의 세션 ID를 표시합니다. 단일 세션은 단일 자동화 실행 내에서 여러 모델 상호 작용으로 구성될 수 있습니다. 이 정보를 사용하여 하나의 세션에서 발생하는 모든 모델 상호 작용을 추적할 수 있습니다.
응답 구성 다음과 같이 프롬프트에 대해 사용된 매개변수 값을 표시합니다. Temperature, Top P, Max Tokens, Presence Penalty 및 기타. 이러한 매개변수와 그 값은 모델 제공업체에 따라 다릅니다.
응답 속성 응답에서 값이 포함된 속성을 표시합니다.
모델 연결 유형 모델 연결의 유형을 지정합니다. 모델 연결 유형은 다음 중 하나일 수 있습니다.
  • 표준
  • 미세 조정됨
  • 기술 자료에 기반함
  • 데이터 저장소에 기반함
  • 기업 지식에 기반
  • AI 검색에 기반함
팁: 여러 모델 상호 작용이 있는 자동화 실행의 경우, 세션 로그에 각 모델 호출에 대해 별도의 확장 가능한 패널이 표시됩니다. generative AI Packages에 대해 실행되는 자동화의 일반적인 유스케이스입니다.