AI 프롬프트 로그

AI 프롬프트 로그는 기반 모델과의 상호 작용을 감사하고 모니터링하는 데 사용되며, 모델 상호 작용을 위한 자동화 실행 내에서 발생하는 모든 세션을 한눈에 볼 수 있도록 통합 요약 보기를 제공합니다.

세션 내에서 여러 모델과 상호 작용할 수 있습니다. 모든 자동화 실행에는 모든 이벤트를 단일 세션 ID로 집계할 수 있는 세션ID가 할당됩니다.

세션 ID 링크를 클릭하면 세션별로 자세한 보기를 확인할 수 있습니다. 상세 보기에는 기본 모델과 교환된 프롬프트, 응답 및 기타 매개변수가 포함됩니다.

AI 프롬프트 로그 테이블 세부 정보

프롬프트 로그에 액세스하려면 AI > 거버넌스 > AI 프롬프트 로그로 이동합니다. AI 프롬프트 로그 테이블은 다음 열에 따라 세부 정보를 정렬하고 표시합니다.

AI 프롬프트 로그 업데이트

1
지속 기간: 세션 실행의 시작 및 종료 시간을 표시합니다.
주: 세션이 진행 중인 경우에는 이 정보를 사용할 수 없습니다.
2

시작 시간: 세션 실행 시작 시간을 표시합니다.
3

세션 ID: 자동화 실행을 위한 세션 ID를 표시합니다. 하나의 세션은 동일한 자동화 실행의 일부인 여러 모델 상호 작용으로 구성될 수 있습니다. 해당 세션의 모든 모델 상호 작용에 대한 세부 정보를 보려면 해당 세션 ID 링크를 클릭하십시오.
4

출처: 이 프롬프트가 입력된 제품의 위치를 표시합니다.
5
프롬프트 유형: 자동화에 사용된 프롬프트 유형을 표시합니다. 유형은 다음과 같습니다.
  • 자유 형식(생성형 AI 패키지 또는 Automator용 Co-Pilot이 사용되는 경우)
  • AI Skill(AI 기술 패키지가 사용되는 경우)
6

자동화 이름: 프롬프트를 사용한 자동화 이름을 표시합니다.
7

기기 이름: 자동화가 실행된 기기의 ID를 표시합니다.
8

사용자: 자동화를 실행한 사용자의 ID를 표시합니다.
9

AI 가드레일 : 각 AI 세션에 적용된 구체적인 가드레일을 보여줍니다.
10

폴더 경로: 실행된 자동화의 폴더 위치. AI 기술이 자동화(상위 또는 하위)와 통합될 때, 표시되는 폴더 경로는 상위 자동화의 폴더 경로와 동일합니다.

AI 프롬프트 로그 세션 및 모델 상호작용 세부사항

특정 AI 상호작용에 대한 자세한 정보를 보려면 먼저 AI 프롬프트 로그 테이블에서 세션 ID를 클릭합니다. 그러면 동일한 화면에서 추가 세션 세부 정보가 표시됩니다. 거기에서 기본 모델의 이름을 확장하여 해당 상호작용의 전체 세부 정보를 볼 수 있습니다.

주: 자동화 유형 필드에는 모델 상호 작용 세션에서 기본 모델이 사용된 모델 유형이 표시됩니다. 나머지 필드는 AI 프롬프트 로그 테이블 세부 정보와 동일합니다.

모델 상호작용 세부 정보

테이블 항목 설명
AI 가드레일 할당됨 각 AI 세션에 적용된 특정 가드레일을 표시합니다.
독성 프롬프트와 응답의 독성 수준을 표시합니다.
프롬프트 프롬프트를 정의할 때 사용자가 사용자 프롬프트 필드에 입력한 프롬프트 텍스트를 표시합니다.
응답 프롬프트 요청에 대해 모델로부터 받은 응답을 표시합니다.
프롬프트가 AI 가드레일에 의해 차단되는 경우, 이 이벤트는 AI 프롬프트 로그에 기록됩니다. 로그에는 프롬프트 내용, 평가된 유해성 수준, 취해진 조치 등의 세부 정보가 포함됩니다. 프롬프트가 가드레일 정책에 의해 차단되면 LLM까지 전달되지 않는다는 점에 유의해야 합니다.
  • 허용된 프롬프트: 프롬프트의 유해성 점수가 허용 한도 내에 있으면, 로그에는 모델의 응답이 포함되며 민감한 데이터는 마스킹 처리됩니다. 응답의 유해성 점수와 응답에 취해진 가드레일 조치도 기록됩니다.
  • 차단된 프롬프트: 프롬프트가 (LLM에 도달하기 전에) 가드레일에 의해 차단되거나 유해성 점수로 인해 차단된 경우, 로그에는 가드레일에 의해 차단됨과 같은 가드레일 조치가 명시적으로 기록됩니다.
  • 차단된 응답: 모델이 생성한 응답에 대해 가드레일에서 플래그를 지정하면, 로그에는 마스킹된 응답, 해당 응답의 유해성 점수, 그리고 가드레일에 의해 차단됨과 같은 가드레일 조치가 표시됩니다.

일반적으로 자동화 책임자와 GRC 책임자는 자동화 내에서 기본 모델을 사용할 때 정책이 준수되는지 확인하기 위해 규정 준수 및 거버넌스에 대한 로그를 모니터링하므로 각 세션에서 모델 상호 작용에 대한 추가 세부 정보를 볼 수 있는 권한을 갖습니다.

모델 상호 작용에 대한 추가 매개변수를 보려면 자세히 보기를 클릭하십시오.
주: 이 추가적인 드릴다운 기능은 자동화 관리자가 관련 권한을 활성화한 경우에만 전문 개발자에게 제공됩니다( AI 거버넌스 로그 보기 > AI 거버넌스 로그 세부 정보 보기). 권한이 활성화되지 않은 경우, 첫 번째 수준 세션 세부 정보만 볼 수 있습니다.
테이블 항목 설명
세션 기간 시작 및 종료 시간을 표시합니다.
게시자 기본 모델 공급자 이름을 표시합니다.
모델 다음과 같은 기본 모델 버전 이름을 표시합니다. Azure OpenAI용 GPT 3.5 Turbo, Google Vertex AI용 VertexAI, Amazon Bedrock용 Claude 및 기타.
외부 세션 ID 세션 내에서 캡처된 특정 모델 상호 작용의 세션 ID를 표시합니다. 단일 세션은 단일 자동화 실행 내에서 여러 모델 상호 작용으로 구성될 수 있습니다. 이 정보를 사용하여 하나의 세션에서 발생하는 모든 모델 상호 작용을 추적할 수 있습니다.
응답 구성 다음과 같이 프롬프트에 대해 사용된 매개변수 값을 표시합니다. Temperature, Top P, Max Tokens, Presence Penalty 및 기타. 이러한 매개변수와 그 값은 모델 제공업체에 따라 다릅니다.
응답 속성 응답에서 값이 포함된 속성을 표시합니다.
모델 연결 유형 모델 연결의 유형을 지정합니다. 모델 연결 유형은 다음 중 하나일 수 있습니다.
  • 표준
  • 미세 조정됨
  • 기술 자료에 기반함
  • 데이터 저장소에 기반함
  • 기업 지식에 기반
  • AI 검색에 기반함
팁: 여러 모델 상호 작용이 있는 자동화 실행의 경우, 세션 로그에 각 모델 호출에 대해 별도의 확장 가능한 패널이 표시됩니다. 생성형 AI 패키지에 대해 실행되는 자동화의 일반적인 유스케이스입니다.

AI Agent 프롬프트 로그

AI Agent를 사용할 때, AI 프롬프트 로그는 에이전트, LLM, 그리고 에이전트와 연관된 다양한 도구들 간의 상호작용을 포착합니다. 이러한 상호작용의 주요 측면은 다음과 같습니다.

의사 결정 과정 및 동적 도구 선택:
어떤 도구를 사용하여 작업을 수행할지 결정하는 과정은 AI Agent Studio를 통해 용이하게 처리할 수 있습니다. AI Agent는 LLM에 제공된 맥락과 지침을 바탕으로 도구를 동적으로 선택합니다. 이 선택 과정은 기록되며, 어떤 도구가 선택되었고 그 이유가 무엇인지도 표시됩니다.
LLM에 대한 지침
로그에는 역할, 목표 및 작업을 포함하여 LLM에 전송된 지침이 기록됩니다. 여기에는 시스템 도구, 최종 상태 도구 및 사용자 도구에 대한 세부 정보가 포함됩니다.
도구 실행
AI 프롬프트 로그는 도구에 제공된 입력값과 수신된 출력값을 포함하여 도구의 실행을 추적합니다.
최종 상태 평가
LLM은 컨텍스트를 평가하고 목표가 달성되었는지 판단합니다. AI 프롬프트 로그는 이 평가와 최종 결정(예: 성공 도구 추천)을 기록합니다.

AI 프롬프트 로그를 모니터링함으로써 AI Agent가 어떻게 의사결정을 내리고 있는지, 어떤 도구가 사용되고 있는지, 그리고 에이전트가 목표를 달성하고 있는지에 대한 인사이트를 얻을 수 있습니다.