AI 프롬프트 로그 상호 작용 모니터링
- 최종 업데이트2024/10/18
AI 프롬프트 로그 상호 작용 모니터링
AI 프롬프트 로그는 모델 상호 작용을 위한 자동화 실행 내에서 발생하는 모든 세션에 대한 통합 요약 보기를 제공합니다.
세션 내에서 여러 모델과 상호 작용할 수 있습니다. 모든 자동화 실행에는 모든 이벤트를 단일 세션 ID로 집계할 수 있는 세션ID가 할당됩니다.
세션 ID 열의 세션 ID 내에서 발생한 모든 모델 상호작용 세부정보를 자세히 보고 확인할 수 있습니다. 상세 보기에는 기본 모델과 교환된 프롬프트, 응답 및 기타 매개변수가 포함됩니다. 세션 ID로 검색을 구체화하여 선택한 세션에 고유한 추가 세부 정보를 볼 수 있습니다.
링크를 클릭하면 해당AI 프롬프트 로그 테이블 세부 정보
AI 프롬프트 로그 테이블은 다음 열에 따라 세부 정보를 정렬하고 표시합니다.
지속 기간: 세션 실행의 시작 및 종료 시간을 표시합니다.
주: 세션이 진행 중인 경우에는 이 정보를 사용할 수 없습니다. |
|
시작 시간: 세션 실행 시작 시간을 표시합니다. |
|
세션 ID: 자동화 실행을 위한 세션 ID를 표시합니다. 하나의 세션은 동일한 자동화 실행의 일부인 여러 모델 상호 작용으로 구성될 수 있습니다. 해당 세션의 모든 모델 상호 작용에 대한 세부 정보를 보려면 해당 세션 ID 링크를 클릭하십시오. |
|
프롬프트 유형: 자동화에 사용된 프롬프트 유형을 표시합니다. 예를 들어, 생성형 AI 패키지가 사용될 때는 자유 형식이 관련이 있고 프롬프트 템플릿 생성형 AI 프롬프트 템플릿가 사용될 때는 패키지이 관련이 있습니다. |
|
자동화 이름: 프롬프트를 사용한 자동화 이름을 표시합니다. |
|
기기 이름: 자동화가 실행된 기기의 ID를 표시합니다.
주: Control Room에서 작업을 수행한 경우에는 이 정보를 사용할 수 없습니다. |
|
사용자: 자동화를 실행한 사용자의 ID를 표시합니다. |
|
폴더 경로: 자동화가 실행된 폴더 위치입니다. |
AI 프롬프트 로그 세션 세부 정보
AI 프롬프트 로그 테이블에서 세션 ID 링크를 클릭하여 해당 세션의 세부 정보를 더 자세히 드릴다운하여 볼 수 있습니다.
모델 상호 작용 세부 정보
해당 상호작용에 대해 표시된 기본 모델 이름을 확장하면 같은 화면에서 추가 모델 상호작용 세션 세부 정보를 볼 수 있습니다. 세부 정보 섹션에서 프롬프트 또는 작업을 클릭하면 프롬프트 또는 모델 응답에 대한 자세한 내용을 볼 수 있습니다.
테이블 항목 | 설명 |
---|---|
프롬프트 | 프롬프트를 정의할 때 사용자가 프롬프트 필드에 입력한 프롬프트 텍스트를 표시합니다. |
응답 | 프롬프트 요청에 대해 모델로부터 받은 응답을 표시합니다. |
일반적으로 자동화 책임자와 GRC 책임자는 자동화 내에서 기본 모델을 사용할 때 정책이 준수되는지 확인하기 위해 규정 준수 및 거버넌스에 대한 로그를 모니터링하므로 각 세션에서 모델 상호 작용에 대한 추가 세부 정보를 볼 수 있는 권한을 갖습니다.
테이블 항목 | 설명 |
---|---|
세션 기간 | 시작 및 종료 시간을 표시합니다. |
공급업체 | 기본 모델 공급자 이름을 표시합니다. |
외부 세션 ID | 세션 내에서 캡처된 특정 모델 상호 작용의 세션 ID를 표시합니다. 단일 세션은 단일 자동화 실행 내에서 여러 모델 상호 작용으로 구성될 수 있습니다. 이 정보를 사용하여 하나의 세션에서 발생하는 모든 모델 상호 작용을 추적할 수 있습니다. |
매개변수 | 다음과 같이 프롬프트에 대해 사용된 매개변수 값을 표시합니다. Temperature, Top P, Max Tokens, Presence Penalty 및 기타. 이러한 매개변수와 그 값은 모델 제공업체에 따라 다릅니다. |
작업 | 프롬프트에 사용된 모델 공급업체의 작업을 표시합니다. |
모델 | 다음과 같은 기본 모델 버전 이름을 표시합니다. Azure OpenAI용 GPT 3.5 Turbo, Google Vertex AI용 VertexAI, Amazon Bedrock용 Claude 및 기타. |
줄 번호 | 자동화에서 이 작업이 발생한 줄 번호를 표시합니다. 이 정보를 사용해 자동화에서 작업을 빠르게 식별할 수 있습니다. |
여러 모델 상호 작용이 있는 자동화 실행의 경우, 세션 로그에 각 모델 호출에 대해 별도의 확장 가능한 패널이 표시됩니다. 생성형 AI 패키지에 대해 실행되는 자동화의 일반적인 유스케이스입니다.