AI Agent Studio v.36 릴리스

AI Agent Studio v.36 릴리스에서 나온 새로운 기능과 변경된 부분, 수정 사항 및 제한 사항을 확인해보십시오.

새로운 기능

AI Guardrails

이번 릴리스에서는 민감한 데이터를 보호하고 책임 있는 AI 사용을 촉진하는 새로운 기능인 AI Guardrails을 도입합니다. AI Guardrails은 LLM에 전송되는 프롬프트 내의 PII, PHI 및 PCI를 마스킹하여 민감한 데이터를 보호합니다. 또한, 잠재적으로 해로운 언어가 있는지 확인하기 위해 프롬프트와 응답을 모니터링합니다. 관리자는 데이터 마스킹 규칙을 구성하고 이를 특정 폴더에 할당하여 자동화 전반에 걸쳐 일관된 데이터 보호를 보장할 수 있습니다.

중요사항: AI Guardrails 서비스는 Automation 360 Cloud에서 사용할 수 있으며, AI 가드레일(LLM 프롬프트 수) 라이선스 및 Enterprise Platform 라이선스와 함께 사용할 수 있습니다. 이 라이선스에 대한 자세한 내용은 Enterprise Platform 항목을 참조하십시오.

AI Guardrails

AI Skills의 System prompt

AI Skills 내에 시스템 프롬프트라는 새로운 기능이 도입될 예정입니다. 이 선택 사항 필드는 AI Skill의 보기 및 편집 권한이 있는 모든 사람에게 표시되며, 기본 모델에 초기 지침이나 컨텍스트를 제공할 수 있습니다. System prompt는 모델이 방향을 정하고 기반을 다지는 데 도움을 주어 사용자 프롬프트에 대한 응답에 영향을 미치며 더 관련성 있고 정확한 출력을 보장합니다. System prompt 필드는 모든 모델에 표시됩니다. System prompt를 지원하는 모델의 경우, 제공된 텍스트는 System prompt로 전송됩니다. 시스템 프롬프트를 지원하지 않는 모델의 경우, System prompt 필드에 제공된 텍스트가 User prompt 앞에 배치됩니다.

시스템 프롬프트

AI Guardrails 정책을 Control Room 내에서 전역적으로 활성화하거나 비활성화합니다.

이제 관리자는 관리 > 설정 > AI Guardrails 으로 이동하여 클라우드 라이선스가 있는 Control Room에서 AI Guardrails을 활성화할 수 있습니다.

이 설정을 활성화하면 전문 개발자는 AI Guardrails을 생성하여 민감한 정보를 보호하고 책임감 있는 AI 사용을 장려하기 위한 규칙을 시행할 수 있습니다.

AI Guardrails 활성화 역할 및 권한 할당

Azure OpenAI Grounded by AI Search을 사용하여 그라운딩된 Model connections을 생성하기 위한 AI Agent Studio의 RAG 기능 지원

Azure OpenAI의 기본 RAG(검색 증강 생성) 기능을 사용하여 Azure AI Search 인덱스에서 정보를 검색하고 더 정확하고 관련성 있는 응답을 제공하려면 Grounded by AI Search Model connections을 만드십시오.

Azure OpenAI RAG 기능을 갖춘 Grounded Model connections 생성

AI Skills의 AI guardrail로 테스트

배포 전에 AI Guardrails에 대해 테스트하여 AI Skills의 신뢰성과 안전성을 향상하십시오. 이 새로운 기능을 통해 선택한 가드레일이 프롬프트와 모델 응답에 미치는 영향을 시뮬레이션할 수 있습니다. 이 업데이트는 유해성 및 데이터 마스킹 결과를 제공합니다. 데이터 마스킹 실행 보기 옵션을 클릭하여 민감한 데이터의 토큰화된 마스킹 값을 확인할 수 있습니다. AI Skill이 가드레일이 활성화된 상태에서 생산 환경에서 어떻게 성능을 발휘할지에 대한 귀중한 인사이트를 확보하세요. AI Skills 편집기 내에서 이 기능에 액세스하고 AI Governance 로그를 검토하여 각 테스트의 자세한 기록을 확인하세요.

AI Skills 생성

사용자 지정 모델 정의 - AWS Signature 인증으로 인증

이 릴리스에서는 AI Agent Studio에서 사용자 지정 모델을 정의할 때 사용할 수 있는 AWS Signature 인증 지원이 도입되었습니다. 이 향상된 기능을 통해 이 인증 방법을 사용하는 더 다양한 AWS 기반 AI/ML 서비스와 원활하게 통합할 수 있습니다. 이제 새 사용자 지정 모델을 정의할 때 authType을 AWS SIGNATURE로 설정할 수 있습니다. 예시: "authType" : "AWS_SIGNATURE_V4". 필요한 AWS 자격증명 - 액세스 키 ID, 비밀 액세스 키, 세션 키(선택 사항), 리전을 제공해야 합니다.

예시:

{
   "name":"Bedrock - Claude2.1",
   "description":"string",
   "version":"string",
   "authAction":{
      "authType":"AWS_SIGNATURE_V4",
      "awsSignatureV4":{
         "accessKey":{
            "location":"header",
            "keyName":"aws_sign_access_key"
         },
         "secretkey":{
            "location":"header",
            "keyName":"aws_sign_access_key"
         },
         "sessionkey":{
            "location":"header",
            "keyName":"aws_sign_session_key"
         }
      }
   },
   "api_type":"REST",
   "actions":[
      {
         .... 
      }
   ]
}

사용자 정의 모델 정의

사용자 지정 모델 정의 - 기존 모델 업데이트

이번 릴리스에서는 새로 도입된 PUT 및 PATCH 메서드를 사용하여 기존 사용자 지정 모델 정의를 수정할 수 있는 기능을 제공합니다. 이전에는 기존 사용자 지정 모델에 대한 수정이 지원되지 않았습니다.

PUT(모델 전체 교체/업데이트): PUT 엔드포인트를 사용하여 기존 사용자 지정 모델 정의를 완전히 교체하거나 업데이트하십시오. 이 방법은 모델의 여러 속성을 업데이트해야 할 때 사용됩니다.
PUT https://{ControlRoom}/gai/prompttools/v1/custommodel
주: 이 작업은 연결된 Model connection이 없는 사용자 지정 모델로 제한됩니다.
PATCH(부분 업데이트 - 이름 및 설명): PATCH 엔드포인트를 사용하여 기존 사용자 지정 모델 정의의 이름과 설명만 업데이트하십시오.
PATCH https://{ControlRoom}/gai/prompttools/v1/custommodel

두 엔드포인트 모두 업데이트할 사용자 지정 모델을 식별하기 위해 vendorName 및 modelName이 필요하며, 성공적으로 실행되면 업데이트된 모델 세부 정보와 함께 200 OK 응답을 반환합니다.

사용자 정의 모델 정의

사용자 지정 모델 정의 - 사용자 지정 모델 API 나열, 공급업체 이름으로 필터링 가능

이번 릴리스에서는 공급업체 이름으로 사용자 지정 모델 목록을 필터링하고 특정 기준에 따라 결과를 정렬할 수 있는 기능이 도입되었습니다.

POST https://{ControlRoom}/gai/prompttools/v1/custommodel/list
요청 본문:
{
   "sort":[
      {
         "field":"name",
         "direction":"asc"
      }
   ],
   "filter":{
      "operator":"and",
      "operands":[
         {
            "operator":"eq",
            "field":"name",
            "value":"CustomVendor"
         }
      ]
   }
}

AI Agent Studio API

Azure OpenAI Grounded by AI Search을 사용하여 그라운딩된 Model connections을 생성하기 위한 AI Agent Studio의 RAG 기능 지원

Azure OpenAI의 기본 RAG(검색 증강 생성) 기능을 사용하여 Azure AI Search의 엔터프라이즈 데이터를 대규모 언어 모델과 결합한 풍부한 검색 경험을 구축하려면 Grounded by AI Search Model connections을 만드십시오.

Azure OpenAI RAG 기능을 갖춘 Grounded Model connections 생성

생성형 AI 모델 호출 위젯 소개

새로운 생성형 AI 모델은 홈 화면의 AI Governance 대시보드 내에서 위젯을 호출하여 자동화에 사용된 상위 5개의 생성형 AI 모델을 표시합니다. 모델 이름을 클릭하면 해당 모델에 대해 미리 필터링된 AI Governance 이벤트 로그로 세부 정보가 표시됩니다.

AI Governance 대시보드 위젯 사용하기

변경된 부분

사용자 지정 모델 통합 개선 사항(서비스 클라우드 케이스 ID: 02147228)

AI Agent Studio는 이제 사용자가 개발하거나 배포한 맞춤형 대형 언어 모델(LLM)과의 통합을 지원합니다. 이 기능에는 이제 이러한 맞춤형 모델의 전체 수명 주기 관리를 위한 API가 포함되어 있으며, 모델 정의, 검색, 수정 및 제거가 가능합니다. 이를 통해 AI Agent Studio 내에서 특화된 AI 모델을 활용할 수 있습니다.

사용자 정의 모델 정의

Model connections 생성 마법사에서 역할 검색 및 추가

이제 Model connections을 생성할 때 역할을 검색하고 추가할 수 있습니다.

Model connections 생성 및 관리

상위/하위 Bot 실행을 위한 향상된 AI Governance 로깅

AI Governance 로그는 이제 생성형 AI 명령 패키지와 AI Skills을 활용하는 자동화 모두에 대해 하위 봇을 시작할 때 상위 봇 세부 정보를 정확하게 반영하여 봇 실행에 대한 향상된 가시성을 제공합니다. 이전에 로그에 하위 봇 정보가 표시되어 불일치가 발생했습니다. 이 향상된 기능은 이제 로그에 상위 봇 ID, 이름 및 폴더 경로가 포함되어 감사 추적이 개선되도록 보장합니다. 예를 들어, 상위 봇 ID 103이 하위 봇을 트리거하면, 로그에는 하위 봇의 ID가 아닌 103이 올바르게 표시됩니다. 이 개선은 AI Governance 내의 프롬프트 및 이벤트 로그 모두에 영향을 미칩니다.

AI Governance

AI Governance AI prompt log 및 Event log 탭: 새로운 AI guardrail 열

새로운 열 AI guardrail이 AI Governance AI prompt log 및 Event log 화면에 추가되었습니다. 개별 프롬프트 또는 이벤트 로그를 열 때 세션 세부 정보 또는 이벤트 내에 새로운 필드 AI guardrail도 포함됩니다. 이 열은 각 프롬프트와 이벤트에 적용된 특정 가드레일에 대한 정보를 제공합니다.

AI prompt log | Event log

AI Governance AI prompt log의 개선 사항: 새로운 유해성 분석 및 System prompt/User prompt
  1. 전체 유해성: 이제 시스템 및 사용자 프롬프트 모두에 대한 유해성 점수가 표시됩니다.
  2. 응답 유해성: LLM의 응답에 대한 유해성 수준도 포함되어 있어 생성된 콘텐츠를 더 잘 평가할 수 있습니다.
  3. 듀얼 프롬프트 디스플레이: 이제 System prompt와 User prompt 모두 명확하게 표시됩니다. 이는 사용자 프롬프트와 함께 시스템 프롬프트가 도입된 상황에서 상호작용의 맥락을 명확히 합니다. 이전 프롬프트 필드의 이름이 사용자 프롬프트로 변경되었습니다.
  4. 모델 연결 유형: AI prompt log는 이제 모델 연결 유형을 표시하여 표준, 미세 조정 또는 다양한 그라운딩 옵션과 같이 모델이 연결되는 방식을 자세히 설명합니다.

AI prompt log

AI Governance Event log의 개선 사항: 새로운 유해성 분석 및 System prompt/User prompt
  1. 전체 유해성: 이제 시스템 및 사용자 프롬프트 모두에 대한 유해성 점수가 표시됩니다.
  2. 응답 유해성: LLM의 응답에 대한 유해성 수준도 포함되어 있어 생성된 콘텐츠를 더 잘 평가할 수 있습니다.
  3. 듀얼 프롬프트 디스플레이: 이제 System prompt와 User prompt 모두 명확하게 표시됩니다. 이는 사용자 프롬프트와 함께 시스템 프롬프트가 도입된 상황에서 상호작용의 맥락을 명확히 합니다. 이전 프롬프트 필드의 이름이 사용자 프롬프트로 변경되었습니다.
  4. 모델 연결 유형: Event log는 이제 모델 연결 유형을 표시하여 표준, 미세 조정 또는 다양한 그라운딩 옵션과 같이 모델이 연결되는 방식을 자세히 설명합니다.

Event log

버그 패치

Anthropic Claude 2.1 및 Anthropic Claude 3.5 모델은 Amazon Bedrock에서 미세 조정된 모델로 지원되지 않으므로 Amazon Bedrock 미세 조정 유형 내에서 사용 가능한 모델 옵션에서 제거되었습니다. 이전에는 Amazon Bedrock에서 유형으로 미세 조정을 선택할 때 이러한 모델이 모델 선택에 잘못 표시되었습니다.
API Tasks가 실시간 모드(유인 자동화)로 실행될 때 AI Governance 로그가 지원되지 않는 문제에 대한 수정. 이 릴리스에서 이 제한 사항이 해결되었습니다.
정확한 AI Governance 로깅을 위해 Bot Agent 업데이트가 필요하다는 잘못된 오류 메시지를 수정했습니다. 이전에는 이 오류가 AI Governance 섹션 내에서 관찰되었으며, 특히 Bot Agent 버전 22.100.xx 이상에 대한 AI prompt log 및 Event log에서 발생했습니다.
AI 거버넌스 감사 로그에 대한 Bot Agent 업데이트 알림을 잘못 받는 문제에 대한 수정 사항입니다. 이전에는 이 알림이 호환 가능한 Bot Agent 버전(22.60.10 이상)을 사용할 때에도 관리 > 설정 > AI 데이터 관리 > 데이터 로깅 설정 설정 및 AI Governance 로그(AI prompt log 및 Event log)에 잘못 표시되었습니다.
Model connection을 생성할 때 ap-southeast-2를 지역으로 추가할 수 없는 문제에 대한 수정 사항입니다. 이전에는 ap-southeast-2를 입력해도 해당 지역이 올바르게 추가되지 않았습니다.

서비스 클라우드 케이스 ID: 02175254
Automation Anywhere Enterprise Knowledge 사용 시 Model connection을 생성할 수 없었던 문제를 수정했습니다. 이전에는 Model connection을 생성하려고 하면 실패했습니다.

서비스 클라우드 케이스 ID: 02204046

제한 사항

AI Guardrails에 폴더 할당
  • AI Guardrails은 상위 폴더에만 할당할 수 있습니다. 상위 폴더 내의 하위 폴더는 가드레일 할당을 상속받거나 특정하게 지정받지 않습니다.
  • 상위 봇이 다른 폴더에 있는 하위 봇을 호출하면 상위 봇의 폴더와 관련된 가드레일 정책이 적용됩니다.
파일을 찾을 수 없음 Guardrails 랜딩 페이지에서 오류 발생:

이번 릴리스에서는 가드레일 랜딩 페이지에 접근하려고 할 때 파일을 찾을 수 없음 오류가 발생할 수 있습니다. 이는 가드레일이 할당된 폴더에 대해 콘텐츠 보기 권한이 없는 경우에 발생합니다. 이 가드레일의 생성 주체가 본인이든 다른 사용자든, 또는 본인에게 직접 할당되었든 관계없이 발생할 수 있습니다. 이러한 제한이 발생하면 가드레일을 일반적으로 탐색하고 관리할 수 없게 됩니다.
홈 화면의 AI Governance 대시보드 탭 내에서 "*", "?", "+", "=", "&&", "||", ">", "<", "!", "(", ")", "{", "}", "[", "]", "^", "~", ":" 또는 큰따옴표로 묶인 단어와 같은 특수 문자가 포함된 모델 이름을 클릭하면 다음 스크린샷과 유사한 오류 메시지가 표시됩니다. 이 문제는 AI Governance 대시보드 내의 검색 기능이 현재 이러한 특수 문자를 지원하지 않기 때문에 발생합니다.

모델 이름에 특수 문자가 포함된 경우 클릭 시 오류 메시지 발생

AI Skill 또는 AI Skill 템플릿의 파일 속성 내 폴더 필드가 현재 의도한 대로 작동하지 않습니다. 이 화면에서 폴더 위치를 변경해도 변경 사항을 저장할 때 AI Skill 또는 AI Skill 템플릿이 지정된 위치로 이동하지 않습니다.
AI Skills에서 System prompt에 대한 AI guardrail 테스트를 사용할 수 없습니다

AI guardrail 테스트는 현재 AI Skills 편집기 내에서 시스템 프롬프트를 지원하지 않습니다. 자동화 내에서 사용되고 실행 시간에 실행될 때 시스템 프롬프트에 대한 가드레일이 올바르게 작동할 것입니다. 이는 AI Skill 개발 단계에서 시스템 프롬프트에 대한 가드레일 적용을 직접적으로 테스트할 수 없음을 의미합니다. 이 제한 사항은 AI guardrail로 테스트하는 경우에만 영향을 미칩니다.
AI Skill API Task 로깅 문제

AI Skill 주문형 API Tasks를 통해 실행된 경우 AI Governance Event log에 응답이 기록되지 않습니다. AI Skill 뒤에 최소 1초의 지연 동작 추가: 모든 주문형 API Task 실행에 대한 작업 실행은 이 로깅 문제를 해결하기 위한 현재의 임시 해결책입니다.


AI Skill 주문형 실행 로깅 문제 API Tasks

인터페이스 업데이트

AI Guardrails
AI Guardrails에 액세스하기 위해 새로운 탐색 메뉴가 도입되었습니다.

AI Guardrails에 액세스하기 위한 새로운 내비게이션

AI Guardrails