AI Agent Studio v.36 릴리스

AI Agent Studio v.36 릴리스에서 나온 새로운 기능과 변경된 부분, 수정 사항 및 제한 사항을 확인해보십시오.

새로운 기능

AI 가드레일

이번 릴리스에서는 민감한 데이터를 보호하고 책임 있는 AI 사용을 촉진하는 새로운 기능인 AI 가드레일을 도입합니다. AI 가드레일은 LLM에 전송되는 프롬프트 내의 PII, PHI 및 PCI를 마스킹하여 민감한 데이터를 보호합니다. 또한, 잠재적으로 해로운 언어가 있는지 확인하기 위해 프롬프트와 응답을 모니터링합니다. 관리자는 데이터 마스킹 규칙을 구성하고 이를 특정 폴더에 할당하여 자동화 전반에 걸쳐 일관된 데이터 보호를 보장할 수 있습니다.

중요사항: AI 가드레일 서비스는 Automation 360 클라우드에서 사용할 수 있으며, AI 가드레일(LLM 프롬프트 수) 라이선스 및 엔터프라이즈 플랫폼 라이선스와 함께 사용할 수 있습니다. 이 라이선스에 대한 자세한 내용은 Enterprise Platform 항목을 참조하십시오.

AI 가드레일

AI Skill:의 시스템 프롬프트

AI Skill: 내에 시스템 프롬프트라는 새로운 기능이 도입될 예정입니다. 이 선택 사항 필드는 AI Skill:의 보기 및 편집 권한이 있는 모든 사람에게 표시되며, 기본 모델에 초기 지침이나 컨텍스트를 제공할 수 있습니다. 시스템 프롬프트는 모델이 방향을 정하고 기반을 다지는 데 도움을 주어 사용자 프롬프트에 대한 응답에 영향을 미치며 더 관련성 있고 정확한 출력을 보장합니다. 시스템 프롬프트 필드는 모든 모델에 표시됩니다. 시스템 프롬프트를 지원하는 모델의 경우, 제공된 텍스트는 시스템 프롬프트로 전송됩니다. 시스템 프롬프트를 지원하지 않는 모델의 경우, 시스템 프롬프트 필드에 제공된 텍스트가 사용자 프롬프트에 추가됩니다.

시스템 프롬프트

AI 가드레일 정책을 Control Room 내에서 전역적으로 활성화하거나 비활성화합니다.

이제 관리자는 관리 > 설정 > AI 가드레일 으로 이동하여 클라우드 라이선스가 있는 Control Room에서 AI 가드레일을 활성화할 수 있습니다.

이 설정을 활성화하면 전문 개발자는 AI 가드레일을 생성하여 민감한 정보를 보호하고 책임감 있는 AI 사용을 장려하기 위한 규칙을 시행할 수 있습니다.

AI 가드레일 활성화 역할 및 권한 할당

Azure OpenAI AI 검색 기반을 사용하여 그라운딩된 모델 연결을 생성하기 위한 AI Agent Studio의 RAG 기능 지원

Azure OpenAI의 기본 RAG(검색 증강 생성) 기능을 사용하여 Azure AI 검색 인덱스에서 정보를 검색하고 더 정확하고 관련성 있는 응답을 제공하려면 AI 검색 기반 모델 연결을 만드십시오.

Azure OpenAI RAG 기능을 갖춘 Grounded 모델 연결 생성

사용자 지정 모델 정의 - AWS Signature 인증으로 인증

이 릴리스에서는 AI Agent Studio에서 사용자 지정 모델을 정의할 때 사용할 수 있는 AWS Signature 인증 지원이 도입되었습니다. 이 향상된 기능을 통해 이 인증 방법을 사용하는 더 다양한 AWS 기반 AI/ML 서비스와 원활하게 통합할 수 있습니다. 이제 새 사용자 지정 모델을 정의할 때 authType을 AWS SIGNATURE로 설정할 수 있습니다. 예시: "authType" : "AWS_SIGNATURE_V4". 필요한 AWS 자격증명 - 액세스 키 ID, 비밀 액세스 키, 세션 키(선택 사항), 리전을 제공해야 합니다.

예시:

{
   "name":"Bedrock - Claude2.1",
   "description":"string",
   "version":"string",
   "auth_action":{
      "auth_type":"AWS_SIGNATURE_V4",
      "awsSignatureV4":{
         "accessKey":{
            "location":"header",
            "keyName":"aws_sign_access_key"
         },
         "secretkey":{
            "location":"header",
            "keyName":"aws_sign_access_key"
         },
         "sessionkey":{
            "location":"header",
            "keyName":"aws_sign_session_key"
         }
      }
   },
   "api_type":"REST",
   "actions":[
      {
         .... 
      }
   ]
}

사용자 정의 모델 정의

사용자 지정 모델 정의 - 기존 모델 업데이트

이번 릴리스에서는 새로 도입된 PUT 및 PATCH 메서드를 사용하여 기존 사용자 지정 모델 정의를 수정할 수 있는 기능을 제공합니다. 이전에는 기존 사용자 지정 모델에 대한 수정이 지원되지 않았습니다.

PUT(모델 전체 교체/업데이트): PUT 엔드포인트를 사용하여 기존 사용자 지정 모델 정의를 완전히 교체하거나 업데이트하십시오. 이 방법은 모델의 여러 속성을 업데이트해야 할 때 사용됩니다.
PUT https://{ControlRoom}/gai/prompttools/v1/custommodel
주: 이 작업은 연결된 모델 연결이 없는 사용자 지정 모델에만 제한됩니다.
PATCH(부분 업데이트 - 이름 및 설명): PATCH 엔드포인트를 사용하여 기존 사용자 지정 모델 정의의 이름과 설명만 업데이트하십시오.
PATCH https://{ControlRoom}/gai/prompttools/v1/custommodel

두 엔드포인트 모두 업데이트할 사용자 지정 모델을 식별하기 위해 vendorName 및 modelName이 필요하며, 성공적으로 실행되면 업데이트된 모델 세부 정보와 함께 200 OK 응답을 반환합니다.

사용자 정의 모델 정의

사용자 지정 모델 정의 - 사용자 지정 모델 API 나열, 공급업체 이름으로 필터링 가능

이번 릴리스에서는 공급업체 이름으로 사용자 지정 모델 목록을 필터링하고 특정 기준에 따라 결과를 정렬할 수 있는 기능이 도입되었습니다.

POST https://{ControlRoom}/gai/prompttools/v1/custommodel/list
요청 본문:
{
   "sort":[
      {
         "field":"name",
         "direction":"asc"
      }
   ],
   "filter":{
      "operator":"and",
      "operands":[
         {
            "operator":"eq",
            "field":"name",
            "value":"CustomVendor"
         }
      ]
   }
}

AI Agent Studio API

RAG AI Agent Studio을 사용하여 그라운딩된 모델 연결을 생성하기 위한 Azure OpenAI의 AI 검색 기반 기능 지원

AI 검색 기반의 기본 모델 연결(검색 증강 생성) 기능을 사용하여 RAG의 엔터프라이즈 데이터를 대규모 언어 모델과 결합한 풍부한 검색 경험을 구축하려면 Azure OpenAI Azure AI 검색을 만드십시오.

Azure OpenAI RAG 기능을 갖춘 Grounded 모델 연결 생성

생성형 AI 모델 호출 위젯 소개

새로운 생성형 AI 모델은 홈 화면의 AI 거버넌스 대시보드 내에서 위젯을 호출하여 자동화에 사용된 상위 5개의 생성형 AI 모델을 표시합니다. 모델 이름을 클릭하면 해당 모델에 대해 미리 필터링된 AI 거버넌스 이벤트 로그로 세부 정보가 표시됩니다.

AI 거버넌스 대시보드 위젯 사용하기

변경된 부분

사용자 지정 모델 통합 개선 사항(서비스 클라우드 케이스 ID: 02147228)

이제 AI Agent Studio를 사용하여 자체 소유의 LLM 래퍼 API를 활용할 수 있습니다. 주요 기능에는 사용자 지정 모델 정의를 생성, 읽기, 업데이트, 삭제하기 위한 API가 포함되어 있으며, AI Agent Studio 내에서 사용자 지정 모델의 원활한 통합 및 관리를 가능하게 합니다.

사용자 정의 모델 정의

모델 연결 생성 마법사에서 역할 검색 및 추가

이제 모델 연결을 생성할 때 역할을 검색하고 추가할 수 있습니다.

모델 연결 생성 및 관리

상위/하위 Bot 실행을 위한 향상된 AI 거버넌스 로깅

AI 거버넌스 로그는 이제 생성형 AI 명령 패키지와 AI Skill:을 활용하는 자동화 모두에 대해 하위 봇을 시작할 때 상위 봇 세부 정보를 정확하게 반영하여 봇 실행에 대한 향상된 가시성을 제공합니다. 이전에 로그에 하위 봇 정보가 표시되어 불일치가 발생했습니다. 이 향상된 기능은 이제 로그에 상위 봇 ID, 이름 및 폴더 경로가 포함되어 감사 추적이 개선되도록 보장합니다. 예를 들어, 상위 봇 ID 103이 하위 봇을 트리거하면, 로그에는 하위 봇의 ID가 아닌 103이 올바르게 표시됩니다. 이 개선은 AI 거버넌스 내의 프롬프트 및 이벤트 로그 모두에 영향을 미칩니다.

AI 거버넌스

AI 거버넌스 AI 프롬프트 로그 및 이벤트 로그 탭: 새로운 AI 가드레일 열

새로운 열 AI 가드레일이 AI 거버넌스 AI 프롬프트 로그 및 이벤트 로그 화면에 추가되었습니다. 개별 프롬프트 또는 이벤트 로그를 열 때 세션 세부 정보 또는 이벤트 내에 새로운 필드 AI 가드레일도 포함됩니다. 이 열은 각 프롬프트와 이벤트에 적용된 특정 가드레일에 대한 정보를 제공합니다.

AI 프롬프트 로그 상호 작용 모니터링 | 이벤트 로그 상호 작용 모니터링

AI 거버넌스 AI 프롬프트 로그의 개선 사항: 새로운 유해성 분석 및 시스템 프롬프트/사용자 프롬프트
  1. 전체 유해성: 이제 시스템 및 사용자 프롬프트 모두에 대한 유해성 점수가 표시됩니다.
  2. 응답 유해성: LLM의 응답에 대한 유해성 수준도 포함되어 있어 생성된 콘텐츠를 더 잘 평가할 수 있습니다.
  3. 듀얼 프롬프트 디스플레이: 이제 시스템 프롬프트와 사용자 프롬프트 모두 명확하게 표시됩니다. 이는 사용자 프롬프트와 함께 시스템 프롬프트가 도입된 상황에서 상호작용의 맥락을 명확히 합니다. 이전 프롬프트 필드의 이름이 사용자 프롬프트로 변경되었습니다.
  4. 모델 연결 유형: AI 프롬프트 로그는 이제 모델 연결 유형을 표시하여 표준, 미세 조정 또는 다양한 그라운딩 옵션과 같이 모델이 연결되는 방식을 자세히 설명합니다.

AI 프롬프트 로그 상호 작용 모니터링

AI 거버넌스 이벤트 로그의 개선 사항: 새로운 유해성 분석 및 시스템 프롬프트/사용자 프롬프트
  1. 전체 유해성: 이제 시스템 및 사용자 프롬프트 모두에 대한 유해성 점수가 표시됩니다.
  2. 응답 유해성: LLM의 응답에 대한 유해성 수준도 포함되어 있어 생성된 콘텐츠를 더 잘 평가할 수 있습니다.
  3. 듀얼 프롬프트 디스플레이: 이제 시스템 프롬프트와 사용자 프롬프트 모두 명확하게 표시됩니다. 이는 사용자 프롬프트와 함께 시스템 프롬프트가 도입된 상황에서 상호작용의 맥락을 명확히 합니다. 이전 프롬프트 필드의 이름이 사용자 프롬프트로 변경되었습니다.
  4. 모델 연결 유형: 이벤트 로그는 이제 모델 연결 유형을 표시하여 표준, 미세 조정 또는 다양한 그라운딩 옵션과 같이 모델이 연결되는 방식을 자세히 설명합니다.

이벤트 로그 상호 작용 모니터링

버그 패치

Anthropic Claude 2.1 및 Anthropic Claude 3.5 모델은 Amazon Bedrock에서 미세 조정된 모델로 지원되지 않으므로 Amazon Bedrock 미세 조정 유형 내에서 사용 가능한 모델 옵션에서 제거되었습니다. 이전에는 Amazon Bedrock에서 유형으로 미세 조정을 선택할 때 이러한 모델이 모델 선택에 잘못 표시되었습니다.
API 태스크가 실시간 모드(유인 자동화)로 실행될 때 AI 거버넌스 로그가 지원되지 않는 문제에 대한 수정. 이 릴리스에서 이 제한 사항이 해결되었습니다.

제한 사항

AI 가드레일에 폴더 할당
  • AI 가드레일은 상위 폴더에만 할당할 수 있습니다. 상위 폴더 내의 하위 폴더는 가드레일 할당을 상속받거나 특정하게 지정받지 않습니다.
  • 상위 봇이 다른 폴더에 있는 하위 봇을 호출하면 상위 봇의 폴더와 관련된 가드레일 정책이 적용됩니다.
홈 화면의 가장 많이 사용된 모델 위젯 내 AI 거버넌스 대시보드에서 "*", "?", "+", "=", "&&", "||", ">", "<", "!", "(", ")", "{", "}", "[", "]", "^", "~", ":" 또는 큰따옴표로 묶인 단어와 같은 특수 문자가 포함된 모델 이름을 클릭하면 다음 스크린샷과 유사한 오류 메시지가 표시됩니다. 이 문제는 AI 거버넌스 대시보드 내의 검색 기능이 현재 이러한 특수 문자를 지원하지 않기 때문에 발생합니다.

모델 이름에 특수 문자가 포함된 경우 클릭 시 오류 메시지 발생

AI Skill: 또는 AI Skill: 템플릿의 파일 속성 내 폴더 필드가 현재 의도한 대로 작동하지 않습니다. 이 화면에서 폴더 위치를 변경해도 변경 사항을 저장할 때 AI Skill: 또는 AI Skill: 템플릿이 지정된 위치로 이동하지 않습니다.
AI Skill:에서 시스템 프롬프트에 대한 AI 가드레일 테스트를 사용할 수 없습니다

AI 가드레일 테스트는 현재 AI Skill: 편집기 내에서 시스템 프롬프트를 지원하지 않습니다. 자동화 내에서 사용되고 실행 시간에 실행될 때 시스템 프롬프트에 대한 가드레일이 올바르게 작동할 것입니다. 이는 AI Skill: 개발 단계에서 시스템 프롬프트에 대한 가드레일 적용을 직접적으로 테스트할 수 없음을 의미합니다. 이 제한 사항은 AI 가드레일로 테스트하는 경우에만 영향을 미칩니다.
AI Skill: API 태스크 로깅 문제

AI Skill: 주문형 API 태스크를 통해 실행된 경우 AI 거버넌스 이벤트 로그에 응답이 기록되지 않습니다. AI Skill: 뒤에 최소 1초의 지연 동작 추가: 모든 주문형 API 태스크 실행에 대한 작업 실행은 이 로깅 문제를 해결하기 위한 현재의 임시 해결책입니다.

AI Skill: 주문형 실행 로깅 문제 API 태스크