AI 거버넌스, AI 가드레일, AI 평가 v.40 릴리스의 새로운 기능, 수정 사항 및 제한 사항을 확인하십시오.
중요사항: 이 릴리스 노트는 클라우드-샌드박스 환경용 Automation 360 v.40 릴리스(빌드 45794)에만 적용됩니다. 클라우드용 v.40 릴리스는 아직 GA(정식 출시)되지 않았으므로 이 페이지의 콘텐츠는 클라우드 GA(정식 출시)까지 변경될 수 있습니다.

새로운 기능

AI 평가이 에이전트와 스킬에 대해 거버넌스가 적용된 실행 가능한 성능 인사이트를 제공합니다

AI 평가은 클라우드 환경에서 권한 추적 및 적용에 연계된 라이선스 및 AI 크레딧 소비를 기반으로 AI Agent 및 AI 기술에 대한 통제되고 측정 가능한 평가를 도입합니다. 이 기능은 팀이 에이전트 개발 주기에 내장된 자동 평가를 통해 AI 성능을 검증하고 벤치마킹할 수 있도록 합니다. 라이선스를 보유한 사용자는 AI 메뉴에 새롭게 추가된 평가 페이지를 통해 평가 기능과 자동화된 스코어 및 세부 정보를 이용할 수 있습니다. AI 평가 항목을 참조하십시오.

클라우드 환경에서만 사용 가능합니다.

• 권한 및 사용 제어: 적절한 라이선스(APA Essentials 또는 APA Pro)와 사용 추적 및 적용이 가능한 AI 크레딧이 필요합니다.

• 자동 및 수동 도구: 성능 및 스코어링 세부 정보 측정을 위한 사전 정의된 메트릭을 사용하여 자동 및 수동 평가를 기본적으로 지원합니다.

• 상세한 인사이트: 스코어는 업계 및 연구 지표를 기반으로 하여 산정되며, 예상 상호작용과 실제 상호작용 비교, 실행 시퀀스, 동작 패턴을 보여주는 세부 분석을 제공합니다.

• 유연한 데이터셋 지원: 안전하고 감사 기준에 부합하는 보존 정책에 따라 데이터셋을 업로드하거나, 재사용하거나, 수동으로 정의하여 반복 가능한 평가 주기를 운영할 수 있습니다. 최대 파일 크기는 50MB입니다. 데이터셋은 1년 동안 보관됩니다(사용 시 기간이 초기화됨).
주: AI 기술을 평가할 때만 업로드할 수 있습니다.

AI 평가은 팀이 프로덕션 배포 전과 배포 후에 AI 기반 자동화 및 에이전트 프로세스의 품질, 신뢰성, 거버넌스를 최적화할 수 있도록 지원합니다.
AI 기술 및 AI Agent에 대해 AI 평가을 수행하고 세부 평가 보기에서 인사이트 확인

평가 실행 흐름이 이제 AI Agent를 지원합니다. 사용자는 평가 페이지 또는 에이전트 편집기에서 직접 에이전트 평가를 실행할 수 있습니다. 다음을 확인할 수도 있습니다.

에이전트 편집기와 평가 랜딩 페이지에서 평가를 확인할 수 있습니다. 전체 평가에 대한 요약이 제공됩니다. 페이지에서 평가 세부 정보를 선택하면 더 자세한 조사가 가능합니다. 실행된 데이터 세트의 점수에 대한 요약이 제공됩니다. 각 데이터 세트 실행에 대한 자세한 보기는 에이전트 출력 세부 정보에서 확인할 수 있습니다. 이러한 세부 정보에는 다음이 포함됩니다.
  • 메트릭
  • 점수
  • 추리
AI 평가의 이벤트 로그 및 데이터 보존 정책

AI 평가이 실행되면 감사 목적으로 AI 거버넌스에 이벤트 로그가 생성됩니다. 버전 및 수정 사항에 대한 보안과 관리를 위해 AI 평가의 데이터에는 날짜와 사용자 정보가 포함되어 있습니다. 이 데이터의 저장 및 보관은 당사 플랫폼 프레임워크에 따른 기존 보관 정책을 준수합니다. 데이터 보존 정책 항목을 참조하십시오.
AI 에이전트 감사 로그가 이제 AI 거버넌스에서 제공됩니다
거버넌스 및 규정 준수 감사를 위해 에이전트 활동 및 LLM 모델과의 상호작용을 완벽하게 가시화하고 추적할 수 있습니다. 포괄적인 감사 추적을 통해 보안 정책 및 책임감 있는 AI 거버넌스 요구 사항의 준수를 보장합니다.
  • 상세한 입력/출력 로그로 모든 에이전트 실행을 시작부터 완료까지 추적합니다.
  • 실시간으로 LLM 상호작용, 도구 호출 및 시스템 응답을 모니터링합니다.
  • 조사를 위한 드릴다운 기능으로 180일 간의 로그를 보관합니다.

변경 사항

유해성 가시성이 포함된 시스템 프롬프트에 대한 AI 거버넌스 로깅 확장

이제 AI 거버넌스가 AI 가드레일에 따라 사용자 프롬프트가 차단되더라도 프롬프트 로그와 이벤트 로그에 시스템 프롬프트 세부 정보 및 유해성 스코어를 기록합니다. 시스템 또는 사용자 프롬프트가 유해성에 대한 가드레일 정책에 따라 설정된 임계값을 초과하면 차단이 적용되며, 시스템 및 사용자 프롬프트의 유해성 수준이 모두 로그에 기록됩니다.

이러한 개선된 가시성은 프롬프트가 차단된 이유를 명시하고, 사용자 입력과 함께 시스템 프롬프트의 유해성 스코어링 및 분석을 지원함으로써 감사 가능성을 높이며, 가드레일 정책을 준수하여 보다 안전하고 투명한 자동화 동작을 할 수 있도록 합니다.

AI 가드레일 마스킹 기능이 추가 엔터티와 확장된 지역 언어를 지원합니다

이러한 개선 사항은 엔터티 범위를 확장하고 추가 글로벌 언어 전반에 신뢰할 수 있는 마스킹을 지원함으로써 데이터 유출 방지(DLP) 제어를 강화합니다. 마스킹 및 마스킹 해제 작업은 세 가지 민감한 데이터 범주(PII, PCI, PHI)에서 완전히 지원됩니다.전체 목록을 보려면 AI에서 데이터 마스킹 항목을 확인하십시오.

AI 가드레일는 이제 다음 언어에 대한 마스킹 및 마스킹 해제를 지원합니다. 러시아어, 힌디어, 일본어, 한국어, 중국어(번체), 포르투갈어.

수정 사항

AI 프롬프트 로그가 예상한 바와 같이 AI 거버넌스에 1,000개 이상의 기록을 표시합니다. 이전에는 기록이 로드되지 않았습니다.

제한 사항

아랍어에서는 마스킹이 부분적으로 지원됩니다. 일부 엔티티는 일관되게 감지되지 않거나 마스킹되지 않을 수 있습니다.