생성형 레코더 - 비전 폴백

생성형 레코더의 비전 모델 폴백은 비전 모델을 추가적인 폴백 메커니즘으로 사용하여 자동화 복원력을 높이도록 설계되었습니다. 비전 모델 폴백은 폴백의 효율성을 높이고 비즈니스 연속성 제공, 유지보수 부담 최소화 및 조직 SLA 준수와 같은 다양한 이점을 제공합니다.

컴퓨터 비전 모델이라고 불리는 비전 모델 AI는 고급 머신 러닝 기술을 통해 시각 데이터(이미지 또는 비디오 등)를 해석, 분석 및 이해하도록 설계된 인공지능 시스템입니다. 비전 모델 폴백은 자동화 프로세스에서 복원력을 높이고 실행 실패를 줄이기 위해 사용되는 메커니즘입니다. 이는 비전 모델을 사용하여 변경 사항을 식별하고 실시간으로 업데이트함으로써, 예상치 못한 변경이 발생하더라도 자동화 작업이 원활하게 계속되도록 보장합니다.
주: 생성형 레코더, 텍스트 기반 폴백 및 네이티브 폴백은 Automator AI 할당량의 어떤 권장 사항도 사용하지 않습니다. 그러나 생성형 레코더의 비전 폴백은 폴백이 실제로 런타임에서 트리거될 때마다 한 번의 권장 사항을 소모합니다. 비전 폴백이 활성화된 자동화의 수는 할당량에 영향을 미치지 않습니다. 권장 사항은 실행 중에 비전 폴백이 활성화될 때만 차감됩니다.

기능

생성형 레코더는 자동화로 조정된 앙상블 모델을 활용하여 비즈니스 애플리케이션을 시각적으로 깊이 있게 파악합니다.

비전 폴백은 다음을 수행할 수 있습니다.
  • 기존의 방법으로는 놓칠 수도 있는 수정된 UI 구조를 정확하게 식별합니다.
  • 수동으로 개입할 필요없이 레이아웃 및 디자인 변경에 적응합니다.
  • 실패를 방지하여 자동화 효율성을 높입니다.

사용 가능한 기능에 대한 정보는 생성형 레코더를 참조하십시오.

비전 모델 폴백 활성화 방법:
  1. Bot Creator로 로그인합니다.
  2. Bot 편집기에서 고급 설정 > 패키지 설정으로 이동합니다.
  3. 패키지 설정 > 레코더에서 생성형 AI 이미지 기반 폴백을 활성화합니다.

비전 모델 폴백 선택 설정

비전 기반 폴백에서 이미지 정제

주: 시스템에 Python이 별도로 설치되어 있는 경우, 비전 기반 폴백이 제대로 작동하지 않을 수 있으며, 이로 인해 이미지 마스킹 실패가 발생할 수 있습니다. 구체적으로, 이미지 마스킹에 사용되는 내장형 Python은 Bot 실행 중에만 추출되어 간섭하지 않지만, 제어판 > 프로그램 및 기능에 표시되는 추가 Python 설치는 비전 폴백 작업에 영향을 줄 수 있습니다. 비전 기반 폴백을 안정적으로 실행하려면, 프로그램 및 기능에서 이러한 Python 설치를 제거하십시오.

데이터 보안 및 개인정보 보호 위험을 완화하기 위해 생성형 레코더는 데이터를 외부로 전송하기 전에 사용자의 기기에서 로컬로 이미지 정제를 수행합니다. 이 과정은 해당 기기에서 실행 중인 레코더 패키지에서 전적으로 처리합니다.

정화 과정에서는 캡처된 애플리케이션 이미지에 보이는 모든 비즈니스 데이터를 마스킹합니다. 여기에는 PII(개인 식별 정보)뿐만 아니라 화면에 표시되는 모든 민감한 비즈니스 콘텐츠도 포함됩니다.

이러한 포괄적인 로컬 정제가 완료된 후에만 결과 이미지와 추출된 텍스트가 추가 처리를 위해 지역 기반 AI 서비스로 전송됩니다. 원본 또는 정제되지 않은 이미지 데이터는 어떠한 경우에도 사용자의 환경 외부로 공유되지 않습니다.