AI Guardrails

AI Guardrails은 AI의 책임 있는 사용을 보장하고 자동화 워크플로 중에 민감한 정보를 보호하는 중요한 안전장치입니다. 이는 사용자, 자동화, 그리고 LLM(대형 언어 모델) 간의 상호작용을 제어하도록 설계된 안전 및 거버넌스 메커니즘 역할을 합니다. AI Guardrails은 잠재적 위험을 완화하고, 정책을 시행하며, AI 시스템이 안전하고 윤리적이며 예측 가능한 방식으로 작동하도록 보장하는 데 집중합니다.

AI Guardrails의 핵심 기능

본질적으로 AI Guardrails은 주로 다음과 같은 방법으로 AI 기반 프로세스에서 정보와 작동의 흐름을 관리합니다.

  • 상호작용 모니터링: 가드레일은 LLM에 보내는 프롬프트(사용자 요청)와 LLM이 생성한 응답을 적극적으로 검사합니다. 이와 같은 모니터링에서는 유해성, 민감한 데이터 등 다양한 기준에 대해 콘텐츠를 분석하는 작업이 포함될 수 있습니다.
  • 콘텐츠 통제: 가드레일은 이러한 상호작용의 내용을 관리하기 위한 규칙을 시행합니다. 여기에는 사전에 규정된 정책을 위반하는 프롬프트와 응답을 필터링하거나 수정하거나 결정적으로 차단하는 기능이 포함됩니다.
  • 정책 시행: 조직은 가드레일을 통해 AI 사용에 대한 자체 정책을 규정하고 시행할 수 있습니다. 이에 따라 윤리 지침, 규제 요구 사항 및 내부 모범 사례와 부합하는 방식으로 운영할 수 있습니다.

핵심 개념 및 메커니즘

  1. 데이터 마스킹: 프롬프트와 모델 응답 내에서 민감한 데이터를 보호합니다. 기본적으로 시스템은 마스킹을 적용하지만, 특정 유스케이스에 대해 명확한 텍스트를 허용할 수 있습니다. 스마트 토큰화는 민감한 데이터를 식별하고, LLM에 전송하기 전에 이를 토큰으로 대체하며, LLM 응답에서 원본 데이터를 재구성합니다. AI Guardrails은 다음과 같은 핵심 범주에 맞춰 정밀한 데이터 마스킹 규칙을 설정하도록 도움을 줍니다. PII(개인 식별 정보), PHI(보호된 건강 정보), PCI(지불 카드 산업 데이터).
  2. 유해성 모니터링: 잠재적으로 유해한 언어가 있는지 프롬프트와 LLM 생성 응답을 분석하여 유해성 수준에 따라 분류합니다. AI Guardrails은 정의된 유해성 임계값을 초과하는 프롬프트나 응답을 차단하도록 구성될 수 있어, 유해한 콘텐츠가 확산되지 않도록 방지합니다.
  3. 차단 메커니즘:

    • 프롬프트/요청 차단: AI Guardrails은 LLM으로 전송하기 전에 프롬프트를 평가합니다. 프롬프트가 정의된 규칙을 위반하는 경우 (예를 들어, 금지된 언어를 포함하거나 유해성 임계값을 초과하는 경우), 가드레일은 프롬프트를 차단합니다.

      결과:

      • 프롬프트가 LLM으로 전송되지 않습니다.

      • 사용자는 프롬프트가 차단되었음을 나타내는 오류 메시지를 받습니다.

      • AI Governance 로그는 차단된 프롬프트와 차단 사유를 기록합니다.

    • 응답 차단: AI Guardrails은 또한 LLM의 응답을 사용자에게 표시하기 전에 먼저 평가할 수 있습니다. 프롬프트가 허용되더라도, 문제가 있는 응답은 차단될 수 있습니다.

      결과:

      • LLM이 응답을 생성하지만, 가드레일이 이를 가로챕니다.

      • 응답이 사용자에게 표시되지 않습니다(사용자에게는 빈 응답이나 오류가 표시됨).

      • AI Governance 로그는 차단된 응답과 차단 사유를 기록합니다.

  4. 인라인 가로채기: AI Guardrails은 보안 및 규정 준수 정책을 적용하기 위해 인라인 가로채기 메커니즘을 사용합니다.
  5. 모니터링 및 기록: 데이터 마스킹 및 유해성 모니터링 프로세스의 세부 정보를 포함하여 모든 AI Guardrails 작업을 기록하며, 감사 추적을 제공합니다.

시나리오

AI Guardrails이 AI Skills과 LLM 간의 정보 흐름을 어떻게 관리하는지, 그리고 유해성 수준에 따라 다양한 시나리오를 어떻게 처리하는지 설명하기 위해 다음 다이어그램에서 시각적 개요가 제공됩니다. 이 시나리오에는 프롬프트와 해당 모델 응답이 AI guardrail에 의해 평가되고 처리되는 과정이 나와 있으며, 콘텐츠가 마스킹된 상태로 허용되는 경우, 유해성 수준이 높아 차단되는 경우, 응답 자체가 차단되는 경우 등의 사례가 제시되어 있습니다.

시나리오 1: 프롬프트 및 모델 응답 허용(모니터링된 유해성)
이 시나리오에서, AI 가드레일은 모든 콘텐츠를 허용하도록 구성되어 있으므로, 유해성이 감지된 내용이 포함되어 있더라도 프롬프트와 모델 응답이 그대로 통과됩니다. 이 구성에서는 콘텐츠가 차단되지 않지만, AI Guardrails은 모든 감지된 유해성 수준을 신중하게 모니터링하고 기록합니다.

아래 다이어그램에서 설명:

  • 사용자의 프롬프트가 AI guardrail에 입력되며, 이곳에서 프롬프트의 유해성이 감지됩니다(예: 🟢 낮음).
  • 프롬프트 내에 포함된 민감한 데이터는 LLM에 전송되기 전에 개인 정보 보호를 위해 자동으로 마스킹됩니다(예: PII 토큰화).
  • LLM은 모델 응답을 생성한 다음 AI guardrail로 반환합니다.
  • 가드레일은 모델 응답에 대해 다시 유해성 감지를 수행하고(예: 🟢 유해성 낮음 발견) 토큰화된 데이터의 마스킹을 해제합니다.
  • 가드레일이 모두 허용으로 설정되어 있으므로, 마스킹된 프롬프트(LLM에 전달됨)와 마스킹되지 않은 모델 응답(사용자에게 전달됨)이 모두 허용됩니다.
  • 프롬프트와 모델 응답 모두에 대해 감지된 유해성 점수는 AI Governance에 따라 수집 및 기록되며, 이는 사용자 경험에 영향을 주지 않으면서 감사 및 검토 목적에 필수적인 데이터를 제공합니다.

AI Guardrails - 마스킹된 상태로 허용된 프롬프트 및 모델 응답과 마스킹이 해제된 모델 응답

시나리오 2: 유해성 점수로 인해 차단된 프롬프트

이 시나리오에서 AI guardrail은 특정한 유해성 임계값을 초과하는 콘텐츠를 차단하는 규칙으로 구성되어 있습니다(예: 유해성 높음성 및 유해성 중간 콘텐츠를 차단하도록 설정됨). 이에 따라 잠재적으로 해롭거나 부적절한 사용자 입력이 LLM에 도달하기 전에 차단되도록 합니다.

아래 다이어그램에서 설명:

  • 사용자가 🔴 유해성 높음(또는 구성된 가드레일 규칙을 위반하는 수준)으로 간주되는 콘텐츠가 포함된 프롬프트를 시작합니다.
  • 이 프롬프트는 AI guardrail에 입력되어, 즉시 유해성 감지 절차를 거칩니다.
  • 설정된 임계값을 초과하는 유해성 수준이 감지되면, AI guardrail이 개입하여 프롬프트를 차단합니다.
  • 따라서 프롬프트가 LLM으로 전송되지 않습니다.
  • 프롬프트가 차단되었기 때문에 모델 응답이 생성되거나 사용자에게 반환되지 않아, 유해한 입력 처리를 효과적으로 방지하고 자동화를 중단합니다.
  • 차단된 프롬프트의 세부 정보(유해성 수준, 차단 사유 등)는 감사 및 규정 준수 목적을 위해 AI Governance에 자동으로 수집되고 기록됩니다.

AI Guardrails- 유해성 점수로 인해 차단된 프롬프트 - 마스킹 없음, 응답 없음

시나리오 3: 프롬프트는 허용, 유해성 점수로 인해 모델 응답은 차단

이 시나리오에서 AI guardrail은 안전 기준을 충족하는(예: 유해성이 낮거나 없는 것으로 간주되는 경우) 초기 프롬프트를 허용하도록 구성됩니다. 그러나 가드레일은 사용자가 유해하거나 부적절한 콘텐츠를 접하지 않도록 LLM 생성 응답을 적극적으로 모니터링하며 경계를 유지합니다.

아래 다이어그램에서 설명:

  • 사용자의 프롬프트가가 AI 가드레일에 입력됩니다. 해당 프롬프트의 유해성이 감지되고(예: 🟢 낮음) 허용 임계값 내에 있습니다.
  • 프롬프트 내에 포함된 민감한 데이터는 프롬프트가 LLM에 전송되기 전에 개인정보 보호를 위해 자동으로 마스킹됩니다.
  • LLM은 마스킹된 프롬프트를 처리하고 모델 응답을 생성합니다.
  • 그런 다음 이 모델 응답은 유해성 감지를 위해 AI guardrail로 돌아갑니다.
  • 이 사례에서 모델 응답이 🔴 유해성 높음 수준(또는 가드레일에서 구성된 응답 규칙을 위반하는 수준)의 내용이 포함된 것으로 확인됩니다.
  • 이러한 위반 사항이 감지되면 AI guardrail이 모델 응답을 차단합니다.
  • 따라서, 문제 있는 모델 응답이 사용자에게 제공되지 않습니다. 대신, 사용자는 빈 응답이나 오류 메시지를 볼 수 있습니다.
  • 유해성 수준, 차단 사유 등 차단된 응답의 모든 세부 정보는 AI Governance에 자동으로 수집되고 기록되어, AI 상호작용에 대해 완전한 감사 추적을 지원합니다.

AI Guardrails - 마스킹된 상태로 허용된 프롬프트와 유해성 점수로 인해 차단된 모델 응답

이점

AI Guardrails을 사용하면 다음과 같은 여러 가지 주요 이점을 누릴 수 있습니다.

  1. 안전성 향상: LLM에 의해 생성된 유해하거나 부적절한 콘텐츠에 사용자가 노출될 위험을 줄입니다.
  2. 규정 준수 개선: 조직이 AI 사용과 관련된 관련 규정 및 산업 표준을 준수하도록 지원합니다.
  3. 신뢰도 향상: 책임감 있고 윤리적인 방식으로 실행하는 모습을 통해 AI 시스템에 대한 신뢰를 높입니다.
  4. 정책 시행: 조직이 내부 AI 사용 정책을 일관되게 시행할 수 있도록 지원합니다.
  5. 위험 완화: 평판 손상, 법적 책임 등 LLM 출력과 관련한 잠재적인 위험을 사전에 완화합니다.
  6. 민감한 데이터 보호: 민감한 정보를 보호하여 LLM이 직접 처리하지 않도록 방지합니다.

필요한 라이선스

AI Guardrails 서비스를 활성화하고 사용하려면 Enterprise Platform 라이선스와 함께 소비 SKU - AI guardrail(실행된 LLM 프롬프트 수) 라이선스를 구매해야 합니다. 실행된 LLM 프롬프트에는 LLM 프롬프트와 모델 응답이 모두 포함됩니다. 자세한 내용은 엔터프라이즈 플랫폼을 참조하십시오.
주: 구매한 볼륨의 AI Guardrails 크레딧은 자동화에서 프롬프트를 실행하거나 AI Skills 공용 워크스페이스에서 실행할 때, 또는 비공개 워크스페이스 내 AI Skills 편집기에서 테스트할 때 소모됩니다.