SageMaker에서 텍스트 기반 모델 호출

이 항목에서는 예를 통해 AWS SageMaker를 사용하여 Meta의 LLaMA 2 AI 모델을 호출하는 방법을 설명합니다.

LLM(대규모 언어 모델)의 Llama 2 제품군은 70~700억 개의 매개변수 규모로 사전 훈련되고 세부 조정된 생성형 텍스트 모델의 모음입니다. Llama-2-chat이라고 하는 세부 조정된 LLM은 대화 유스케이스에 최적화되어 있습니다. Automation Anywhere의 SageMaker 엔드포인트 호출 작업을 사용하여 프롬프트를 보내고 이 모델로부터 응답을 받을 수 있습니다. 이 예에서 모델에 프롬프트가 전송되고 메시지 상자에 응답이 표시됩니다.

프로시저

  1. Control Room에서 디스커버리 엔드포인트를 사용하여 구성을 클릭하여 엔드포인트 목록을 가져옵니다. AWS SageMaker 엔드포인트 호출
    1. 인증 작업에 설명된 대로 자격증명을 입력합니다.
    2. 지역 드롭다운을 클릭하여 엔드포인트를 가져올 AWS 인스턴스의 지역을 선택합니다.구성할 엔드포인트 검색
    3. 연결을 클릭합니다.
      SageMaker와 연결되고 선택한 지역에서 사용 가능한 엔드포인트가 나열됩니다.지역의 AWS SageMaker 엔드포인트 목록
    4. 사용하려는 모델에 해당하는 엔드포인트 이름을 클릭하고 선택을 클릭합니다. 이 예에서는 텍스트 기반 모델이 사용됩니다. 기존 모델 및 사전 학습된 모델이 사용되며, 추론 > 엔드포인트로 이동하면 이미 배포된 모델을 확인할 수 있습니다. 원하는 모델을 배포하려면 AWS SageMaker Deploy models for inference, 배포된 모델을 학습시키려면 AWS SageMaker Build, Train, and Deploy models for inference을 참조하십시오. 모델에 대한 자세한 정보를 보려면 모델을 클릭합니다.
    5. 선택을 클릭합니다.
      엔드포인트 이름 및 지역을 상위 화면에 따라 자동으로 채웁니다.
  2. 콘텐츠 유형 드롭다운을 클릭하여 입력하려는 콘텐츠 페이로드 유형을 선택합니다. 이 예에서는 application/json을 페이로드 유형으로 선택합니다.
  3. 내용을 JSON 형식으로 입력합니다. 이 예에서는 다음 JSON이 사용됩니다. 
    {
   "inputs":[
      [
         {
            "role":"user",
            "content":"Tell me about Automation Anywhere"
         }
      ]
   ],
   "parameters":{
      "max_new_tokens":512,
      "top_p":0.9,
      "temperature":0.6
   }
}
  4. 세션 이름으로 Default를 입력하거나 변수에 세션을 저장합니다.
  5. 선택적 매개변수를 관리하려면 옵션 더 보기에서 예 를 선택합니다. 예를 선택하면 다음과 같은 다른 매개변수를 추가할 수 있습니다. 사용자 정의 속성(선택 사항) 설명 활성화(선택 사항), 추론 ID(선택 사항), 대상 컨테이너 호스트 이름(선택 사항), 대상 모델(선택 사항) 및 대상 변형(선택 사항). 이러한 선택적 매개변수와 SageMaker 엔드포인트 호출에 대한 자세한 내용은 AWS SageMaker InvokeEndpoint를 참조하십시오.
  6. 이 예에서는 선택한 모델이 EULA를 수락해야 하므로, 사용자 정의 속성(선택 사항)을 accept_eula=true으로 설정해야 합니다.
  7. 실행을 클릭하여 Bot을 시작합니다. 메시지 상자 작업에 있는 응답을 인쇄하면 필드의 값을 읽을 수 있습니다. 이 예제에서는 str-TextBasedModelResponse가 응답을 인쇄합니다.AWS SageMaker 응답