在 SageMaker 上调用基于文本的模型 - 该主题通过一个示例描述如何通过 AWS SageMaker 调用 Meta 的 LLaMA 2 AI 模型。

Automation 360

该主题通过一个示例描述如何通过 AWS SageMaker 调用 Meta 的 LLaMA 2 AI 模型。

关于此任务

Llama 2 大型语言模型 (LLM) 系列是一组经过预训练和微调的生成式文本模型，参数范围从 70 亿个到 700 亿个不等。 针对对话用例对经过微调的 LLM（称为 Llama-2-chat）进行了优化。 您可以使用 Automation Anywhere 的调用 SageMaker 端点操作来发送提示并从此模型接收响应。 在此示例中，向模型发送了一个提示，并在消息框中显示响应。

过程

  1. 在 Control Room 中单击发现端点以进行配置，以获取端点列表。 AWS 调用 SageMaker 端点
    1. 按照 AWS SageMaker： 身份验证操作 中的说明输入凭据。
    2. 单击区域下拉菜单，选择您希望获取端点的 AWS 实例所在的区域。发现可配置的端点
    3. 单击连接。
      系统会连接到 SageMaker 并列出所选区域中可用的端点。区域中的 AWS SageMaker 端点列表
    4. 单击与您想要使用的模型相对应的端点名称，然后单击选择。 在此示例中使用了基于文本的模型。 使用预先存在且预先训练的模型，您可以通过导航到推理 > 端点来查看已部署的模型。 如果您想要部署您选择的模型，请参阅 AWS SageMaker Deploy models for inference；如果您想要训练已部署的模型，请参阅 AWS SageMaker Build, Train, and Deploy models for inference。 要获取有关模型的更多信息，请单击模型。
    5. 单击选择。
      系统会自动将端点名称和区域填充到父屏幕。
  2. 单击内容类型下拉菜单，选择您想要输入的内容有效负载类型。 在此示例中，选择 application/json 作为负载类型。
  3. 以 JSON 格式输入内容。 在此示例中，使用了以下 JSON： 
    { "inputs":[ [ { "role":"user", "content":"Tell me about Automation Anywhere" } ] ], "parameters":{ "max_new_tokens":512, "top_p":0.9, "temperature":0.6 } }
  4. 输入默认作为会话名称，或者将会话存储在变量中。
  5. 要管理可选参数，请选择是以显示更多选项。 如果您选择是，您可以添加其他参数，例如： 自定义属性（可选）、启用解释（可选）、推理 ID（可选）、目标容器主机名（可选）、目标模型（可选）和目标变体（可选）。 有关这些可选参数和调用 SageMaker 端点的详细信息，请参阅 AWS SageMaker InvokeEndpoint。
  6. 在此示例中，所选的模型需要接受 EULA，您需要将自定义属性（可选）设置为 accept_eula=true。
  7. 单击运行启动 机器人。 您可以通过打印消息框 操作中的响应来读取字段的值。 在此示例中，str-TextBasedModelResponse 打印响应。AWS SageMaker 响应