Invocar un modelo basado en texto en SageMaker

En este tema, se utiliza un ejemplo para describir cómo invocar el modelo de IA LLAMA 2 de Meta a través de AWS SageMaker.

La familia de modelos de lenguaje extenso (LLM) Llama 2 es una colección de modelos de texto generativos previamente entrenados y ajustados que varían en escala de 7 mil millones a 70 mil millones de parámetros. Los LLM ajustados, llamados Llama-2-chat, están optimizados para casos de uso de diálogos. Puede utilizar la acción Invocar punto final de SageMaker de Automation Anywhere para enviar un mensaje y recibir una respuesta de este modelo. En este ejemplo, se envía una petición de datos al modelo y aparece una respuesta en un cuadro de mensaje.

Procedimiento

  1. En la Control Room, haga clic en Puntos finales de Discovery para configurar para obtener la lista de puntos finales. Invocar punto final de AWS SageMaker
    1. Introduzca las credenciales como se describe en Acción de autenticación.
    2. Haga clic en la lista desplegable Región para seleccionar una región de la instancia de AWS desde la que desea obtener los puntos finales.Detectar puntos finales para configurar
    3. Haga clic en Conectar.
      Se conecta a SageMaker y muestra el punto final disponible en la región seleccionada.Lista de puntos finales de AWS SageMaker en una región
    4. Haga clic en un nombre de punto final que corresponda al modelo que desea utilizar y haga clic en Seleccionar. En este ejemplo, se utiliza un modelo basado en texto. Se utiliza un modelo preexistente y previamente entrenado, y puede ver los modelos ya desplegados navegando a Inferencia > Puntos finales. Si desea implementar un modelo de su elección, consulte AWS SageMaker Deploy models for inference y para entrenar los modelos implementados, consulte AWS SageMaker Build, Train, and Deploy models for inference. Para obtener más información sobre los modelos, haga clic en un modelo.
    5. Haga clic en Seleccionar.
      Se completa automáticamente el Nombre de punto final y la Región en la pantalla principal.
  2. Haga clic en la lista desplegable Tipo de contenido para seleccionar el tipo de carga útil de contenido que desea introducir. En este ejemplo, seleccione application/json como tipo de carga útil.
  3. Introduzca el contenido en formato JSON. En este ejemplo, se utiliza el siguiente formato JSON: 
    {
   "inputs":[
      [
         {
            "role":"user",
            "content":"Tell me about Automation Anywhere"
         }
      ]
   ],
   "parameters":{
      "max_new_tokens":512,
      "top_p":0.9,
      "temperature":0.6
   }
}
  4. Introduzca Predeterminado como nombre de sesión o almacene la sesión en una variable.
  5. Para gestionar los parámetros opcionales, seleccione Sí para Mostrar más opciones. Si selecciona Sí, puede agregar otros parámetros como los siguientes: Atributos personalizados (opcional) Habilitar explicación (opcional), Identificador de inferencia (opcional), Nombre de host del contenedor de destino (opcional), Modelo de destino (opcional) y Variante de destino (opcional). Para obtener información sobre estos parámetros opcionales y detalles sobre cómo invocar puntos finales de SageMaker, consulte Invocar punto final de AWS SageMaker.
  6. En este ejemplo, el modelo seleccionado requiere la aceptación del contrato de licencia de usuario final (EULA); debe establecer los Atributos personalizados (opcional) en accept_eula=true.
  7. Haga clic en Ejecutar para iniciar el bot. Podrá leer el valor del campo simplemente mediante la impresión de la respuesta en un Cuadro de mensaje acción. En este ejemplo, str-TextBasedModelResponse imprime la respuesta.Respuesta de AWS SageMaker