SageMaker におけるテキスト ベース モデルの呼び出し

このトピックでは、AWS SageMaker を使用して Meta の LLaMA 2 AI モデルを呼び出す方法について、例を用いて説明します。

大規模言語モデル (LLM) の Llama 2 ファミリーは、70 億から 700 億のパラメーターというスケールで事前にトレーニングされて微調整された生成テキスト モデルのコレクションです。Llama-2-chat と呼ばれる微調整された LLM は、ダイアログの事例に最適化されています。Automation Anywhere の SageMaker エンドポイント呼び出しアクションを使用してプロンプトを送信し、このモデルからレスポンスを受け取ることができます。この例では、プロンプトがモデルに送信され、レスポンスがメッセージ ボックスに表示されます。

手順

  1. Control Room で、[構成するエンドポイントの検出] をクリックして、エンドポイントのリストを取得します。AWS の SageMaker エンドポイントの呼び出し
    1. AWS SageMaker: 認証アクション の説明に従って資格情報を入力します。
    2. [領域] ドロップダウンをクリックして、エンドポイントの取得元となる AWS インスタンスのリージョンを選択します。構成するエンドポイントの検出
    3. [接続] をクリックします。
      SageMaker に接続し、選択したリージョンで利用可能なエンドポイントが一覧表示されます。リージョン内の AWS SageMaker エンドポイントのリスト
    4. 使用するモデルに対応するエンドポイント名をクリックし、[選択] をクリックします。この例ではテキストベース モデルを使用します。既存のモデルやトレーニング済みのモデルを使用し、[推論] > [エンドポイント] に移動することで、すでにデプロイされたモデルを表示できます。お好みのモデルをデプロイする場合は AWS SageMaker Deploy models for inference を、デプロイされたモデルをトレーニングする場合は AWS SageMaker Build, Train, and Deploy models for inference を参照してください。モデルの詳細について調べるには、モデルをクリックします。
    5. [選択] をクリックします。
      親画面の [エンドポイント名] と [領域] は自動入力されます。
  2. [コンテンツタイプ] ドロップダウンをクリックして、入力するコンテンツ ペイロード タイプを選択します。この例では、[application/json] をペイロード タイプとして選択します。
  3. コンテンツを JSON 形式で入力します。この例では次の JSON を使用します。 
    {
   "inputs":[
      [
         {
            "role":"user",
            "content":"Tell me about Automation Anywhere"
         }
      ]
   ],
   "parameters":{
      "max_new_tokens":512,
      "top_p":0.9,
      "temperature":0.6
   }
}
  4. セッション名として「Default」を入力するか、セッションを変数に保存します。
  5. オプションのパラメーターを管理するには、[その他のオプションを表示] で [はい] を選択します。[はい] を選択した場合は、[カスタム属性 (省略可能)]、[説明を有効にする (省略可能)]、[推論 ID (省略可能)]、[ターゲット コンテナ ホスト名 (省略可能)]、[ターゲット モデル (省略可能)]、[ターゲット バリアント (省略可能)] のような他のパラメーターを追加することができます。これらのオプション パラメーターと SageMaker Endpoint の呼び出しの詳細については、「AWS SageMaker InvokeEndpoint」を参照してください。
  6. この例では、選択したモデルが EULA の承諾を要求しているため、[カスタム属性 (省略可能)] を accept_eula=true に設定する必要があります。
  7. [実行] をクリックして、Bot を起動します。メッセージ ボックス アクションでレスポンスを印刷することで、フィールドの値を読み取ることができます。この例では、 str-TextBasedModelResponse がレスポンスを印刷します。AWS SageMaker のレスポンス