SageMaker におけるテキストベースモデルの呼び出し

このトピックでは、AWS SageMaker を使用して Meta の LLaMA 2 AI モデルを呼び出す方法について、例を用いて説明します。

大規模言語モデル (LLM) の Llama 2 ファミリーは、70 億から 700 億のパラメーターというスケールで事前にトレーニングされて微調整された生成テキストモデルのコレクションです。Llama-2-chat と呼ばれる微調整された LLM は、ダイアログの事例に最適化されています。Automation Anywhere の SageMaker エンドポイント呼び出しアクションを使用してプロンプトを送信し、このモデルからレスポンスを受け取ることができます。この例では、プロンプトがモデルに送信され、レスポンスがメッセージボックスに表示されます。

手順

Control Room で、[構成するエンドポイントの検出] をクリックして、エンドポイントのリストを取得します。
1. 認証アクションの説明に従って資格情報を入力します。
2. [領域] ドロップダウンをクリックして、エンドポイントの取得元となる AWS インスタンスのリージョンを選択します。
3. [接続] をクリックします。
  SageMaker に接続し、選択したリージョンで利用可能なエンドポイントが一覧表示されます。
4. 使用するモデルに対応するエンドポイント名をクリックし、[選択] をクリックします。この例ではテキストベースモデルを使用します。既存のモデルやトレーニング済みのモデルを使用し、[推論] > [エンドポイント] に移動することで、すでにデプロイされたモデルを表示できます。お好みのモデルをデプロイする場合は AWS SageMaker デプロイモデル (推測) を、デプロイされたモデルをトレーニングする場合は AWS SageMaker ビルド、トレーニング、デプロイモデル (推測) を参照してください。モデルの詳細について調べるには、モデルをクリックします。
5. [選択] をクリックします。
  親画面の [エンドポイント名] と [領域] は自動入力されます。
[コンテンツタイプ] ドロップダウンをクリックして、入力するコンテンツペイロードタイプを選択します。この例では、[application/json] をペイロードタイプとして選択します。

コンテンツを JSON 形式で入力します。この例では次の JSON を使用します。

{
   "inputs":[
      [
         {
            "role":"user",
            "content":"Tell me about Automation Anywhere"
         }
      ]
   ],
   "parameters":{
      "max_new_tokens":512,
      "top_p":0.9,
      "temperature":0.6
   }
}

セッション名として「Default」を入力するか、セッションを変数に保存します。
オプションのパラメーターを管理するには、[その他のオプションを表示] で [はい] を選択します。[はい] を選択した場合は、[カスタム属性 (省略可能)]、[説明を有効にする (省略可能)]、[推論 ID (省略可能)]、[ターゲットコンテナホスト名 (省略可能)]、[ターゲットモデル (省略可能)]、[ターゲットバリアント (省略可能)] のような他のパラメーターを追加することができます。これらのオプションパラメーターと SageMaker Endpoint の呼び出しの詳細については、「AWS SageMaker InvokeEndpoint」を参照してください。
この例では、選択したモデルが EULA の承諾を要求しているため、[カスタム属性 (省略可能)] を accept_eula=true に設定する必要があります。
[実行] をクリックして、Bot を起動します。メッセージボックス アクションでレスポンスを印刷することで、フィールドの値を読み取ることができます。この例では、 str-TextBasedModelResponse がレスポンスを印刷します。

Automation 360

SageMaker におけるテキスト ベース モデルの呼び出し

SageMaker におけるテキストベースモデルの呼び出し