Vertex AI: [マルチモーダル プロンプト AI] アクションは、画像、動画、テキストなど、複数のモダリティからの情報を処理できる Google のマルチモーダルモデルを使用しています。 この機能により、画像や動画の内容を入力として説明するなど、複雑なタスクを処理することができます。

前提条件

  • Vertex AI を使用するには、Bot 作成者ロールが必要です。 オートメーションにおけるマルチモーダル プロンプト AI アクション。
  • Google Cloud のアクションを呼び出す前に、リクエストを送信するために必要な認証情報があり、Vertex AI: [接続] アクション が含まれていることを確認してください。

この例では、このモデルにクッキーの皿の写真を送信し、それらのクッキーのレシピを Vertex AI を使って生成するよう依頼する方法を示します: マルチモーダルプロンプトAI アクション を使用して、適切なレスポンスを得る方法について説明します。

手順

  1. Automation Anywhere Control Room で アクション ペインに移動し、生成 AI > Google を選択し、 Vertex AI をドラッグします: マルチモーダル プロンプト AI をドラッグしてキャンバスに配置します。
  2. 次のフィールドを入力または選択します。

    Vertex マルチモーダル プロンプト アクション

    1. [プロジェクト番号/名前] を入力します。 GCP からの一意のプロジェクト ID です。 プロジェクト ID の詳細については、Google Cloud Project のプロジェクト IDを参照してください。
    2. 場所を入力します。 Vertex AI のロケーションに関する詳細は、Vertex AI の場所 をご覧ください。
    3. 発行元 ドロップダウンをクリックし、Google を選択するか、サードパーティ を選択してサードパーティの発行元を入力します。
    4. モデル ドロップダウンからプロンプトに使用する大規模言語モデル (LLM) を選択します。 以下のモデルを選択できます。
      • Gemini Pro Vision（非推奨）
    5. モデルが応答を生成するための プロンプト を入力します。
    6. 最大10枚の画像または1本の動画をアップロードしてください。 この例では、いくつかのクッキーが載った皿の画像がアップロードされています。
    7. はい を選択して、複数の画像をアップロードします。 画像は 10 枚までアップロードできます。
    8. 生成するトークンの最大数 (最大トークン) を入力します。 デフォルトでは、値を入力しない場合、生成されるトークンの最大数は、生成されるレスポンスの長さを考慮して、選択したモデルの最大コンテキスト長に収まるように自動的に設定されます。
    9. [Temperature (温度)] を入力します。 この値は、レスポンスのランダム性を示します。 温度がゼロに近づくと、レスポンスはより焦点化され、決定的になります。 値が高いほど、よりランダムなレスポンスとなります。
    10. 現在のセッションに限定するセッション名として、[Vertex-Default]と入力します。 入力された名前は、GCPに接続している間に確立されたセッションと一致する必要があります。
    11. 任意のパラメータを管理するには、はいを選択してその他のオプションを表示の下に、Top KやTop Pなどの他のパラメータを追加します。これらの任意のパラメータに関する情報は、モデルを学ぶを参照してください。
    12. レスポンスを変数に保存します。 この例では、レスポンスは VertexMultiModelResponse に保存されます。
  3. 実行 をクリックして、Bot を初級します。 メッセージ ボックス アクションでレスポンスを印刷することで、フィールドの値を読み取ることができます。 この例では、VertexMultiModelResponse がレスポンスを印刷します。

Vertex AI の マルチモーダル プロンプト AI アクションの新たな可能性をご覧ください! 実際の事例を紹介するビデオをご覧ください。

次の画像がプロンプトと一緒に入力として提供されると、生成された応答は以下の表に示されます:

プロンプト レスポンス
レシピを生成します。プロンプト画像 - クッキー

材料：

  • 1カップの万能小麦粉
  • 小さじ1/2のベーキングパウダー
  • 小さじ1/4の塩
  • 1/2カップ（1本）無塩バター
  • 1/2カップのグラニュー糖
  • 1個の卵L
  • 1ティースプーンのバニラエキス
  • 1カップのセミスイートチョコレートチップ

レシピ:

  • オーブンを375°F (190°C)に予熱します。
  • ベーキングシートにパーチメント紙を敷きます。
  • 中くらいのボウルで、小麦粉、ベーキングパウダー、塩を混ぜ合わせます。
  • 大きなボウルで、バターと砂糖を軽くふわふわになるまでクリーム状に混ぜます。
  • 卵とバニラエッセンスを混ぜます。
  • 湿った材料に乾いた材料を徐々に加え、ちょうど混ざるまで混ぜます。
  • チョコレートチップを混ぜ込みます。
  • 生地を丸い大さじですくって準備したベーキングシートに落とし、約2インチ間隔で並べます。
  • 10〜12分焼くか、端が黄金色になり、中央が固まるまで焼きます。
  • ベーキングシートの上で数分間冷まし、その後、完全に冷やすためにワイヤーラックに移してください。