Vertex AI: マルチモーダル プロンプト AI アクション

Vertex AI: マルチモーダル プロンプト AI アクションでは、画像、ビデオ、テキストなど、複数の種類の情報を処理できる Google のマルチモーダル モデルを使用します。この機能により、入力として指定された画像やビデオの内容を記述するといった複雑なタスクを処理できます。

前提条件

  • Vertex AI: マルチモーダル プロンプト AI アクションをオートメーションで使用するには、Bot Creator ロールが必要です。
  • Google Cloud のアクションを呼び出す前に、リクエストを送信するために必要な認証情報があり、[接続] アクション が含まれていることを確認してください。

この例は、このモデルにクッキーの皿の写真を送り、Vertex AI: マルチモーダル プロンプト AI アクションを使用してクッキーのレシピを生成し、適切なレスポンスを得るように依頼する方法を示しています。

手順

  1. Automation Anywhere Control Room で [アクション] ペインに移動し、[生成 AI] > [Google]を選択し、[Vertex AI: マルチモーダル プロンプト AI] をドラッグしてキャンバスに配置します。
  2. 以下のフィールドを入力または選択します。

    Vertex マルチモーダル プロンプト アクション

    1. [プロジェクト番号/名前] を入力します。GCP からの一意のプロジェクト ID です。プロジェクト ID の詳細については、「Google Cloud Project のプロジェクト ID」を参照してください。
    2. 場所を入力します。Vertex AI の場所の詳細については、「Vertex AI の場所」を参照してください。
    3. [発行元] ドロップダウンをクリックし、[Google] を選択するか、[サードパーティ] を選択してサードパーティの発行元を入力します。
    4. [モデル] ドロップダウンからプロンプトに使用する大規模言語モデル (LLM) を選択します。以下のモデルを選択できます。Gemini Pro Vision (現在利用可能な唯一のモデル)
    5. レスポンスを生成するモデルのプロンプトを入力します。
    6. 画像またはビデオを 10 件までアップロードします。この例では、クッキーがいくつか盛られた皿の画像をアップロードします。
    7. 複数の画像をアップロードするには、[はい] を選択します。画像は 10 枚までアップロードできます。
    8. 生成するトークンの最大数 ([最大トークン]) を入力します。デフォルトでは、値を入力しない場合、生成されるトークンの最大数は、生成されるレスポンスの長さを考慮することで、選択されたモデルのコンテキストの最大長に収まるように自動的に設定されます。
    9. [Temperature (温度)] を入力します。この値は、レスポンスのランダム性を示します。温度がゼロに近づくにつれて、レスポンスの焦点がより絞り込まれ、決定的になります。値が高いほど、よりランダムなレスポンスとなります。
    10. 現在のセッションに限定するセッション名として、「Vertex-Default」と入力します。入力した名前は、GCP への接続中に確立されたセッションと一致する必要があります。
    11. オプションのパラメーターを管理するには、[その他のオプションを表示] で [はい] を選択して、[Top K] や [Top P] などのパラメーターを追加します。これらのオプション パラメーターについては、「モデルを学ぶ」を参照してください。
    12. 変数にレスポンスを保存します。この例では、レスポンスは VertexMultiModelResponse に保存されます。
  3. [実行] をクリックして、Bot を起動します。メッセージ ボックス アクションでレスポンスを印刷することで、フィールドの値を読み取ることができます。この例では、VertexMultiModelResponse がレスポンスを印刷します。

次の画像を入力としてプロンプトに入力すると、生成されるレスポンスは下表のようになります。

プロンプト レスポンス
レシピを作成します。Prompt-Image-Cookies

原材料:

  • 中力粉 1 カップ
  • ベーキング パウダー 小さじ 1/2
  • 塩 小さじ 1/4
  • 無塩バター 1/2 カップ (1 スティック) (柔らかくする)
  • グラニュー糖 1/2 カップ
  • 卵 大 1 個
  • バニラエッセンス 小さじ 1
  • セミスイート チョコレート チップ 1 カップ

手順:

  • 摂氏 190 度 (華氏 375 度) にオーブンを予熱します。
  • ベーキング シートにクッキング ペーパーを敷きます。
  • 中型ボウルに、小麦粉、ベーキング パウダー、塩を入れて混ぜます。
  • 大型ボウルにバターと砂糖を入れてクリーム状にして、軽くふわふわにします。
  • 卵とバニラエッセンスを加えて混ぜます。
  • 水分を含む材料に乾きものの材料を少しずつ加え、混ぜ合わせます。
  • チョコレート チップを入れます。
  • 用意したベーキング シートに大さじで丸めた生地を約 5cm 間隔で落とします。
  • 端がきつね色になり、中心が固まるまで 10 ～ 12 分焼きます。
  • ベーキング シートの上で数分間冷ましてから、金網台に移して完全に冷まします。