Aktion „Vertex AI“: Multimodal Prompt AI“

Die Aktion „Vertex AI: Multimodal Prompt AI“ nutzt das multimodale Modell von Google, das in der Lage ist, Informationen aus mehreren Medien zu verarbeiten, darunter Bilder, Videos und Text. Diese Fähigkeit ermöglicht es, komplexe Aufgaben zu bewältigen, wie z. B. die Beschreibung des Inhalts eines eingegebenen Bildes oder Videos.

Vorbereitungen

  • Sie benötigen die Bot Creator-Rolle zur Verwendung der Aktion „Vertex AI: Multimodal Prompt AI“ in einer Automatisierung.
  • Vergewissern Sie sich, dass Sie über die erforderlichen Anmeldeinformationen zum Senden einer Anfrage verfügen und Vertex AI: Aktion „Verbinden“ eingeschlossen haben, bevor Sie eine Google Cloud-Aktion aufrufen.

Dieses Beispiel zeigt, wie man dem Modell ein Foto eines Tellers mit Keksen schickt und es auffordert, mit der „Vertex AI: Multimodal Prompt AI“-Aktion ein Rezept für diese Kekse zu erstellen und eine passende Antwort erhält.

Prozedur

  1. Navigieren Sie im Bereich Automation Anywhere Control Room zum Bereich Aktionen, wählen Sie Generative KI > Google und ziehen Sie Vertex AI: Multimodal Prompt AI auf den Bildschirm.
  2. Geben Sie die folgenden Felder ein oder wählen Sie sie aus:

    Aktion „Vertex Multimodal Prompt“

    1. Geben Sie die Projektnummer/den Projektnamen ein. Dies ist die eindeutige Projekt-ID der GCP. Weitere Informationen zur Projekt-ID finden Sie unter Google Cloud-Projekt – Projekt-ID.
    2. Geben Sie den Ort ein. Weitere Informationen zum Ort von Vertex AI finden Sie unter Vertex AI-Standorte.
    3. Klicken Sie auf das Dropdown-Menü Herausgeber und wählen Sie Google aus; oder wählen Sie Drittanbieter, um einen Drittanbieter anzugeben.
    4. Wählen Sie ein großes Sprachmodell (LLM), das Sie für Ihren Chat verwenden möchten, aus der Dropdown-Liste Modell aus. Sie können die folgenden Modelle auswählen: Gemini Pro Vision (einziges derzeit verfügbares Modell)
    5. Geben Sie eine Eingabeaufforderung ein, auf die das Modell eine Antwort generieren soll.
    6. Laden Sie bis zu zehn Bilder oder ein Video hoch. In diesem Beispiel wird ein Bild von einem Teller mit mehreren Keksen hochgeladen.
    7. Wählen Sie Ja aus, um mehrere Bilder hochzuladen. Sie können bis zu zehn Bilder hochladen.
    8. Geben Sie die maximale Anzahl der zu generierenden Tokens (Max. Anzahl Tokens) ein. Wenn Sie keinen Wert eingeben, wird die maximale Anzahl der generierten Token automatisch so festgelegt, dass sie innerhalb der maximalen Kontextlänge des ausgewählten Modells liegt, indem die Länge der generierten Antwort berücksichtigt wird.
    9. Geben Sie eine Temperatur ein. Dieser Wert bezieht sich auf die Beliebigkeit der Antwort. Wenn die Temperatur sich dem Nullpunkt nähert, wird die Antwort gezielter und deterministischer. Je höher der Wert, desto zufälliger ist die Antwort.
    10. Geben Sie Vertex Standard als Sitzungsnamen ein, um die Sitzung auf die aktuelle Sitzung zu begrenzen. Der eingegebene Name sollte mit der Sitzung übereinstimmen, die bei der Verbindung mit GCP eingerichtet wurde.
    11. Um die optionalen Parameter zu verwalten, wählen Sie Ja unter Weitere Optionen anzeigen, um weitere Parameter hinzuzufügen, wie z. B. Top K und Top P. Informationen zu diesen optionalen Parametern finden Sie unter Lernmodelle.
    12. Speichern Sie die Antwort in einer Variablen. In diesem Beispiel wird die Antwort in VertexMultiModelResponse gespeichert.
  3. Klicken Sie auf Ausführen, um den Bot zu starten. Sie können den Wert des Feldes ablesen, indem Sie die Antwort einfach in einer Nachrichtenfeld-Aktion ausgeben. In diesem Beispiel gibt VertexMultiModelResponse die Antwort aus.

Erleben Sie, wie die Aktion „Vertex AI: Multimodal Prompt AI“ neue Möglichkeiten eröffnet! Sehen Sie sich dieses Video an, das einen realen Anwendungsfall zeigt.

Wenn neben der Eingabeaufforderung das folgende Bild als Eingabe verwendet wird, wird die in der nachstehenden Tabelle dargestellte Antwort generiert:

Eingabeaufforderung Antwort
Generiere ein Rezept.Prompt-Bild-Kekse

Zutaten:

  • 1 Tasse Mehl
  • 1/2 Teelöffel Backpulver
  • 1/4 Teelöffel Salz
  • 1/2 Tasse ungesalzene Butter, Zimmertemperatur
  • 1/2 Tasse Kristallzucker
  • 1 großes Ei
  • 1 Teelöffel Vanilleextrakt
  • 1 Tasse Zartbitter-Schokoladensplitter

Zubereitung:

  • Den Ofen auf 190 °C vorheizen.
  • Ein Backblech mit Pergamentpapier auslegen.
  • In einer mittelgroßen Schüssel das Mehl, das Backpulver und das Salz verquirlen.
  • In einer großen Schüssel die Butter und den Zucker schaumig schlagen.
  • Das Ei und den Vanilleextrakt einrühren.
  • Nach und nach die trockenen Zutaten zu den feuchten Zutaten hinzufügen, bis sie sich vermischt haben.
  • Die Schokoladensplitter unterheben.
  • Den Teig mit runden Esslöffeln auf das vorbereitete Backblech geben, mit einem Abstand von etwa 5 cm.
  • 10–12 Minuten backen oder bis die Ränder goldbraun sind und die Mitte fest ist.
  • Einige Minuten auf dem Backblech abkühlen lassen, bevor sie auf einem Gitterrost vollständig abkühlen.