Aktion „Vertex AI: Aktion „Titan Prompt AI“

Die Aktion „Vertex AI: Die multimodale KI-Aktion Prompt nutzt das multimodale Modell von Google, das in der Lage ist, Informationen aus mehreren Modalitäten zu verarbeiten, darunter Bilder, Videos und Text. Diese Fähigkeit ermöglicht es, komplexe Aufgaben zu bewältigen, wie z. B. die Beschreibung des Inhalts eines Bildes und eines Videos, die als Eingabe dienen.

Vorbereitungen

  • Sie benötigen die Bot Creator-Rolle zur Verwendung der Aktion „: Multimodale KI-Aktionsaufforderung in einer Automatisierung.
  • Vergewissern Sie sich, dass Sie über die erforderlichen Anmeldeinformationen zum Senden einer Anfrage verfügen und Aktion „Verbinden“ eingeschlossen haben, bevor Sie eine Google Cloud-Aktion aufrufen.

Dieses Beispiel zeigt, wie man diesem Modell ein Foto eines Tellers mit Keksen schickt und es bittet, ein Rezept für diese Kekse mithilfe der Vertex-KI zu erstellen: Aktion „Eingabeaufforderung KI“, und erhalten Sie eine angemessene Antwort.

Prozedur

  1. Navigieren Sie im Bereich Automation Anywhere Control Room zum Bereich Aktionen, wählen Sie Generative KI > Google und ziehen Sie Vertex AI: Prompt AI auf den Bildschirm.
  2. Geben Sie die folgenden Felder ein oder wählen Sie sie aus:

    Vertex Multimodal Prompt Action

    1. Geben Sie die Projektnummer/den Projektnamen ein. Dies ist die eindeutige Projekt-ID der GCP. Weitere Informationen zur Projekt-ID finden Sie unter Google Cloud-Projekt – Projekt-ID.
    2. Geben Sie den Ort ein. Weitere Informationen zu Vertex AI-Standorten finden Sie unter Vertex AI-Standorte.
    3. Klicken Sie auf das Dropdown-Menü Herausgeber und wählen Sie Google aus; oder wählen Sie Drittanbieter, um einen Drittanbieter anzugeben.
    4. Wählen Sie ein großes Sprachmodell (LLM), das Sie für Ihren Chat verwenden möchten, aus der Dropdown-Liste Modell aus. Sie können die folgenden Modelle auswählen: Gemini Pro Vision (einziges derzeit verfügbares Modell)
    5. Geben Sie eine Eingabeaufforderung ein, die das Modell zum Generieren einer Antwort verwenden soll.
    6. Laden Sie bis zu zehn Bilder oder ein Video hoch. In diesem Beispiel wird ein Bild von einem Teller mit mehreren Keksen hochgeladen.
    7. Wählen Sie Ja , um mehrere Bilder hochzuladen. Sie können bis zu zehn Bilder hochladen.
    8. Geben Sie die maximale Anzahl der zu generierenden Tokens (Max. Anzahl Tokens) ein. Wenn Sie keinen Wert eingeben, wird die maximale Anzahl der generierten Token automatisch so festgelegt, dass sie innerhalb der maximalen Kontextlänge des ausgewählten Modells liegt, indem die Länge der generierten Antwort berücksichtigt wird.
    9. Geben Sie eine Temperatur ein. Dieser Wert bezieht sich auf die Beliebigkeit der Antwort. Wenn die Temperatur sich dem Nullpunkt nähert, wird die Antwort gezielter und deterministischer. Je höher der Wert, desto zufälliger ist die Antwort.
    10. Geben Sie Standard als Sitzungsnamen ein, um die Sitzung auf die aktuelle Sitzung zu begrenzen. Der eingegebene Name sollte mit der Sitzung übereinstimmen, die bei der Verbindung mit GCP eingerichtet wurde.
    11. Um die optionalen Parameter zu verwalten, wählen Sie Ja unter Weitere Optionen anzeigen , um weitere Parameter hinzuzufügen wie:Top K und Top P. Informationen zu diesen optionalen Parametern finden Sie unter Learn Models.
    12. Speichern Sie die Antwort in einer Variablen. In diesem Beispiel wird die Antwort in VertexMultiModelResponse gespeichert.
  3. Klicken Sie auf Ausführen, um den Bot zu starten. Sie können den Wert des Feldes ablesen, indem Sie die Antwort einfach in einer Nachrichtenfeld-Aktion ausgeben. In diesem Beispiel gibt VertexMultiModelResponse die Antwort aus.

Wenn das folgende Bild als Eingabe neben der Eingabeaufforderung eingegeben wird, ist die generierte Antwort in der nachstehenden Tabelle dargestellt:

Eingabeaufforderung Antwort
Erzeugen Sie ein Rezept.Prompt-Bilder-Kekse

Zutaten:

  • 1 Tasse Allzweckmehl
  • 1/2 Teelöffel Backpulver
  • 1/4 Teelöffel Salz
  • 1/2 Tasse (1 Stange) ungesalzene Butter, erweicht
  • 1/2 Tasse Kristallzucker
  • 1 großes Ei
  • 1 Teelöffel Vanilleextrakt
  • 1 Tasse halbsüße Schokoladensplitter

Anleitungen

  • Den Ofen auf 375 Grad F (190 Grad C) vorheizen.
  • Ein Backblech mit Pergamentpapier auslegen.
  • In einer mittelgroßen Schüssel das Mehl, das Backpulver und das Salz verquirlen.
  • In einer großen Schüssel die Butter und den Zucker schaumig schlagen.
  • Das Ei und den Vanilleextrakt einrühren.
  • Fügen Sie nach und nach die trockenen Zutaten zu den feuchten Zutaten hinzu, bis sie sich gerade verbunden haben.
  • Die Schokoladenstückchen unterheben.
  • Den Teig mit runden Esslöffeln auf das vorbereitete Backblech geben, mit einem Abstand von etwa 5 cm.
  • 10-12 Minuten backen, oder bis die Ränder goldbraun und die Mitte fest ist.
  • Einige Minuten auf dem Backblech abkühlen lassen, bevor sie auf einem Gitterrost vollständig abkühlen.