L'action Vertex AI : Action Invite multimodale IA

Le Vertex AI : Invite multimodale IA utilise le modèle multimodal de Google, capable de traiter des informations de plusieurs modalités, notamment des images, des vidéos et du texte. Cette fonctionnalité permet de traiter des tâches complexes, par exemple la description du contenu d'une image et d'une vidéo.

Prérequis

  • Vous devez avoir le rôle de Créateur de robots pour utiliser l'action Vertex AI : Invite multimodale IA dans le cadre d'une automatisation.
  • Assurez-vous de disposer des informations d'identification nécessaires pour envoyer une demande et d'inclure L'action Vertex AI : Action Se connecter avant d'appeler toute action Google Cloud.

Dans cet exemple, nous vous expliquons comment envoyer à ce modèle la photo d'une assiette de cookies, lui demander de générer la recette de ces cookies à l'aide de l'action Vertex AI : Invite multimodale IA et d'obtenir une réponse appropriée.

Procédure

  1. Dans la Automation Anywhere Control Room, accédez au volet Actions, sélectionnez IA générative > Google, puis faites glisser l'action Vertex AI : Invite multimodale IA et placez-la dans le canevas.
  2. Renseignez ou sélectionnez les champs suivants :

    Action Invite multimodale Vertex

    1. Saisissez le Numéro/Nom du projet. Il s'agit de l'identifiant de projet unique du GCP. Pour plus d'informations sur l'identifiant de projet, voir Identifiant projet de Google Cloud Project.
    2. Spécifiez l'emplacement. Pour en savoir plus sur l'emplacement de Vertex AI, voir Emplacements de Vertex AI.
    3. Cliquez sur le menu déroulant Éditeur et sélectionnez Google ; ou sélectionnez Tiers pour accéder à un éditeur tiers.
    4. Sélectionnez un grand modèle de langage (LLM) à utiliser pour votre invite dans la liste déroulante Modèle. Vous pouvez sélectionner les modèles suivants : Gemini Pro Vision (seul modèle disponible actuellement)
    5. Saisissez une Invite que le modèle utilisera pour générer une réponse.
    6. Chargez jusqu'à dix images ou une vidéo. Dans cet exemple, l'image d'une assiette de cookies est chargée.
    7. Sélectionnez Oui pour charger plusieurs images. Vous pouvez charger jusqu'à dix images.
    8. Entrez le nombre maximal de jetons (Jetons max) à générer. Par défaut, si vous ne saisissez pas de valeur, le nombre maximal de jetons générés est automatiquement fixé de manière à respecter la longueur maximale du contexte pour le modèle sélectionné en tenant compte de la longueur de la réponse générée.
    9. Saisissez une Température. Cette valeur fait référence au caractère aléatoire de la réponse. À mesure que la température se rapproche de zéro, la réponse devient plus ciblée et déterministe. Plus la valeur est élevée, plus la réponse est aléatoire.
    10. Saisissez Vertex-Par défaut comme nom de session pour limiter la session à la session en cours. Le nom saisi doit correspondre à la session établie lors de la connexion à GCP.
    11. Pour gérer les paramètres facultatifs, sélectionnez Oui sous Afficher plus d'options en vue d'ajouter d'autres paramètres tels que Top K et Top P. Pour en savoir plus sur ces paramètres facultatifs, voir Modèles d'apprentissage.
    12. Enregistrez la réponse dans une variable. Dans cet exemple, la réponse est enregistrée dans VertexMultiModelResponse.
  3. Cliquez sur Exécuter pour démarrer le robot. Vous pouvez lire la valeur du champ en affichant la réponse dans une action Zone de message. Dans cet exemple, VertexMultiModelResponse affiche la réponse.

Découvrez comment l'action IA d'invites multimodale de Vertex AI ouvre de nouvelles possibilités ! Regardez cette vidéo présentant un cas d'utilisation réel.

Lorsque l'image suivante est fournie comme entrée avec l'invite, la réponse générée est indiquée dans le tableau ci-dessous :

Invite Réponse
Générer une recette.Invite-Image-Cookies

Ingrédients :

  • 1 tasse de farine tout usage
  • 1/2 cuillère à café de levure chimique
  • 1/4 de cuillère à café de sel
  • 1/2 tasse de beurre pommade, non salé
  • 1/2 tasse de sucre en poudre
  • 1 gros œuf
  • 1 cuillère à café d'extrait de vanille
  • 1 tasse de pépites de chocolat noir

Recette :

  • Préchauffer le four à 190 degrés C (375 degrés F).
  • Chemiser une plaque à pâtisserie avec du papier sulfurisé.
  • Dans un bol, mélanger au fouet la farine, la levure et le sel.
  • Dans un cul de poule, mélanger le beurre et le sucre jusqu'à obtenir une consistance crémeuse et légère.
  • Incorporer l'œuf entier battu et l'extrait de vanille et mélanger.
  • Ajouter progressivement les ingrédients secs aux ingrédients humides, en mélangeant jusqu'à obtention d'une consistance homogène.
  • Incorporer les pépites de chocolat.
  • À l'aide d'une cuillère à soupe, déposer de petits tas de pâte sur la plaque à pâtisserie en les espaçant d'environ 5 cm.
  • Enfourner pendant 10 à 12 minutes, ou jusqu'à ce que les bords soient dorés et que le centre soit cuit.
  • Laisser reposer les cookies sur la plaque pendant quelques minutes avant de les transférer sur une grille pour qu'ils refroidissent complètement.