Acción Vertex AI: Acción Multimodal Prompt AI

La acción Vertex AI: La acción Multimodal Prompt AI utiliza el modelo multimodal de Google, que es capaz de procesar información de múltiples modalidades, incluidas imágenes, videos y texto. Esta función le permite manejar tareas complejas, como describir el contenido de una imagen y un video proporcionado como entrada.

Antes de empezar

  • Debe tener el rol Bot creator para usar la acción Vertex AI: Acción Multimodal Prompt AI en una automatización.
  • Asegúrese de tener las credenciales necesarias para enviar una solicitud y haber incluido Vertex AI: Acción Conectar antes de invocar cualquier acción de Google Cloud.

Este ejemplo muestra cómo enviarle a este modelo una foto de un plato de galletas y pedirle que genere una receta para esas galletas usando Vertex AI: Multimodal Prompt AI como acción para obtener una respuesta adecuada.

Procedimiento

  1. En la Automation Anywhere Control Room, navegue hasta el panel Acciones, seleccione IA generativa > de Google, arrastre Vertex AI: Multimodal Prompt AI y colóquelo en el lienzo.
  2. Ingrese o seleccione los siguientes campos:

    Acción Vertex Multimodal Prompt

    1. Ingrese el Número/Nombre del proyecto. Este es el ID del proyecto de GCP. Para obtener más información sobre el ID del proyecto, consulte el ID del proyecto de Google Cloud Project.
    2. Introduzca la ubicación. Para obtener más información sobre la ubicación de Vertex AI, consulte las Ubicaciones de Vertex AI.
    3. Haga clic en el menú desplegable Editor y seleccione Google; o seleccione Terceros para ingresar un editor externo.
    4. Seleccione un modelo de lenguaje extenso (LLM) para usar en su indicador del menú desplegable Modelo. Puede seleccionar los siguientes modelos: Gemini Pro Vision (único modelo disponible ahora)
    5. Ingrese un Indicador que el modelo usará para generar una respuesta.
    6. Cargue hasta diez imágenes o un video. En este ejemplo, se carga una imagen de un plato con varias galletas.
    7. Seleccione Sí para cargar varias imágenes. Puede cargar hasta diez imágenes.
    8. Ingrese la cantidad máxima de tokens (Máximo de tokens) que desea generar. De manera predeterminada, si no ingresa un valor, la cantidad máxima de tokens generados se establece automáticamente para mantenerla dentro de la longitud máxima de contexto del modelo seleccionado considerando la longitud de la respuesta generada.
    9. Introduzca una Temperatura. Este valor se refiere a la aleatoriedad de la respuesta. A medida que la temperatura se acerca a cero, la respuesta se torna más focalizada y determinista. Cuanto más alto es el valor, más aleatoria es la respuesta.
    10. Introduzca Predeterminado Vertex como nombre de la sesión para limitarla a la sesión actual. El nombre ingresado debe coincidir con la sesión establecida al conectarse a GCP.
    11. Para administrar los parámetros opcionales, seleccione Sí en Mostrar más opciones para agregar otros parámetros, como Top K y Top P. Para obtener información sobre estos parámetros opcionales, consulte Modelos de aprendizaje.
    12. Guardar la respuesta en una variable. Por ejemplo, la respuesta se guarda en VertexMultiModelResponse.
  3. Haga clic en Ejecutar para iniciar el bot. Podrá leer el valor del campo simplemente mediante la impresión de la respuesta en un Cuadro de mensaje acción. En este ejemplo, VertexMultiModelResponse imprime la respuesta.

Vea cómo la acción Vertex AI: Multimodal Prompt AI desbloquea nuevas posibilidades. Mire este video que muestra un caso de uso del mundo real.

Cuando se proporciona la siguiente imagen como entrada junto con el indicador, la respuesta generada se muestra en la siguiente tabla:

Indicador Respuesta
Generar una receta.Indicador-Imagen-Galletas

Ingredientes:

  • 1 taza de harina para todo uso
  • 1/2 cucharadita de polvo para hornear
  • 1/4 de cucharadita de sal
  • 1/2 taza (1 barra) de mantequilla sin sal, ablandada
  • 1/2 taza de azúcar granulada
  • 1 huevo grande
  • 1 cucharadita de extracto de vainilla
  • 1 taza de chispas de chocolate semidulce

Instrucciones:

  • Precaliente el horno a 375 °F (190 °C).
  • Cubra una bandeja para hornear con papel pergamino.
  • En un tazón mediano, mezcle la harina, el polvo para hornear y la sal.
  • En un tazón grande, mezcle la mantequilla y el azúcar hasta lograr una textura suave y esponjosa.
  • Bata el huevo con el extracto de vainilla.
  • Agregue gradualmente los ingredientes secos a los ingredientes húmedos, mezclando hasta que se unan.
  • Incorpore las chispas de chocolate.
  • Con una cuchara, forme círculos de masa en la bandeja para hornear preparada, espaciándolos aproximadamente a 2 pulgadas entre sí.
  • Hornee durante 10 a 12 minutos, o hasta que los bordes estén dorados y los centros firmes.
  • Deje enfriar las galletas en la bandeja para hornear durante unos minutos antes de pasarlas a una rejilla hasta que se enfríen por completo.