Vertex AI: Ação Prompt de IA Multimodal

O Vertex AI: A ação Prompt de IA Multimodal usa o modelo multimodal do Google que é capaz de processar informações de múltiplas modalidades, incluindo imagens, vídeos e texto. Esse recurso permite lidar com tarefas complexas, como descrever o conteúdo de uma imagem e um vídeo fornecidos como entrada.

Pré-requisitos

  • Você precisa ter a função Criador de bots para usar Vertex AI: ação Prompt de IA Multimodal em uma automação.
  • Certifique-se de ter as credenciais necessárias para enviar uma solicitação e de ter incluído Vertex AI: Ação Conectar antes de chamar qualquer ação do Google Cloud.

Este exemplo mostra como enviar para o modelo uma foto de um prato de biscoitos e pedir que ele gere uma receita desses biscoitos usando Vertex AI: ação Prompt de IA Multimodal e receber uma resposta apropriada.

Procedimento

  1. Na Automation Anywhere Control Room, acesse o painel Ações, selecione IA generativa > Google, arraste Vertex AI: Prompt de IA Multimodal e coloque-o na tela.
  2. Insira ou selecione os seguintes campos:

    Ação Prompt Multimodal Vertex

    1. Insira o Número/nome do projeto. Este é o ID do projeto exclusivo do GCP. Para obter mais informações sobre o ID do projeto, consulte ID do projeto do Google Cloud.
    2. Insira o Local. Para obter mais informações sobre o local do Vertex AI, consulte Locais Vertex AI.
    3. Clique no menu suspenso Editor e selecione Google; ou selecione Terceiros para inserir um editor de terceiros.
    4. Selecione um LLM (Large Language Model, grande modelo de linguagem) para usar para o seu prompt na lista suspensa Modelo. É possível selecionar os seguintes modelos: Gemini Pro Vision (único modelo disponível no momento)
    5. Insira um Prompt para que o modelo gere uma resposta.
    6. Carregue até dez imagens ou um vídeo. Neste exemplo, uma imagem de um prato de biscoitos é carregada.
    7. Selecione Sim para carregar múltiplas imagens. Você pode carregar até dez imagens.
    8. Insira o número máximo de tokens (Máx. de tokens) para gerar. Por padrão, se você não inserir um valor, o número máximo de tokens gerados será definido automaticamente para mantê-lo dentro do comprimento máximo de contexto do modelo selecionado, considerando o comprimento da resposta gerada.
    9. Digite uma Temperatura. Esse valor se refere à aleatoriedade da resposta. À medida que a temperatura se aproxima de zero, a resposta se torna mais focada e determinística. Quanto maior o valor, mais aleatória é a resposta.
    10. Digite Vertex-Default como o nome da sessão para limitá-la à sessão atual. O nome digitado deve corresponder à sessão estabelecida durante a conexão ao GCP.
    11. Para gerenciar os parâmetros opcionais, selecione Sim em Mostrar mais opções para adicionar outros parâmetros, como Top K e Top P. Para obter informações sobre esses parâmetros opcionais, consulte Aprender modelos.
    12. Salve a resposta em uma variável. Neste exemplo, a resposta é salva como VertexMultiModelResponse.
  3. Clique em Executar para iniciar o bot. Você pode ler o valor do campo imprimindo a resposta em uma ação de Caixa de mensagem. Neste exemplo, VertexMultiModelResponse imprime a resposta.

Veja como a ação Prompt de IA Multimodal da Vertex AI abre novas possibilidades! Assista ao vídeo que apresenta um caso de uso do mundo real.

Quando a imagem a seguir é fornecida como entrada junto com o prompt, a resposta gerada é mostrada na tabela abaixo:

Prompt Resposta
Generate a recipe.(Gere uma receita.)Prompt-Image-Cookies

Ingredients: (Ingredientes:)

  • 1 cup all-purpose flour (1 xícara de farinha)
  • 1/2 teaspoon baking powder (1/2 colher de chá de fermento em pó)
  • 1/4 teaspoon salt (1/4 colher de chá de sal)
  • 1/2 cup (1 stick) unsalted butter, softened (1/2 xícara (1 tablete) de manteiga sem sal, amolecida)
  • 1/2 cup granulated sugar (1/2 xícara de açúcar refinado)
  • 1 large egg (1 ovo grande)
  • 1 teaspoon vanilla extract (1 colher de chá de extrato de baunilha)
  • 1 cup semisweet chocolate chips (1 xícara de gotas de chocolate meio amargo)

Instruções: (Instruções:)

  • Preheat oven to 375 degrees F (190 degrees C). (Pré-aqueça o forno a 190 °C (375 °F).)
  • Line a baking sheet with parchment paper. (Forre uma assadeira com papel manteiga.)
  • In a medium bowl, whisk together the flour, baking powder, and salt. (Em uma tigela média, misture a farinha, o fermento e o sal.)
  • In a large bowl, cream together the butter and sugar until light and fluffy. (Em uma tigela grande, bata a manteiga e o açúcar até obter um creme claro e aerado.)
  • Beat in the egg and vanilla extract. (Adicione o ovo e o extrato de baunilha.)
  • Gradually add the dry ingredients to the wet ingredients, mixing until just combined. (Aos poucos, vá adicionando os ingredientes secos aos úmidos, misturando tudo até incorporar bem.)
  • Fold in the chocolate chips. (Acrescente as gotas de chocolate.)
  • Drop the dough by rounded tablespoons onto the prepared baking sheet, spacing them about 2 inches apart. (Modele os biscoitos com a ajuda de colheres de sopa arredondadas enquanto os transfere para a assadeira preparada, deixando um espaço de cerca de 5 centímetros entre ele.)
  • Bake for 10-12 minutes, or until the edges are golden brown and the centers are set. (Asse por 10 a 12 minutos ou até que as bordas estejam douradas e os centros firmes.)
  • Let cool on the baking sheet for a few minutes before transferring to a wire rack to cool completely. (Deixe esfriar na assadeira por alguns minutos antes de transferir para uma grade para esfriar completamente.)