Vertex AI: 멀티모달 프롬프트 AI 작업

Vertex AI: 멀티모달 프롬프트 AI 작업은 이미지, 동영상, 텍스트 등을 포함하는 다양한 양식의 정보를 처리할 수 있는 Google의 멀티모달 모델을 사용합니다. 이 기능을 사용하면 입력한 이미지 및 동영상의 콘텐츠를 설명하는 것과 같은 복잡한 작업을 처리할 수 있습니다.

전제 조건

  • 이때 Bot creator 역할을 보유하고 있어야 Vertex AI: 멀티모달 프롬프트 AI 작업을 자동화에 사용할 수 있습니다.
  • 요청을 보내는 데 필요한 자격증명을 보유하고 Google Cloud 작업을 호출하기 전에 Vertex AI: 연결 작업을 포함했는지 확인하십시오.

이 예시를 통해 이 모델에 쿠키 한 접시를 찍은 사진을 전송한 다음 Vertex AI: 멀티 모달 프롬프트 AI action을 사용하여 해당 쿠키의 레시피를 생성하도록 요청해서 적절한 답변을 얻는 방법을 확인할 수 있습니다.

프로시저

  1. Automation Anywhere Control Room에서 작업 창으로 이동하여 생성형 AI > Google을 선택하고 Vertex AI: 멀티모달 프롬프트 AI를 드래그하여 캔버스에 놓습니다.
  2. 다음 필드를 입력하거나 선택합니다.

    Vertex 멀티모달 프롬프트 작업

    1. 프로젝트 번호/이름을 입력합니다. GCP의 고유한 프로젝트 ID입니다. 프로젝트 ID에 대한 자세한 내용은 Google Cloud 프로젝트의 프로젝트 ID를 참조하십시오.
    2. 위치를 입력합니다. Vertex AI 위치에 대한 자세한 내용은 Vertex AI 위치 항목을 참조하십시오.
    3. 게시자 드롭다운을 클릭하고 Google을 선택하거나 제3자를 선택하여 타사 게시자를 입력합니다.
    4. 모델 드롭다운에서 프롬프트에 사용할 LLM(대규모 언어 모델)을 선택합니다. 다음 모델을 선택할 수 있습니다. Gemini Pro Vision(현재 사용 가능한 유일한 모델)
    5. 모델이 응답을 생성하는 데 사용할 프롬프트를 입력합니다.
    6. 최대 10개의 이미지 또는 동영상을 업로드하십시오. 이 예시에서는 여러 개의 쿠키를 담은 접시 이미지 하나가 업로드됩니다.
    7. 여러 이미지를 업로드하려면 예를 선택합니다. 최대 10개의 이미지를 업로드할 수 있습니다.
    8. 생성할 최대 토큰 수(최대 토큰)를 입력합니다. 기본적으로 값을 입력하지 않으면 생성된 응답의 길이를 고려하여 선택한 모델의 최대 컨텍스트 길이 이내로 유지되도록 생성되는 토큰의 최대 개수가 자동으로 설정됩니다.
    9. 온도를 입력합니다. 이 값은 응답의 무작위성을 나타냅니다. 온도가 0에 가까워질수록 반응이 더 중점적이고 결정적으로 나타납니다. 값이 높을수록 응답이 무작위일 가능성이 높습니다.
    10. 세션을 현재 세션으로 제한하려면 세션 이름을 Vertex-Default로 입력합니다. 입력한 이름은 GCP에 연결할 때 설정한 세션의 이름과 일치해야 합니다.
    11. 선택적 매개변수를 관리하려면 더 많은 옵션 표시에서 예를 선택하여 Top K 및 Top P 등의 다른 매개변수를 추가하십시오. 이러한 선택적 매개변수에 대한 정보는 모델 학습 항목에서 참조하십시오.
    12. 응답을 변수에 저장합니다. 예제에서는 응답이 VertexMultiModelResponse에 저장됩니다.
  3. 실행을 클릭하여 bot을 시작합니다. 메시지 상자 action에 있는 응답을 인쇄하면 필드의 값을 읽을 수 있습니다. 이 예제에서는 VertexMultiModelResponse가 응답을 인쇄합니다.

Vertex AI의 멀티모달 프롬프트 AI 작업을 통해 실현 가능한 새로운 가능성을 확인하십시오! 이 비디오에서 실제 유스케이스를 확인하십시오.

프롬프트와 함께 다음 이미지를 입력으로 제공하면 아래 표와 같은 응답이 생성됩니다.

프롬프트 응답
레시피를 작성하십시오.Prompt-Image-Cookies

재료:

  • 중력분 밀가루 1컵
  • 베이킹 파우더 1/2 작은술
  • 소금 1/4 작은술
  • 실온 상태의 무염 버터 1/2컵(1 스틱)
  • 정제된 백설탕 1/2컵
  • 큰 달걀 1개
  • 바닐라 추출물 1 작은술
  • 약간 달콤한 초콜릿 칩 1컵

지침:

  • 오븐을 375℉(190℃)로 예열합니다.
  • 베이킹 시트에 유산지를 깝니다.
  • 중간 크기의 그릇에 밀가루, 베이킹파우더, 소금을 넣고 섞습니다.
  • 큰 그릇에 버터와 설탕을 넣은 다음 가볍고 부드러운 질감이 될 때까지 잘 섞습니다.
  • 달걀과 바닐라 추출물을 넣습니다.
  • 마른 재료를 젖은 재료에 조금씩 추가하면서 골고루 섞습니다.
  • 초콜릿 칩을 부드럽게 섞습니다.
  • 큰 스푼에 반죽을 가득 떠서 준비해 둔 베이킹 시트에 약 2인치 간격으로 덜어 놓습니다.
  • 10~12분간, 또는 가장자리가 노릇노릇해지고 가운데가 굳을 때까지 반죽을 굽습니다.
  • 베이킹 시트에서 몇 분간 식힌 후 와이어 랙으로 옮겨 완전히 식힙니다.