Azure OpenAI: MultiModal Chat AI 操作 - Azure OpenAI ： MultiModal Chat AI 操作允许您将 Azure OpenAI gpt-4o 和 gpt-4 的视觉能力集成到您的工作流中。这意味着您的自动化现在可以处理和回答有关图像的问题，不再仅限于基于文本的交互。

Azure OpenAI： MultiModal Chat AI 操作允许您将 Azure OpenAI gpt-4o 和 gpt-4 的视觉能力集成到您的工作流中。这意味着您的自动化现在可以处理和回答有关图像的问题，不再仅限于基于文本的交互。

开始之前

您必须拥有机器人创造程序角色才能使用 Azure OpenAI： MultiModal Chat AI 操作。
在调用任何 Microsoft Azure OpenAI 操作之前，请确保您拥有发送请求所需的凭据并且已包含 Azure OpenAI：身份验证操作。

关于此任务

此示例展示了如何使用 Azure OpenAI： MultiModal Chat AI 操作发送自然语言消息并获得适当的响应。

过程

在 Automation Anywhere Control Room 中，导航到操作窗格，选择生成式人工智能 > Microsoft Azure OpenAI，拖动 Azure OpenAI: Multimodal Chat AI，并将其放置在画布上。
输入或选择以下字段：
1. 请输入来自 Azure OpenAI 的部署 ID。 部署 ID 与您要用于提示的大型语言模型 (LLM) 相关联，可以从 Automation Anywhere Control Room 中复制。
2. 输入聊天消息，以供模型生成响应。
  
  注：聊天操作会在同一会话中保留前一个聊天操作的结果。如果您连续调用聊天操作，模型可以理解后续消息并将其与之前的消息关联起来。然而，所有聊天记录在会话结束后都会被删除。
3. 要上传图像，请执行以下操作之一：
  - 选择图像链接并输入图像网址或
  - 选择上传图像，通过文件流（参见使用文件变量进行文件流式传输）、Control Room 文件或桌面文件上传图像。
  示例：
  在提供的示例中，一朵紫色花的图像与 Azure OpenAI： MultiModal Chat AI 操作的第一个实例相关联。第二个示例使用的是猎豹图片，而第三个示例则是三只狗坐在一片被白色花朵环绕的田野中（如下图所示）。
4. 输入要生成的最大令牌数。默认情况下，如果您不输入值，则生成的最大令牌数会自动设置，以通过考虑生成响应的长度来保持在所选模型的最大上下文长度内。
5. 输入温度。该值指的是响应的随机性。当温度接近零时，它使反应更加集中和确定。该值越高，响应就越随机。
6. 输入会话名称以将会话限制为当前会话。使用与身份验证操作中相同的名称。您可以使用变量代替。
7. 要管理可选参数，请在显示更多选项下选择是以添加其他参数，例如：最大聊天消息计数、Top P、停止、存在惩罚、频率惩罚、用户、Logit 偏差、响应格式和图像保真度。有关这些可选参数的信息，请参阅 Azure Open AI Chat 完成。
  注：
  - 最大聊天消息计数：
    此设置控制 Multimodal Chat AI 操作的聊天记录中保留多少条消息。这在处理多张图像时尤为重要，因为每张图像都可能显著增加消息的大小。通过设置限制（0 到 10 之间），可以优化聊天会话大小，防止出现性能问题。
    
    0: 与 Prompt 操作类似，不保留聊天记录。
    
    1-10: 保留指定数量的信息（包括当前提示和最新回复）。
    
    在上述示例中，该值被设置为 4。这意味着聊天历史记录将包括当前提示和前 3 次互动的回复。
  - 详细参数：此字段允许您控制模型如何处理图像并生成其文本理解。有关更多信息，请参阅 Azure OpenAI Service REST API reference。
8. 将响应保存到变量。在此示例中，响应被保存到 AzureOpenAI-MultiModalChat-Response。
单击运行以启动自动化。您可以通过打印消息框 操作中的响应来读取字段的值。在此示例中，str_chatai-response 打印响应。

提示：要在同一个机器人中维护多个聊天，您需要用不同的名称或变量创建多个会话。

示例

上述自动化的响应如下：

Azure OpenAI MultiModal Chat AI 响应