Databricks 连接器可与您的自动化工作流无缝集成,使您能够在 Databricks 内直接运行 SQL 查询、管理作业并处理文件。
您现在可以直接从您的自动化工作流连接到 Databricks,让您更轻松地处理数据、运行查询并管理数据处理任务——所有操作可在一个平台中完成。 通过此连接器,您可以
- 对您的 Databricks 数据运行 SQL 查询,并轻松处理大型数据集。
- 使用可扩展的方法高效检索查询结果,即便面对大容量数据也可稳定运行。
- 在需要时停止长时间运行的查询,以保持对执行的控制。
- 在您的 Databricks 工作区中查看和管理作业,包括运行作业和检查其状态。
- 运行现有作业并监控其进度和结果。
- 访问作业结果和输出,以更好地了解您的工作流。
- 将文件上传到 Databricks 进行处理。
- 将文件从 Databricks 下载到您的本地环境。
- 不再需要时删除文件。
先决条件
- 确保您在您的 Databricks 账户中配置了 OAuth 连接。 有关更多详情,请参阅 在 Databricks 平台中配置 OAuth 连接。
-
下表总结了必须配置并可访问的关键 Unity Catalog (UC) 和 Databricks 平台对象,以支持每个类别的 Automation Anywhere Databricks 软件包 操作。 这些对象构成受管 Databricks 环境中身份验证、数据访问、文件操作和作业执行的基础先决条件。 此外,它列出了整个 Databricks 软件包 的推荐 Unity Catalog 设置。
操作组 Unity Catalog (UC) 对象 身份验证 - Databricks 服务主体(首选)
- OAuth 机器对机器 (M2M) 身份验证
- 服务主体的工作区分配
数据治理 - 启用 UC 的工作区
- 至少一个
目录和架构 - 权限授予:
-
使用目录 -
使用架构 -
选择 -
修改(如适用)
-
SQL 操作 - 已为 UC 启用 SQL 仓库
- 仓库权限:
可使用。 有关更多详情,请参阅执行 SQL 语句先决条件 - 目录、架构、表或视图、SQL 仓库
文件 操作 - Unity Catalog 卷或外部位置
- 卷或外部位置,存储凭据
- 已配置存储凭据
-
授权:
-
读取文件 -
写入文件
-
作业 操作 - 配置为使用用户身份或服务主体身份运行的作业
- 访问工作流和 SQL 查询使用的所有 UC 管理资产
- 作业、计算、作业使用的目录/架构/表
- 作业级别的
可运行或同等权限
连接 操作 服务主体、OAuth 应用、启用 UC 的工作区
有关 Unity Catalog 的更多详细信息,请参阅 Databricks Unity Catalog。
Databricks 软件包 中的操作
| 操作 | 描述 |
|---|---|
| 取消作业运行 | 取消作业运行 操作 |
| 取消 SQL 语句 | 取消 SQL 语句 操作 |
| 连接 | 用于 Databricks 的连接 操作 |
| 删除文件 | 删除文件 操作 |
| 断开连接 | Databricks 软件包 中的断开连接 操作 |
| 下载文件 | 下载文件 操作 |
| 执行 SQL 语句 | 执行 SQL 语句 操作 |
| 获取作业运行输出 | 获取作业运行输出 操作 |
| 获取作业运行状态 | 获取作业运行状态 操作 |
| 获取 SQL 语句结果 | 获取 SQL 语句结果 操作 |
| 列出作业 | 列出作业 操作 |
| 运行作业 | 运行任务 操作 |
| 上传文件 | 上传文件 操作 |