| 引擎类型 | 可选类型 | 主要特点 | 使用约束 | 选购建议 |
| 标准引擎 | SparkPresto | 一体化 Spark:标准 Spark 引擎可执行原生语法:Spark/Presto 社区原生语法,学习、迁移成本低使用灵活:支持 Hive JDBC 及 Presto JDBC统一执行:标准 Spark 引擎可执行 SQL 及批任务 | 网关 免费规格为2CU | 1. 需使用 Spark/Presto 原生语法。2. 希望购买一个 Spark 引擎完成批作业及离线 SQL 任务。3. 希望使用 Hive JDBC 及 Presto JDBC。 |
| SuperSQL 引擎 | SparkSQLSpark 作业Presto | 统一语法:同一套语法适用于 Spark 及 Presto 引擎支持联邦查询 | 需学习 SuperSQL 统一语法,SQL/批任务场景建议购买对应类型引擎 | 1. 希望使用 Spark + Presto 统一语法。2. 需要使用联邦查询。 |
注意:1. 购买前,请确认你的账号是否已在 CAM 中开通财务权限。
注意:2. 资源无法跨地域使用,购买前请确认当前地域是否正确。
注意:3. SuperSQL 类型引擎和 Presto 引擎已下线,仅供存量用户使用。
一、标准引擎配置指引
在完成标准引擎的购买与配置后,你即可在 DLC 数据探索 中使用标准引擎,此外针对 Spark 标准引擎,如果有多租户或任务隔离需求,你另可在配置用于资源分配与隔离的标准引擎资源组,具体指引如下:
二、第一步:购买引擎
注意:说明:
注意:1. 引擎不支持跨地域使用
注意:2. 引擎规格建议:由于16CUs 的集群规模较小,建议仅用于测试场景,真实生产场景建议选择购买64CUs 以上规格的集群。
注意:3. 引擎网络配置:首次开通购买时,允许配置自定义网络配置,后续如需更改,请 提交工单 申请。
1. 登录 数据湖计算 DLC 控制台,选择服务地域。
2. 左侧导航菜单进入 标准引擎。
三、选择标准引擎进行查询
注意:说明:
注意:根据标准引擎的类型不同,你需要切换对应的语法进行查询。
如你在数据探索选择的引擎类型为标准 Spark 引擎时,你可以通过使用 DLC 默认资源组、已创建的资源组或使用一次性资源组(自定义配置)进行任务资源分配。
四、获取全量结果
标准引擎目前支持工作台返回200条,500条或1000条查询结果,全量结果获取可参考以下方式:
| 使用引擎 | 获取方式 |
| 标准 Spark 引擎 | 1. 支持用户通过配置将查询结果自动保存至 COS 路径下或 DLC 的托管存储中2. 下载至本地查看 |
| 标准 Presto 引擎 | 通过 JDBC 获取全量结果。说明:Presto 引擎已下线,仅供存量用户使用。 |
五、第三步:配置资源组(非必选)
资源组是对 Spark 标准引擎计算资源的二级队列划分,具体介绍可参考 资源组介绍。DLC Spark 标准引擎的计算单元(CU)可按需被划分到多个资源组中,并设置每个资源组可使用 CU 数量的最小值和上限、启停策略、并发数和动静态参数等,从而满足多租户、多任务等复杂场景下的计算资源隔离与工作负载的高效管理。
当你购买的引擎为标准 Spark 引擎时,数据湖计算 DLC 会为你提供默认资源组并支持你可以根据实际业务诉求,生成多个自定义资源组灵活使用。
注意:说明:
注意:引擎与资源组为一对多关系,例如,引擎 A 下,可以有若干个资源组。
六、管理与配置资源组
1. 左侧导航菜单进入 标准引擎,根据已购买引擎的名称/ID,单击对应操作栏下的管理资源组。
2. 进入资源组管理界面,左上角单击创建资源组按钮,进行自定义资源组配置。或查看使用 DLC 默认配置资源组(无需配置)。
七、关于网关规格选择建议
| 网关规格 | Spark Batch 瞬时并发提交任务数/并行运行任务数 | Spark SQL /Presto SQL 并发查询 | Presto 引擎管理数量 | Spark 资源组管理数量 | 网关是否 HA |
| 2CU | 30/50 | 100 | 4 | 50 | 否 |
| 16CU | 80/150 | 250 | 12 | 150 | 是 |
| 32CU | 220/400 | 600 | 35 | 400 | 是 |
| 64CU | 400/600 | 1000 | 70 | 700 | 是 |
注意:网关默认提供规格为2CU(不收费),如有升配需求,可通过单击网关详情 > 规格配置按钮进行调整购买,操作步骤请参见 网关介绍。