数据湖计算 DLC 数据引擎介绍

DLC 的数据引擎是 DLC 的数据分析计算服务的基础,用户在 DLC 进行的所有计算都需要使用数据引擎。根据用户的使用场景不同,可选择对应的引擎类型。

相关产品
数据湖计算 DLC 产品页,含版本规格、价格与购买入口。

一、引擎类型

DLC 中提供2种数据引擎类型供用户选择:标准引擎和 SuperSQL 引擎,两类引擎核心区别是支持的 SQL 语法不同。其中标准引擎使用社区原生的 Spark 及 Presto 语法;SuperSQL 引擎支持 DLC 自研的统一语法,即同一套 SuperSQL 语法可在 Spark 及 Presto 引擎运行,屏蔽引擎间语法差异,在需联合使用不同分析引擎的业务场景下可显著降低使用成本。两类引擎主要特点及选购建议如下:

引擎类型 可选类型 主要特点 使用约束 选购建议
标准引擎 Spark Presto 原生语法:Spark/Presto 社区原生语法,学习、迁移成本低使用灵活:支持 Hive JDBC 及 Presto JDBC一体化 Spark:标准 Spark 引擎可执行 SQL 及 Spark 批任务 当前提供2cu 规格免费网关,如需升配规格,需升配 网关 1. 需使用 Spark/Presto 原生语法2. 希望购买一个 Spark 引擎完成批作业及离线 SQL 任务3. 希望使用 Hive JDBC 及 Presto JDBC
SuperSQL 引擎 SparkSQLSpark 作业
Presto
统一语法:同一套语法适用于 Spark 及 Presto 引擎支持联邦查询 需学习 SuperSQL 统一语法
SQL/批任务场景建议购买对应类型引擎
1. 希望使用 Spark + Presto 统一语法2. 需要使用联邦查询

更详细的信息请参考以下对比表格,或查看 标准引擎 和 SuperSQL 引擎说明。

注意:说明:

注意:SuperSQL 类型引擎和 Presto 引擎已下线,仅供存量用户使用。

二、标准引擎和 SuperSQL 引擎详细对比

功能 标准引擎 SuperSQL 引擎 说明
Presto ✓ ✓ 两类引擎均支持 Presto 引擎。
Spark ✓ ✓ SuperSQL 引擎分为 SparkSQL 和 Spark 作业类型,其中 SparkSQL 引擎支持 SQL 作业,Spark 作业引擎支持 Spark 批流作业和 SQL 作业;标准引擎为一体化 Spark 引擎。
SQL 语法 原生语法 统一语法 标准引擎支持 Spark 及 Presto 原生语法。SuperSQL 引擎支持 DLC 自研的统一语法。
网关 ✓ – DLC 基于 Apache Kyuubi 自研的 Serverless 网关服务,提供了更稳定、更安全及更高性能的任务提交体验。
资源组 ✓ – 资源组是标准 Spark 引擎特有的队列功能,通过资源组可将标准引擎资源按需划分,SQL 任务可以提交到指定的资源组执行。
共享引擎 ✓ SuperSQL 引擎支持共享模式,适合分析频率低、计算数据量较小的场景使用。
Hive JDBC ✓ – 标准引擎支持使用 Hive JDBC 提交任务。
Presto JDBC ✓ – 标准引擎支持使用 Presto JDBC 提交任务。
DLC JDBC ✓ ✓ 两类引擎均支持使用 DLC JDBC 提交任务。
云 API 提交任务 ✓ ✓ 两类引擎均支持使用云 API 提交任务或者在控制台数据探索页面提交任务。
联邦查询 – ✓ SuperSQL 引擎提供数据联邦查询分析能力,添加联邦查询数据目录操作指南可参见 数据目录及数据库管理。标准引擎暂时不支持联邦查询。

如果你对于选择标准引擎或者 SuperSQL 引擎还有疑问,可以 提交工单 联系我们。

三、引擎定价

数据引擎支持包年包月和按量付费。更多信息,请参见 计费概述。

四、约束限制

·数据引擎的名称全局唯一且无法修改。

·不支持切换数据引擎的计费模式。

·数据引擎不支持切换地域。

赞 (0)
上一篇 4天前
下一篇 4天前