数据湖计算 DLC 引擎级别参数设置

Spark 参数是用来配置和调优 Apache Spark 应用程序的设置。在自建的 Spark 中这些参数可以通过命令行选项、配置文件或编程方式进行设置。在 DLC 中,可以以在 SparkSQL 引擎和 Spark 作业引擎的 SQL 和代码中指定 Spark 参数,也可以直接设定引擎维度的参数,引擎级别的 Spark 参数设置如下。

相关产品
数据湖计算 DLC 产品页,含版本规格、价格与购买入口。

注意:说明:

注意:目前支持 SparkSQL 引擎、Spark 作业引擎设置引擎。

一、设置引擎级别参数

1. 进入 SuperSQL引擎 模块,单击参数配置,弹出引擎参数侧拉窗。

2. Spark 作业引擎下,你可以配置作业默认资源规格和参数。SparkSQL 引擎下无需关注作业默认资源规格。

二、Spark 作业引擎使用引擎级别参数

Spark 作业引擎提交作业有两个入口:数据作业、数据探索。二者都支持使用引擎级别参数。

创建数据作业时,默认会继承引擎级别的参数和资源配置。你可以通过作业参数(–config)覆盖引擎级别参数,并选择是否继承引擎级别的资源配置。选中默认配置时,将使用引擎级别的资源配置。

数据探索使用 Spark 作业引擎运行 SQL 时,默认会继承引擎级别的参数和资源配置。你可以通过 SQL 中的 set 命令覆盖引擎级别参数,并选择是否继承引擎级别的资源配置。

三、SparkSQL 引擎使用引擎级别参数

SparkSQL 引擎没有引擎级别资源参数,任务会尽可能用满集群资源。目前 SparkSQL 引擎需要在数据探索中提交 SQL。数据探索使用 SparkSQL 引擎运行 SQL 时,默认会继承引擎级别的参数,你可以通过 SQL 中的 set 命令覆盖引擎级别参数。

赞 (0)
上一篇 4天前
下一篇 4天前