注意:说明:
注意:目前支持 SparkSQL 引擎、Spark 作业引擎设置引擎。
一、设置引擎级别参数
1. 进入 SuperSQL引擎 模块,单击参数配置,弹出引擎参数侧拉窗。
2. Spark 作业引擎下,你可以配置作业默认资源规格和参数。SparkSQL 引擎下无需关注作业默认资源规格。
二、Spark 作业引擎使用引擎级别参数
Spark 作业引擎提交作业有两个入口:数据作业、数据探索。二者都支持使用引擎级别参数。
创建数据作业时,默认会继承引擎级别的参数和资源配置。你可以通过作业参数(–config)覆盖引擎级别参数,并选择是否继承引擎级别的资源配置。选中默认配置时,将使用引擎级别的资源配置。
数据探索使用 Spark 作业引擎运行 SQL 时,默认会继承引擎级别的参数和资源配置。你可以通过 SQL 中的 set 命令覆盖引擎级别参数,并选择是否继承引擎级别的资源配置。
三、SparkSQL 引擎使用引擎级别参数
SparkSQL 引擎没有引擎级别资源参数,任务会尽可能用满集群资源。目前 SparkSQL 引擎需要在数据探索中提交 SQL。数据探索使用 SparkSQL 引擎运行 SQL 时,默认会继承引擎级别的参数,你可以通过 SQL 中的 set 命令覆盖引擎级别参数。