一、共享引擎和独享引擎的区别是什么?
| 引擎类型 | 说明 | 计费模式 | 特点 |
| 共享引擎 | 为当前地域下所有用户公共使用的引擎 | 按量计费:按扫描量计费,不使用不产生任何费用 | 1. 无需配置即可使用2. 适合数据量较小、临时数据计算场景。 |
| 独享引擎 | 为用户独享引擎资源 | 按量计费:按 CU 量计费,没有任务时可挂起集群,挂起时不产生任何费用 | 1. 资源独享,支持配置资源规模,弹性伸缩2. 适合有一定任务量但任务周期不规律的数据计算场景 |
| | | 包年包月:按 CU 量计费,集群无需等待随时可用。弹性部分按量计费。 | 1. 资源独享,支持配置资源规模,弹性伸缩2. 适合任务量大且稳定的数据计算场景 |
二、为什么任务实际使用 CU 核数会小于引擎的集群规模中指定的 CU 核数?
以下几种情况都可能导致实际使用 CU 核数小于引擎的集群规模中指定的 CU 数:
1. 集群中有其他任务正在执行。
2. 批作业集群指定的 driver 资源 + executor 资源总数小于集群规模。
3. 按量计费集群,使用时才会发起资源申请,当 CU 核数较多时,不能确保资源完全满足申请的 CU 数。
4. 批处理作业指定了增强型网络配置用于打通其他 VPC 网络,但是其他 VPC 网络的 IP 数不足以启动所有的 executor。
三、DLC 集群是否可以访问同地域的其他 VPC 下的 IP/服务?是否可以访问外网?
DLC 引擎可以访问同地域下的其他 VPC,需要在 数据引擎 > 网络配置 中创建一个网络配置和目标 VPC 打通,并在批处理作业中指定使用该网络配置。DLC 引擎默认是无法访问外网的。但是通过增强型网络配置,并且目标 VPC 配置了可以访问外网的路由规则,那么 DLC 可以通过增强型网络配置访问外网。
四、如何修改集群的自动启停时间?
在 数据引擎 功能中,单击引擎列表中需要修改的引擎名称,进入修改页,单击启停策略配置进行修改。
五、若在任务运行中进行集群变配,是否会导致任务失败?
我们为你罗列了各类引擎在常见任务进行中,若发起变配带来的任务影响,请你参考:
| 引擎类型 | 购买方式 | 是否会影响任务失败 |
| SuperSQL-Spark作业 | 按量计费 | 任务不会受影响 |
| | 包年包月 | 当发起集群规格变配时:扩容集群规格不会影响任务缩容集群规格,会在流程中等待pod运行结束后再去隔离/销毁缩容的机器,如果任务运行时间长可能导致流程卡住,导致任务重启 |
| SuperSQL-SparkSQL | 按量计费 | 当发起集群规格变配时,会导致任务重启 |
| | 包年包月 | 当发起集群规格变配 或 减少集群数量时,会导致任务重启 |
| SuperSQL-Presto | 按量计费 | 当发起集群规格变配时,会导致任务重启 |
| | 包年包月 | 当发起集群规格变配 或 减少集群数量时,会导致任务重启 |
六、如何排查标准引擎运行任务长时间未正常执行的原因?
当你的任务长时间处于“初始化”、“启动中”或“排队中”状态时,可能导致任务无法正常执行。请根据以下步骤和任务类型,逐步排查问题原因,帮助你快速定位并解决问题。
七、1. 区分细分任务类型
步骤:历史任务实例 > 历史任务列表 > 任务类型、资源组名称,结合任务类型及资源组名称是否有值来区分细分任务类型。
| 细分任务类型 | 任务类型 | 资源组名称 |
| SQL 任务 | SQL | 资源组名称有值 |
| 交互式 SQL 任务 | SQL | 资源组名称无值(–) |
| Spark 批流任务 | 作业 | 资源组名称无值(–) |
八、2. SQL 任务排查步骤
2.1 判断引擎和网关状态
1. 进入引擎列表,确认引擎状态是否为“运行中”或“就绪”。
2. 通过管理页面查看网关状态,确认网关是否“运行中”。
3. 如果引擎或网关状态异常,说明正在执行其他流程,请等待流程结束。
4. 若状态超过10分钟未恢复,请 提交工单 联系技术支持。
2.2 判断计算资源是否处于冷启动
1. 如果任务提交到挂起状态的资源组,资源组可能正在启动,通常需要3~5分钟。
2. 进入资源组页面确认资源组状态是否为“启动中”。
3. 若超过5分钟仍未启动,继续排查其他原因。
4. 如果资源组状态非“运行中”或“启动中”,说明资源组正在执行其他操作,请等待,超过10分钟未恢复请 提交工单。
2.3 资源组是否分配到足够资源
1. 资源组启动超过10分钟仍未成功,可能是引擎资源被占满,资源组无法分配到足够资源。
2. 在资源组列表查看资源需求(如CU数),确认资源组最低所需资源。
3. 在引擎列表点击引擎名称,进入“集群监控”查看资源使用情况。
4. 若“已占用集群规格”达到总规格,剩余资源不足,资源组无法启动。
5. 解决方案:释放其他资源(暂停或取消其他资源组或批流作业任务)。
2.4 是否等待依赖任务完成
1. DLC 默认一次提交的多个 SQL 任务串行执行,前置任务未完成,后续任务会处于初始化状态。
2. 请确认是否存在依赖任务未完成导致排队。
2.5 是否达到资源组任务并发数上限
1. 资源组默认任务并发数上限为5。
2. 超过并发数的任务会处于排队状态。
3. 在资源组详情页面查看并发数配置,可根据需要调整。
4. 在历史任务实例页面查看当前运行任务数,确认是否达到上限。
九、3. 交互式 SQL 任务(BatchSQL 任务)排查步骤
3.1 判断引擎和网关状态
参考 SQL 任务排查步骤 > 判断引擎和网关状态 的操作步骤。
3.2 判断资源是否充足
1. 在引擎列表“集群监控”查看资源使用情况。
2. 若资源不足,任务无法启动。
3. 解决方案同 SQL 任务,释放其他占用资源。
3.3 冷启动时间
·交互式 SQL 任务每次提交均需拉起新资源,冷启动时间一般为3~5分钟。
·超过5分钟仍未启动,排查是否存在异常。
十、4. Spark 批流作业排查步骤
4.1 判断引擎和网关状态
1. 参考 SQL 任务排查步骤 > 判断引擎和网关状态的操作步骤。
2. 资源启动一般需要3~5分钟,等待后仍未运行,继续排查。
4.2 判断引擎资源是否充足
1. 在历史任务实例页面查看任务所需资源(Driver 和 Executor 的 CU 数)。
2. 在引擎列表“集群监控”查看资源使用情况。
3. 若资源不足,无法启动批流作业。
4. 解决方案同 SQL 任务,释放其他占用资源。