弹性 MapReduce 在线容器集群部署 EMR

EMR 集群支持在离线运算需求高峰期将 EMR 服务部署到闲置或利用率低的在线容器集群,实现在线离线负载混合部署。这项能力目前为白名单功能,对象为具备在离线管控经验的客户,要求有非常成熟的在离线资源管理实践。

相关产品
弹性 MapReduce 产品页,含版本规格、价格与购买入口。

选择运行有在线业务的 TKE 集群对 EMR 集群进行扩容时,需要提前进行一系列隔离配置,以实现资源管控,按照业务优先级调度分配资源。腾讯云 EMR 支持对选中的 TKE 集群进行自动化前置配置,代替原有的手工配置过程,主要包括插件安装和权限配置。

一、前提条件

1. 已经创建 EMR 集群,集群类型为 EMR on CVM。

2. 已经创建 TKE 集群,且需要包含原生节点。

二、操作流程

1. 登录 腾讯云 EMR 控制台,在集群详情页 > 集群资源 > 资源管理,单击扩容。

2. 在扩容弹窗中,选择扩容的资源类型为“POD”。

3. 容器类型选择“TKE 集群”,在下拉列表中选择要运行离线任务的 TKE 集群。

4. 默认情况下的 TKE 集群都需要先进行前置配置,否则系统无法进行后续步骤。

5. 单击 TKE 集群下拉菜单下方的提示信息中的前往配置打开配置弹窗。

6. 用户选择 TKE 集群后,系统会对 TKE 集群进行预检查,并对检查项给出是否就绪的提示。

7. 用户需要进行以下两项操作:

7.1 按照系统提示内容的对 CVM 和 TKE 的服务角色绑定预设策略。

7.2 单击开始安装 后,启动将安装和配置任务,具体执行情况请前往 EMR > 任务中心查看。

8. 待任务中心中相应任务执行完成后,重复以上步骤2,则可以正常选择 TKE 集群,进行后续的扩容配置。

三、预设策略说明

需要对 TKE_QcsRole 和 CVM_QcsRole 授予访问 EMR 状态同步接口 syncstate 的权限,可以通过绑定预设策略和绑定自定义策略的方式实现。

系统建议通过对 TKE_QcsRole 和 CVM_QcsRole 授予系统预设策略的方式实现:

预设策略名称:QcloudAccessForEMRLinkedRoleInHybridDeploy

赞 (0)
上一篇 4天前
下一篇 4天前