弹性 MapReduce 计算组

腾讯云 EMR 在 StarRocks 存算分离场景下,通过计算组(Multi-Warehouse) 实现计算资源的精细化管理与业务负载隔离;以满足多业务并发和多样化场景需求,确保服务的高稳定性和数据查询的高速度。这里说明如何管理计算组,包括同步计算组、新增计算组、扩缩容计算组、重启计算组等操作。

相关产品
弹性 MapReduce 产品页,含版本规格、价格与购买入口。

一、功能介绍

注意:当前计算组产品能力灰度开放使用中,若需体验请 提交工单 开通。

二、前提条件

1. 仅 StarRocks 3.3.17 及以上版本的存算分离场景支持新增计算组,计算组个数上限为50。

2. 默认计算组(名称为default_warehouse)不支持删除操作,仅可编辑节点或重启。

3. 若未明确指定计算组,所有 SQL 操作、资源调整均默认在 default_warehouse 中执行。

4. 计算组重启操作可能导致业务中断:建议在业务低峰期执行,并确保客户端已配置业务重试机制。

注意:说明:

注意:1. 查询时在 session 中设置 warehouse,默认是 default_warehouse:

注意:SET warehouse <warehouse_name>;

注意:2. 导入时在属性中设置 warehouse,以 stream load为 例,需要在 HTTP 请求的 Header 中添加 warehouse:

注意:curl –location-trusted -u <username>:<password> -H "label:<label_name>" \\ -H "Expect:100-continue" \\ -H "timeout:100" \\ -H "max_filter_ratio:0.2" \\ -H "warehouse:<warehouse_name>" \\ -T <file_path> -XPUT \\ http://<fe_host>:<fe_http_port>/api/<database_name>/<table_name>/_stream_load

三、同步计算组信息

注意:警告:

注意:确保数据一致性,并兼容历史版本升级,请在 控制台 先单击“同步计算”操作,将非控制台创建的计算组信息同步至控制台界面。

注意:1. 系统升级后同步旧版非控制台创建的计算组。

注意:2. 整合通过 API/脚本等非界面方式创建的计算组至控制台。

四、新增计算组

1. 在计算组管理页面,单击新增计算组,弹出配置弹窗。

2. 配置计算组信息:

·计算组名称:长度限制为 1-64 个字符,支持字母、数字、_,首位不能为数字,且需包含字母或数字。

·资源选择:勾选目标资源节点

3. 完成创建:单击确定,系统自动创建计算组并分配节点。

注意:同一个节点仅支持绑定一个计算组,若已绑定计算组的节点再次绑定新计算组,该节点将不再在旧计算组中生效,避免误操作。

五、编辑计算组

1. 在计算组列表的 “操作” 列,单击目标计算组的 “编辑” 按钮,弹出编辑弹窗。

2. 配置调整:

·计算组名称:回显当前名称,支持修改(default_warehouse 不支持重命名)。

·资源选择:回显当前已选节点,可勾选新节点(补充资源);不支持取消仅支持选择其他节点。

3. 完成调整:单击“确定”保存配置,或“ 取消”放弃变更。

六、扩缩容计算组

手动扩容

1. 进入 EMR 控制台 资源管理 > 节点扩容。

2. 选择 “Task 节点” 类型,配置扩容数量、规格等参数后,找到 “计算组” 配置项(必填,单选)。

3. 选择目标计算组(默认 default_warehouse),单击 “确定” 完成扩容,新增节点自动加入指定计算组。

通过弹性伸缩组自动扩缩容

1. 进入 弹性伸缩 > 伸缩组,新建伸缩组。

2. 配置 “计算组”(必填,单选):默认 default_warehouse,选择目标计算组。

3. 规则执行:

·扩容:新增节点自动加入指定计算组。

·缩容:系统按 “资源创建时间倒序” 销毁指定计算组内的节点(先销毁最新创建的节点)。

注意:伸缩组绑定计算组后不支持更换计算组。

七、重启计算组

1. 在计算组列表 “操作” 列,单击目标计算组的 “重启” 按钮。

2. 确认后单击 “确定”(重启可能导致业务中断,建议在业务低峰期执行,并确保客户端有重试机制)。

3. 等待重启完成(可在【任务中心】查看进度)。

八、删除计算组

1. 在计算组列表 “操作” 列,单击目标计算组(非 default_warehouse)的 “删除” 按钮。

2. 操作完成后,计算组从列表中移除,节点迁移至 default_warehouse(可在 default_warehouse 的资源详情中查看)。

注意:计算组被伸缩组绑定到弹性伸缩时,计算组不支持被删除,若需删除请前往伸缩组,删除对应伸缩组后操作。

赞 (0)
上一篇 4天前
下一篇 4天前