弹性 MapReduce 引导操作

引导脚本操作是在生产集群的过程中执行自定义脚本,以便你修改集群环境、安装第三方软件和使用自有数据,引导操作会在集群创建(含扩容)和集群销毁(含缩容)时运行引导脚本(router 节点除外)。
目前控制台只支持集群创建和销毁集群时指定引导操作,可以使用 API 扩缩容时指定引导操作,如未指定,扩容时将默认执行创建时指定的引导操作;缩容时将默认执行销毁集群时指定的引导操作。

相关产品
弹性 MapReduce 产品页,含版本规格、价格与购买入口。

一、功能介绍

1. 集群创建(含扩容)时指定的引导操作支持在如下三个时机执行:
a. 主机初始化后:在机器资源初始化之后和安装EMR集群软件之前。
b. 集群启动前:在集群服务启动之前。
c. 集群启动后:在集群服务启动之后。


2. 集群销毁(含缩容)时指定的引导操作支持在如下1个时机执行:
a. 服务下线前:在集群服务下线前。

引导操作会在集群创建和集群扩容时运行引导脚本,引导脚本按照脚本添加的顺序依次执行,引导操作累计不超过16个。

注意:先创建按量付费的小集群测试引导操作是否成功,测试成功后再创建正式集群。

二、操作步骤

方法一:在 购买页 创建集群时添加引导操作。

1. 选择基础配置 > 高级设置 > 添加引导操作,即可添加引导操作。


2. 添加引导操作完成支持编辑与删除操作。


·选择运行时机,并填写相关参数。

·名称:建议与你的“对象名称”保持一致。

·脚本位置:建议从 COS 详情页进行复制。进入 COS 存储桶列表,单击存储桶名称,进入存储桶详情页,选择你需要的脚本,然后在操作项中选择详情。

在详情页,即可看到“对象名称”和“对象地址”。


·参数:执行脚本的参数。不同的参数以空格分割,参数中不能有空格,“参数”和“脚本名”之和小于240个字符。

方法二:在集群基本信息页添加引导操作

1. 登录 EMR 控制台,在集群列表中单击对应的集群 ID/名称进入集群详情页。然后选择基本信息 > 脚本管理 > 引导操作,单击添加引导操作,即可添加引导操作。

2. 添加引导操作完成支持编辑与删除操作。选择运行时机,并填写相关参数。

·名称:建议与你的“对象名称”保持一致。

·脚本位置:建议从 COS 详情页进行复制。进入 COS 控制台,单击存储桶列表,选择你需要的脚本,然后在操作项中选择详情。

·参数:执行脚本的参数。不同的参数以空格分割,参数中不能有空格,“参数”和“脚本名”之和小于240个字符。

三、查看引导结果

目前控制台不支持扩容时指定引导操作,扩容时默认执行创建时指定的引导操作。你可以使用 API 扩容指定引导操作。如果扩容时指定了引导操作,则执行你指定的引导操作;若未指定,则执行创建时候的引导操作。

1. 在脚本的系统日志中查看引导结果。

·日志和执行的脚这篇件保存到 /usr/local/service/scripts/ 这目录下,脚本的系统日志是 script_syslog。命名规则为:“执行顺序” + “_” +“运行时机”+ “脚本名”+“_”+stderr。

·命名规则为:“执行顺序” + “_” + “运行时机”+“脚本名”+“_”+stdout。

2. 在任务中心查看引导结果
登录 EMR 控制台,单击左侧菜单栏任务中心或进入单个集群单击右上角任务,选择对应流程(创建集群、扩容、节点初始化),在任务详情的初始化服务操作步骤中可单击运行详情查看引导结果。

赞 (0)
上一篇 5天前
下一篇 5天前