弹性 MapReduce 约束与限制

这篇说明腾讯云EMR服务的使用限制、禁止操作及高危操作,强调需在EMR控制台维护集群,避免在CVM中操作导致异常。 使用限制:集群需固定VPC和安全组,避免在CVM中关机、重启或修改网络配置。 禁止操作:在CVM中修改内网IP、安全组或删除关键文件(如HDFS元数据)会导致集群不可用。 高危操作:在CVM中挂载/卸载磁盘、修改组件参数或MetaDB密码需在EMR控制台或技术人员指导下进行。

相关产品
弹性 MapReduce 产品页,含版本规格、价格与购买入口。

在使用腾讯云 EMR 服务之前,请你详细阅读并了解以下使用限制:

·新建集群为保证集群网络安全,集群将放置在同一 VPC 中,请勿随意变更已有集群或节点的 VPC,避免造成集群网络不互通。

·在创建集群时,EMR 可以帮你创建一个新的安全组,你也可以手动选择已有 EMR 安全组。请仔细确认手动选择的安全组具备 EMR 必要的出入站规则,并在集群创建后不要随意删除或更改正在使用的安全组,避免造成集群通信异常,影响服务。

·请根据业务需要提前规划节点的存储空间,并及时扩充存储节点,避免因存储空间不足造成数据及节点运行风险。目前 EMR 集群 Core、Task、Router 三类节点支持挂载多云盘,单个节点最多云盘累计不超过20块,黑石2.0机型和本地盘机型(IO 系列和 D 系列)集群暂不支持多云盘。

·使用 EMR 服务时,请你尽可能避免在 CVM 控制台进行操作,如关机、重启、切换私有网络、调整安全组规则等,以免造成集群异常;OS 重装、实例销毁/变配、续费、变更计费类型等操作也会受限,你可以在 EMR 控制台进行集群维护的必要操作。

·公网 IP 会在一定程度上增加 Master 节点被网络攻击的可能性,请你管理和监控相关风险。弹性公网 IP(含辅助网卡上的 IP)会在集群销毁后继续保留,闲置 IP 会产生费用,如不需保留,请到对应资源管理器页面进行释放。

·在创建集群时,EMR 提供了满足通用场景的组件初始化参数,在使用组件服务前,建议你检查 HDFS/HBase 等组件参数以确保匹配你的业务场景。如需相关组件初始化指南,可以联系技术支持人员获取。

·请你妥善保管 EMR 集群的主机登录密码。在你配置节点间访问免密登录后,腾讯云安全可能会检测到漏洞风险并对你进行提示。

·集群出现异常状态时,会仍然持续计费,建议及时联系我方技术支持人员处理。如需登录集群排查的故障,技术支持人员会在征得你同意后请你提供账号密码。

在你使用及维护 EMR 集群时,一些非预期的操作可能会导致集群不可用或不稳定,你在控制台执行部分操作前会有相应的风险提示,这篇也为你列举了一些禁止及高危操作:

一、禁止操作

操作 操作风险
在 CVM 中操作关机不收费 集群不可用,EMR 不支持关机不收费,费用仍会持续结算,如成本考虑可进行集群缩容或销毁
在 CVM 中修改 EMR 节点内网 IP 节点通信异常、集群不可用
在集群运行中修改 CVM 节点的安全组 节点通信异常、组件服务不可用
删除节点上已有进程/应用程序/文件 集群/组件服务不可用
删除或者修改/etc 目录下的 hosts 文件 集群关联不到节点上的服务,导致服务异常
删除或者修改 HDFS 元数据文件 edit log 导致 HDFS 集群不可用
手动修改 Hive 元数据库的数据 Hive 数据解析错误,服务异常
删除 ZooKeeper 相关数据目录 相关依赖组件无法运行

二、高危操作

操作 操作风险 建议
在 CVM 中对 EMR 集群的节点进行关机、重启 重启、关机导致服务不可用 确认操作必要性,并详细阅读 CVM 相关操作限制
在 CVM 控制台对 EMR 节点挂载磁盘 EMR 无法识别和初始化,导致磁盘不可用 建议通过 Core 节点扩缩实现,或在技术人员指导下进行
在 CVM 控制台对 EMR 节点卸载磁盘 会导致数据丢失或集群不可用 建议通过 Core 节点扩缩实现,或在技术人员指导下进行
直接在 CVM 上修改组件配置文件的参数 在 EMR 控制台下发配置并重启服务后,会导致在 CVM 修改的参数被覆盖 在 EMR 控制台上修改参数配置,特殊情况请在技术支持人员指导下进行
删除或者修改/etc 目录下的 resolv.conf 文件 集群关联不到节点上的服务,导致服务异常 确认操作必要性,并在技术指导下进行
修改 EMR 节点 Hostname 集群关联不到节点上的服务,导致服务异常 确认操作必要性,并在技术指导下进行
修改 MetaDB 密码 EMR 依赖 MetaDB 中配置的密码,修改后导致 Hive/Ranger 等服务不可用 在 EMR 控制台同步修改配置,并在技术人员指导下进行
修改 MetaDB 浮动 IP EMR 依赖 MetaDB 中配置的 IP,修改后导致 Hive/Ranger 等服务不可用 在 EMR 控制台同步修改配置,并在技术人员指导下进行
修改 MetaDB 安全组 导致 MetaDB 与集群通信受阻,Hive/Ranger 等服务不可用 在技术人员指导下进行
赞 (0)
上一篇 5天前
下一篇 5天前