弹性 MapReduce
-
弹性 MapReduce 伸缩规则触发执行原则
每个集群最多可配置10种伸缩规格,扩容规则触发时将根据规格优先级进行扩容,当高优先级规格数量不足时,由次优先级资源规格混合高优先级规格进行扩容补充计算资源(按量计费和竞价实例执行顺序相同)。
-
弹性 MapReduce 配置 LDAP 认证
这篇说说弹性Mapreduce中Hive开启LDAP认证的配置方法,包括在hive-site.xml添加认证参数、重启HiveServer2,以及开启后使用Beeline或JDBC连接时需提供LDAP用户名密码。 配置项:需设置hive.server2.authentication为LDAP并指定LDAP URL、Base DN等参数。 连接方式:开启后通过Beeline或JDBC连接HiveServer2时必须提供。
-
弹性 MapReduce Hive 访问 Iceberg 数据
登录 Master 节点并切换 hadoop 用户,执行以下命令启动 SparkSQLspark-sql –master local[*] –conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions –conf spark.sql.catalog.local=org.apache.ice。
-
弹性 MapReduce Hive 访问 Hudi 数据
登录 master 节点并切换 hadoop 用户,使用 SparkSQL 的 HoodieSparkSessionExtension 扩展进行数据读写。
-
弹性 MapReduce 使用 Hive 在 COS/CHDFS 中创建库表
这篇说说如何使用Hive在腾讯云COS及CHDFS上创建库表,涵盖两种存储路径的两种建库方式:将整个数据库或指定表建立在远程存储上。 COS建库:通过location指定cosn路径可创建数据库或单表。 CHDFS建库:通过location指定ofs路径可创建数据库或单表。
-
弹性 MapReduce StarRocks 查询管理
提供 StarRocks 查询多维度指标及详情展示,查询列表可快速查看查询语句、查询开始时间、查询状态、查询持续时间、用户、获取行数、CPU 总时间、消耗总内存等多项明细指标,并可通过查询详情查看相关 SQL、查询计划、Profile、执行拓扑。
-
弹性 MapReduce 伸缩规则设置实践教程
根据业务可能在一定周期内的明显波峰和波谷,选择重复执行或者只执行一次的执行频率,配置扩容和缩容规则,选择重复执行时,通过配置规则有效期,可以设置规则生效的截止时间,超出有效期后不再触发伸缩规则。
-
弹性 MapReduce 负载伸缩规则设置实践教程
根据集群 YARN的指标变化的情况,选择过去时间符合业务变化的指标,配置具体的阈值,然后保存并应用,在业务发生变化后,即会触发对应规则;指标的选择要与容量变化成反比,在伸缩活动发生后,实例数量的变化可以降低对应的指标。例如:配置扩容规则,如果在300秒内 AppsPending#root 的平均值 >= 1,重复连续出现2次,则触发扩容动作,可以有效的减少队列中挂起的任务数。扩容/缩容规则:请根据实际情况设置,其他规。
-
弹性 MapReduce 混合伸缩规则设置实践教程
这篇说说腾讯云弹性伸缩的混合场景配置,通过时间与负载规则组合应对波峰波谷及突发高峰,实现算力保障与成本节约,并给出优先级与资源预热等注意事项。 混合场景1:时间规则应对固定高峰,负载规则应对突发需求,优先级为时间>负载。 混合场景2:两条时间规则覆盖早晚高峰,负载缩容规则回收冗余节点,需设节点数上下限。
-
弹性 MapReduce 组件与 API 部署时映射关系
组件名与 API 对应数字映射关系或进程名与 API 对应数字映射关系,主要用于扩容集群节点(ScaleOutCluster)API 接口的 ServiceNodeInfo.N 和 SoftDeployInfo.N字段参数 long 型映射填写。