弹性 MapReduce
-
弹性 MapReduce 更新调度策略
在 EMR on TKE 集群中,可以以根据业务需要对服务角色的 Pod 配置调度策略和 Labels,以实现 Pod 的亲和性/反亲和性、拓扑分布约束以及标签管理。这里说明通过 EMR on TKE 控制台 配置 Pod 调度策略和编辑 Pod Labels 的相关操作。
-
弹性 MapReduce Customizing Benchmarks(自定义基准测试)
基准测试复用与 RL 训练相同的 Env 协议。两者的联系是直接的——BenchmarkBuilder.make_envs() 返回的 Env 实例与 RLDataset 中使用的完全一致。
-
弹性 MapReduce 健康巡检
集群健康巡检功能默认每小时自动生成巡检报告,全面监控集群健康状况。基于健康分模型,从基础诊断、计算洞察、存储洞察、资源洞察和事件诊断等5个层级进行百分制权重评估,为集群的稳定性和高效性提供量化数据。巡检报告会明确标注扣分维度及扣分根因信息,帮助用户快速定位问题。同时支持即时巡检功能,满足用户临时场景的巡检需求。
-
弹性 MapReduce Phoenix 客户端使用
Phoenix 查询引擎支持使用 SQL 进行 HBase 数据的查询,会将 SQL 查询转换为一个或多个 HBase API,协同处理器与自定义过滤器的实现,并编排执行。使用 Phoenix 进行简单查询,其性能量级是毫秒,对于百万级别的行数来说,其性能量级是秒。EMR 中选择 HBase 组件的集群,默认集成 phoenix 客户端。
-
弹性 MapReduce Spark-RAPIDS GPU 加速能力介绍
随着大数据处理规模的持续增长,传统 CPU 计算架构在性能提升上逐渐进入平台期。NVIDIA 推出的 RAPIDS Accelerator for Apache Spark 将 GPU 的并行计算能力引入 Spark 数据处理流程,通过将 SQL 算子下推到 GPU 执行,实现数倍于 CPU 的性能提升,同时将计算成本降低 30%~80%。
-
弹性 MapReduce RL Training Outputs(强化学习训练输出)
每次 RL 训练运行都会把文件写入 log_path。所有文件 I/O 都经过 Storage 协议,因此 log_path 可以是本地路径,也可以是云端 URI(例如 gs://bucket/run)。
-
弹性 MapReduce 系统用户说明
在 EMR(Elastic MapReduce)集群环境中,系统用户依据集群类型及业务需求承担特定职责,对集群系统的稳定运行及功能实现具有关键作用。这里说明系统用户在相应场景下的作用。
-
弹性 MapReduce Hive 基础操作
这篇演示如何使用 EMR 上的 Hive 创建库表、导入数据、执行查询等基础操作。
-
弹性 MapReduce StarRocks SQL 拦截
腾讯云 EMR StarRocks 提供 SQL 拦截功能,帮助用户在控制台以可视化方式管理 SQL 黑名单规则,通过正则表达式匹配 SQL 文本,对不符合规范的 SQL 语句(如全表扫描、无 WHERE 条件的 DELETE 操作、高资源消耗查询等)进行自动拦截,保障集群稳定性,降低运维门槛。
-
弹性 MapReduce Airflow 开发指南
弹性 MapReduce(EMR)支持 EMR on TKE 与 EMR on CVM 两种形态部署 Airflow 集群,推荐优先选择 EMR on TKE:该形态支持 KubernetesExecutor,Scheduler 可为每个任务实例创建独立 Pod,实现任务级资源隔离与按需弹性,且不依赖 Redis 作为任务队列;同时兼容 CeleryExecutor,可按任务隔离与吞吐需求选择执行方式。