弹性 MapReduce
-
弹性 MapReduce YARN 任务队列管理
可以以登录 YARN 自带的 YARN WebUI,登录方式为通过 EMR 提供的快捷入口,查看快捷入口请参考 软件 WebUI 入口。登录后单击下图所示左侧列表中 Scheduler ,即可看到任务队列信息。
。 -
弹性 MapReduce 计算组
腾讯云 EMR 在 StarRocks 存算分离场景下,通过计算组(Multi-Warehouse) 实现计算资源的精细化管理与业务负载隔离;以满足多业务并发和多样化场景需求,确保服务的高稳定性和数据查询的高速度。这里说明如何管理计算组,包括同步计算组、新增计算组、扩缩容计算组、重启计算组等操作。
-
弹性 MapReduce 节点组
节点组是 EMR 资源下的资源分组单位,用于把一个 EMR 资源内的节点按规格、计费类型和弹性伸缩策略划分为多个相互隔离的资源池。这里说明节点组的概念、管理入口以及创建、扩缩容、弹性伸缩等操作说明。
-
弹性 MapReduce Hive 存储格式和关系型数据库之间进行导入导出
了使用腾讯云 Sqoop 服务将数据在 MySQL 和 Hive 之间相互导入导出的方法。
-
弹性 MapReduce MLflow 开发指南
MLflow 是一个开源平台,专门用于帮助机器学习从业者和团队处理机器学习过程的复杂性。 MLflow 专注于机器学习项目的整个生命周期,确保每个阶段都是可管理、可追溯和可再现的。这篇通过示例简单介绍如何在 EMR 上使用 MLflow,详细的使用文档。
-
弹性 MapReduce Spark 开发指南
Xpark 是腾讯自研基于 Python 生态的分布式多模态数据计算引擎,基于 Ray Data 实现,并内置丰富的多模数据处理算子,支持分析处理文本、图片、音频、视频等多模态数据,使开发者可以高效的实现多模态数据预处理和分析。
-
弹性 MapReduce 开启 Spark 优化插件
SparkSQL 优化主要针对于周期性执行的 SparkSQL 任务,根据其历史运行特征,动态优化资源使用量。
-
弹性 MapReduce Supervised Learning(监督学习)
Cookbook 提供了一个流水线式的 Supervised Learning(SFT,监督学习)训练循环,数据集、评测和检查点保存都可配置。
-
弹性 MapReduce 关系型数据库和 HDFS 的导入导出
Sqoop 是一款开源的工具,主要用于在 Hadoop 和传统数据库(MySQL、PostgreSQL 等)之间进行数据传递,可以将一个关系型数据库(例如 MySQL、Oracle、Postgres 等)中的数据导入到 Hadoop 的 HDFS 中,也可以将 HDFS 的数据导入到关系型数据库中。Sqoop 中一大亮点就是可以通过 Hadoop 的 MapReduce 把数据从关系型数据库中导入数据到 HDFS。
-
弹性 MapReduce 表管理
这篇说说通过EMR控制台管理HBase命名空间和表,包括创建、修改、启用/禁用、查询和删除表,并强调default命名空间不可删除、删除表前需先禁用等注意事项。 命名空间管理:支持新增/删除自定义命名空间,删除前需清空内部所有表。 表管理:控制台支持创建、修改(仅列族/TTL)、启用/禁用、查询及删除表,复杂操作需使用HBase API。 删除表:仅支持禁用状态的表,操作前需先禁用。