弹性 MapReduce
-
弹性 MapReduce RSS Uniffle 操作指南
随着 EMR 客户数量和 Spark 用户规模的持续增长,以及容器化应用的普及,Shuffle 作为大数据计算的核心算子,覆盖率高但资源消耗大,稳定性问题突出。
-
弹性 MapReduce 提交 MapReduce 任务
本操作手册只描述了命令行模式下基本的 MapReduce 任务操作以及 MapReduce 计算任务如何访问腾讯云对象存储 COS 上面的数据,详细资料可以参考 社区资料。
-
弹性 MapReduce 增量 DB 数据到 HDFS
Sqoop 是一款开源的工具,主要用于在 Hadoop 和传统数据库(MySQL、PostgreSQL 等)之间进行数据传递,可以将一个关系型数据库(例如 MySQL、Oracle、Postgres 等)中的数据导入到 Hadoop 的 HDFS 中,也可以将 HDFS 的数据导入到关系型数据库中。Sqoop 中一大亮点就是可以通过 Hadoop 的 MapReduce 把数据从关系型数据库中导入数据到 HDFS。
-
弹性 MapReduce 实例访问公网
TCBase 实例默认部署在私有网络(VPC)中,与公网隔离,不具备直接访问公网的能力。如果实例需要访问公网,例如数据库 UDF 调用第三方 API 时,可以通过创建 NAT 网关,使实例的公网访问流量经由 NAT 网关转发,从而实现安全访问公网。
-
弹性 MapReduce Hive 连接方式
这里说明在弹性 MapReduce 中使用 Hive 客户端、Beeline、Java 三种方式连接 Hive。
-
弹性 MapReduce JupyterLab 开发指南
JupyterLab 是 Jupyter 项目下的一个高度可扩展、功能丰富的交互式的开发环境,可用于笔记本、代码和数据的编写。其灵活的界面允许用户配置和安排数据科学、科学计算、计算新闻和机器学习中的工作流程;模块化设计允许扩展以扩展和丰富功能。这篇通过示例简单介绍如何在 EMR 上使用 JupyterLab,详细的使用文档。
-
弹性 MapReduce YARN 任务队列管理
可以以登录 YARN 自带的 YARN WebUI,登录方式为通过 EMR 提供的快捷入口,查看快捷入口请参考 软件 WebUI 入口。登录后单击下图所示左侧列表中 Scheduler ,即可看到任务队列信息。
。 -
弹性 MapReduce 计算组
腾讯云 EMR 在 StarRocks 存算分离场景下,通过计算组(Multi-Warehouse) 实现计算资源的精细化管理与业务负载隔离;以满足多业务并发和多样化场景需求,确保服务的高稳定性和数据查询的高速度。这里说明如何管理计算组,包括同步计算组、新增计算组、扩缩容计算组、重启计算组等操作。
-
弹性 MapReduce 节点组
节点组是 EMR 资源下的资源分组单位,用于把一个 EMR 资源内的节点按规格、计费类型和弹性伸缩策略划分为多个相互隔离的资源池。这里说明节点组的概念、管理入口以及创建、扩缩容、弹性伸缩等操作说明。
-
弹性 MapReduce Hive 存储格式和关系型数据库之间进行导入导出
了使用腾讯云 Sqoop 服务将数据在 MySQL 和 Hive 之间相互导入导出的方法。