腾讯云产品
-
弹性 MapReduce RSS Uniffle 操作指南
随着 EMR 客户数量和 Spark 用户规模的持续增长,以及容器化应用的普及,Shuffle 作为大数据计算的核心算子,覆盖率高但资源消耗大,稳定性问题突出。
-
弹性 MapReduce 增量 DB 数据到 HDFS
Sqoop 是一款开源的工具,主要用于在 Hadoop 和传统数据库(MySQL、PostgreSQL 等)之间进行数据传递,可以将一个关系型数据库(例如 MySQL、Oracle、Postgres 等)中的数据导入到 Hadoop 的 HDFS 中,也可以将 HDFS 的数据导入到关系型数据库中。Sqoop 中一大亮点就是可以通过 Hadoop 的 MapReduce 把数据从关系型数据库中导入数据到 HDFS。
-
弹性 MapReduce Hive 连接方式
这里说明在弹性 MapReduce 中使用 Hive 客户端、Beeline、Java 三种方式连接 Hive。
-
弹性 MapReduce 相关性分析
通过 AI 算法深度分析异常指标与系统其他指标、事件等多维数据的关联性,精准识别关键影响因素,提供异常根因范围或影响范围。产出可视化分析结果和可解释性报告,提供可量化的关联程度评分,辅助用户理解异常问题的高可能性影响点,从而快速排查和定位异常根因。
-
弹性 MapReduce 用户密码修改影响说明
腾讯云 EMR 集群的用户身份信息统一存储在集群内置的 OpenLDAP 中。任何用户密码的修改操作,都会影响所有依赖 LDAP 进行身份认证的组件与服务。因此,在执行任何密码变更操作前,必须充分评估影响范围。
-
弹性 MapReduce SparkStreaming 对接 Ckafka 服务
基于腾讯云的 EMR 服务可以以轻松结合腾讯云的 Ckafka 服务实现以下流式应用。
-
弹性 MapReduce Evaluation(评测)
在自动扩缩容场景下,缩容规则触发时,即将被销毁的 Task 节点若正在运行着 ApplicationMaster(AM),那么节点在销毁的同时,运行的 AM 也会随之销毁,会导致当前 Job 整体失败。
在自动扩缩容场景下,通过扩容添加的 Task 节点默认不分配 ApplicationMaster,保证缩容Task节点时,运行的 ApplicationMaster不被销毁,Job 可以正常进行。 -
弹性 MapReduce JupyterLab 开发指南
JupyterLab 是 Jupyter 项目下的一个高度可扩展、功能丰富的交互式的开发环境,可用于笔记本、代码和数据的编写。其灵活的界面允许用户配置和安排数据科学、科学计算、计算新闻和机器学习中的工作流程;模块化设计允许扩展以扩展和丰富功能。这篇通过示例简单介绍如何在 EMR 上使用 JupyterLab,详细的使用文档。
-
弹性 MapReduce 计算组
腾讯云 EMR 在 StarRocks 存算分离场景下,通过计算组(Multi-Warehouse) 实现计算资源的精细化管理与业务负载隔离;以满足多业务并发和多样化场景需求,确保服务的高稳定性和数据查询的高速度。这里说明如何管理计算组,包括同步计算组、新增计算组、扩缩容计算组、重启计算组等操作。
-
弹性 MapReduce Hive 存储格式和关系型数据库之间进行导入导出
了使用腾讯云 Sqoop 服务将数据在 MySQL 和 Hive 之间相互导入导出的方法。