弹性 MapReduce
-
弹性 MapReduce EMR on TKE 简介
腾讯云 EMR on TKE 基于容器化服务、开源大数据引擎,提供可快速部署、灵活伸缩、高效安全的大数据服务部署平台。通过控制台的应用管理等功能优势使用户聚焦于业务应用。服务引擎覆盖 Spark、Hive、Trino 等大数据组件,方便用户轻松的运行、管理和扩展容器化应用程序。
-
弹性 MapReduce YARN 标签调度实践
Spark on Yarn 使用 Yarn 作为资源调度器,在 Hadoop2.7.2 之后 Yarn 在容器调度器 Capacity Scheduler 基础上增加了标签调度。
-
弹性 MapReduce 从 Hadoop 批量摄入数据
本节简单介绍如何从远程 Hadoop 集群中批量加载数据文件到 Druid 集群中。这篇操作均是以 Hadoop 用户进行,请先在 Druid 集群和 Hadoop 集群上都切换到 Hadoop 用户。
-
弹性 MapReduce 检查更新公网 IP
EMR 控制台支持检查更新 master1 上的公网 IP,更新或添加后集群配置信息 Master 公网 IP 的同步更新,服务 WebUI 访问地址同步更新。
-
弹性 MapReduce Kyuubi 简介
Apache Kyuubi (Incubating)是一个 Thrift JDBC/ODBC 服务,目前对接了 Apache Spark 计算框架(正在对接Apache Flink计算框架以及Trino),支持多租户和分布式等特性,可以满足企业内诸如 ETL、BI 报表等多种大数据场景的应用。
。 -
弹性 MapReduce Kafka 数据通过 Flume 存储到 Hive
这篇说明如何将CKafka数据通过Flume采集并存储到Hive,包括环境准备、配置Flume的source/sink/channel、创建分区分桶的ORC事务表、开启Hive事务及运行测试。 配置Flume:需创建配置文件,指定KafkaSource、HiveSink及内存Channel,并设置分区与序列化。 创建Hive表:表必须为分区分桶的ORC事务表,且需开启Hive事务相关配置。 运行测试:启动Flume代。
-
弹性 MapReduce 从 Kafka 实时摄入数据
如何使用 Apache Druid Kafka Indexing Service 实时消费 Kafka 数据。开始本节前,类似 Hadoop 集群,需要确保 Kafka 集群和 Druid 集群之间能够正常通信。
-
弹性 MapReduce 账单查询
查看腾讯云弹性 MapReduce(EMR)产生的账单及扣费明细,登录腾讯云控制台,进入 费用中心 > 费用账单 > 账单查看 > 资源账单。
-
弹性 MapReduce Alluxio 支持 COS(元数据加速桶)透明 URI
元数据加速桶与普通 COS 存储桶不同的是,其在文件系统上提供了高性能的能力。Alluxio 支持元数据加速桶在透明 URL 使用和配置上有以下异同点。
-
弹性 MapReduce Kafka 数据通过 Flume 存储到 HDFS 或 COS
这篇说说如何将CKafka数据通过Flume采集并存储到HDFS或COS,需先创建CKafka实例和EMR集群并安装Flume组件,配置kafka.properties文件指定source、sink和channel参数,然后启动Flume代理并运行Kafka生产者发送测试消息。 配置Flume:创建kafka.properties文件,配置KafkaSource、HDFS sink和memory channel参数。。