腾讯云产品
-
弹性 MapReduce Kylin 简介
Apache Kylin™是一个开源的、分布式的分析型数据仓库,提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。
-
弹性 MapReduce HDFS 联邦管理
HDFS 联邦管理是基于 HDFS Federation 特性提供的 HDFS 联邦集群部署管理能力,包含 NameService 管理以及挂载表管理。在 Hadoop 集群类型 HA 模式下支持联邦管理,支持 ViewFS Federation 和 Router-based Federation 两种联邦类型选择,联邦类型选择后不可更改。Router 节点会用于新扩展的 NameNode 部署,用作 NameNod。
-
弹性 MapReduce Flume 简介
Apache Flume 是可以收集例如日志、事件等数据资源,并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务。Flume 具有高可用、分布式、配置工具等特性,其设计原理也是将数据流(例如日志数据)从各种网站服务器上汇集起来存储到 HDFS、HBase 等集中存储器中。
-
弹性 MapReduce 集群续费
EMR 集群支持续费功能,以保障包年包月不会因费用问题导致集群不可用(隔离)情况。续费资源级别的续费,这里说明通过 EMR 控制台 对集群包年包月计费节点进行手动续费、和自动续费以及取消自动续费操作。
-
弹性 MapReduce Flink 简介
Flink 核心是一个开源的分布式、高性能、高可用、准确的数据流执行引擎,其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎,Flink 提供了更高抽象层的 API 以便你编写分布式任务。
-
弹性 MapReduce Kafka 数据通过 Flume 存储到 Hive
这篇说明如何将CKafka数据通过Flume采集并存储到Hive,包括环境准备、配置Flume的source/sink/channel、创建分区分桶的ORC事务表、开启Hive事务及运行测试。 配置Flume:需创建配置文件,指定KafkaSource、HiveSink及内存Channel,并设置分区与序列化。 创建Hive表:表必须为分区分桶的ORC事务表,且需开启Hive事务相关配置。 运行测试:启动Flume代。
-
弹性 MapReduce 账单查询
查看腾讯云弹性 MapReduce(EMR)产生的账单及扣费明细,登录腾讯云控制台,进入 费用中心 > 费用账单 > 账单查看 > 资源账单。
-
弹性 MapReduce Zeppelin 简介
Apache Zeppelin 是一款基于 Web 的 Notebook 产品,能够进行交互式数据分析。使用 Zeppelin,可以以使用丰富的预构建语言后端(或解释器)制作交互式的协作文档,例如 Scala(Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、Shell 等。
-
弹性 MapReduce HDFS 联邦管理开发指南
HDFS Federation(联邦)使用多个独立的 NameNode/Namespace 来使 HDFS 的命名服务能够水平扩展,联邦中的 DataNode 被所有的 NameNode 用作公共存储块的地方;每一个 DataNode 都会向所在集群中所有的 NameNode 注册,并且会周期性地发送心跳和块信息报告,同时处理来自所有 NameNode 的指令。
有关更多 HDFS Federation介绍,请参。 -
弹性 MapReduce Kerberos 开发指南
当前 EMR-V2.1.0及以后的版本都支持 kerberos 创建安全类型集群,即集群中除 alluxio、zeppelin、kylin 外所有已支持的开源组件以 Kerberos 的安全模式启动,在这种安全环境下,只有经过认证的客户端(Client)才能访问集群的服务(Service,例如 HDFS)。