yun

  • 弹性 MapReduce Kafka 数据通过 Flume 存储到 HBase

    这篇说明如何将腾讯云CKafka的数据通过Flume收集并存储到HBase,包括环境准备、配置Flume和测试验证。 配置Flume:创建hbase_kafka.properties文件,配置KafkaSource、HBase2Sink和MemoryChannel。 创建HBase表:使用hbase shell创建foo_table和cf列族。 运行测试:启动Flume和Kafka生产者,输入数据后检查HBase表。

    腾讯云产品 6天前
  • 弹性 MapReduce EMR 各版本 Spark 相关依赖说明

    https://spark.apache.org/docs/{spark.version}/index.html将 {spark.version} 替换为对应的 spark 版本,例如查看3.2.2版本的依赖关系,访问链接如下。

    腾讯云产品 6天前
  • 弹性 MapReduce Hive 元数据管理

    当选择部署 Hive 组件时,Hive 元数据库提供了两种存储方式:第一种自动创建,Hive 元数据存储于集群独立购买 MetaDB;第二种是关联外部 Hive 元数据库,可选择关联 EMR-MetaDB 或自建 MySQL 数据库,元数据将存储于关联的数据库中,不随集群销毁而销毁。

    腾讯云产品 6天前
  • 弹性 MapReduce Livy 简介

    Apache Livy 是一个可以通过 REST 接口与 Spark 集群进行交互的服务,它可以提交 Spark 作业或者 Spark 代码片段,同步或者异步地进行结果检索以及 Spark Context 上下面管理,Apache Livy 简化 Spark 和应用程序服务器之间的交互,从而使 Spark 能够用于交互式 Web/移动应用程序。

    腾讯云产品 6天前
  • 弹性 MapReduce Hudi 简介

    Apache Hudi 在 HDFS 的数据集上提供了插入更新和增量拉取的流原语。一般来说,我们会将大量数据存储到 HDFS,新数据增量写入,而旧数据鲜有改动,特别是在经过数据清洗,放入数据仓库的场景。而且在数据仓库如 Hive 中,对于 update 的支持非常有限,计算昂贵。另一方面,若是有仅对某段时间内新增数据进行分析的场景,则 Hive、Presto、Hbase 等也未提供原生方式,而是需要根据时间戳进行过滤。

    腾讯云产品 6天前
  • 弹性 MapReduce Superset 简介

    Apache Superset 是一个数据浏览和可视化 Web 应用程序。EMR 上的 Superset,原装了对 Mysql、Hive、Presto、Impala、Kylin 的支持。

    腾讯云产品 6天前
  • 弹性 MapReduce Impala 简介

    Apache Impala 项目为存储在 Apache Hadoop 文件格式的数据提供高性能、低延迟的 SQL 查询。它对查询进行快速响应,同时支持对分析查询进行交互式的数据探索和查询调整,而不是传统上那种与 SQL-on-Hadoop 技术相关联的长时间批量作业。

    腾讯云产品 6天前
  • 弹性 MapReduce Impala 运维手册

    当 Impala 中的元数据信息太多(例如几百个库、几万个表),Impala 在启动的时候,需要把这些元数据信息广播到所有节点上,默认这个动作的超时时间是10s。当元数据较大且较易触发时,可通过在 Impala 的启动配置文件 /data/Impala/conf/impalad.flgs 中设置 -statestore_subscriber_timeout_seconds=100。

    腾讯云产品 6天前
  • 弹性 MapReduce Kylin 简介

    Apache Kylin™是一个开源的、分布式的分析型数据仓库,提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。

    腾讯云产品 6天前
  • 弹性 MapReduce Zeppelin 简介

    Apache Zeppelin 是一款基于 Web 的 Notebook 产品,能够进行交互式数据分析。使用 Zeppelin,可以以使用丰富的预构建语言后端(或解释器)制作交互式的协作文档,例如 Scala(Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、Shell 等。

    腾讯云产品 6天前