腾讯云产品

  • 弹性 MapReduce YARN 作业日志转存 COS

    Hadoop 默认将 YARN 的作业日志存储在 hdfs 上,腾讯云 EMR 还提供了将 YARN 作业日志存储在外部存储 COS 上。

    腾讯云产品 6天前
  • 弹性 MapReduce 云数据盘扩容

    随着业务增长集群中节点数据存储空间不足时,需要进行扩容操作;这里说明通过 EMR 控制台对云数据盘进行扩容的相关操作。

    腾讯云产品 6天前
  • 弹性 MapReduce Hive 元数据管理

    当选择部署 Hive 组件时,Hive 元数据库提供了两种存储方式:第一种自动创建,Hive 元数据存储于集群独立购买 MetaDB;第二种是关联外部 Hive 元数据库,可选择关联 EMR-MetaDB 或自建 MySQL 数据库,元数据将存储于关联的数据库中,不随集群销毁而销毁。

    腾讯云产品 6天前
  • 弹性 MapReduce 应用场景(Kafka 开发指南)

    Kafka 集群通过实时处理网站活动(PV、搜索、用户其他活动等),并根据类型发布到 Topic 中,这些信息流可以被用于实时监控或离线统计分析等。

    腾讯云产品 6天前
  • 弹性 MapReduce 从 Hadoop 批量摄入数据

    本节简单介绍如何从远程 Hadoop 集群中批量加载数据文件到 Druid 集群中。这篇操作均是以 Hadoop 用户进行,请先在 Druid 集群和 Hadoop 集群上都切换到 Hadoop 用户。

    腾讯云产品 6天前
  • 弹性 MapReduce Kyuubi 简介

    Apache Kyuubi (Incubating)是一个 Thrift JDBC/ODBC 服务,目前对接了 Apache Spark 计算框架(正在对接Apache Flink计算框架以及Trino),支持多租户和分布式等特性,可以满足企业内诸如 ETL、BI 报表等多种大数据场景的应用。
    。

    腾讯云产品 6天前
  • 弹性 MapReduce Alluxio 开发指南

    Alluxio 通过文件系统接口提供对数据的访问。Alluxio 中的文件提供一次写入语义:它们在被完整写下之后不可变,在完成之前不可读。Alluxio 提供了两种不同的文件系统 API:Alluxio API 和 Hadoop 兼容的 API。Alluxio API 提供了额外的功能,而 Hadoop 兼容的 API 为用户提供了无需修改现有代码使用 Hadoop API 的灵活性。

    腾讯云产品 6天前
  • 弹性 MapReduce Kudu 简介

    Apache Kudu 是一个分布式,可水平扩展的列式存储系统,它完善了 Hadoop 的存储层,可对快速变化数据进行快速分析。

    腾讯云产品 6天前
  • 弹性 MapReduce 标签管理

    标签管理提供新建、编辑、删除标签,以及绑定节点等功能。给集群各节点打上不同的标签,有助于在 容量调度(Capacity Scheduler)之上进行更细粒度的资源划分,并支持应用程序指定运行的位置。

    腾讯云产品 6天前
  • 弹性 MapReduce Livy 简介

    Apache Livy 是一个可以通过 REST 接口与 Spark 集群进行交互的服务,它可以提交 Spark 作业或者 Spark 代码片段,同步或者异步地进行结果检索以及 Spark Context 上下面管理,Apache Livy 简化 Spark 和应用程序服务器之间的交互,从而使 Spark 能够用于交互式 Web/移动应用程序。

    腾讯云产品 6天前