yun
-
弹性 MapReduce Hue 简介
Hue 是一个开源的 Apache Hadoop UI 系统,由 Cloudera Desktop 演化而来,最后 Cloudera 公司将其贡献给 Apache 基金会的 Hadoop 社区,它是基于 Python Web 框架 Django 实现的。通过使用 Hue 我们可以在浏览器端的 Web 控制台上与 Hadoop 集群进行交互来分析处理数据,例如操作 HDFS 上的数据、运行 MapReduce Job、。
-
弹性 MapReduce Knox 指引
EMR 各版本已支持 Apache Knox,完成以下准备工作后,即可在公网直接访问 Yarn、HDFS 等服务的 Web UI。
-
弹性 MapReduce Alluxio 开发指南
Alluxio 通过文件系统接口提供对数据的访问。Alluxio 中的文件提供一次写入语义:它们在被完整写下之后不可变,在完成之前不可读。Alluxio 提供了两种不同的文件系统 API:Alluxio API 和 Hadoop 兼容的 API。Alluxio API 提供了额外的功能,而 Hadoop 兼容的 API 为用户提供了无需修改现有代码使用 Hadoop API 的灵活性。
-
弹性 MapReduce Alluxio 常用命令
cat 命令将 Alluxio 中的一个文件内容全部打印在控制台中,这在用户确认一个文件的内容是否和预想的一致时非常有用。如果你想将文件拷贝到本地文件系统中,使用 copyToLocal 命令。
-
弹性 MapReduce 挂载文件系统到 Alluxio 统一文件系统
Alluxio 提供了统一命名空间机制,允许将其他文件系统挂载到 Alluxio 的文件系统中。该机制允许上层应用使用统一的命名空间,访问分散在不同系统中的数据。
-
弹性 MapReduce 欠费说明
这篇说说腾讯云EMR集群的包年包月、按量计费和包销计费三种模式的到期预警、欠费处理及回收机制,核心结论是到期未续费将停服隔离7天后释放数据,按量计费欠费2小时后自动停服,15天内充值可恢复。 包年包月/包销:到期前7天预警,7天后停服隔离7天,再后释放数据。 按量计费:欠费2小时后停服,15天内充值可恢复,超15天释放数据。
-
弹性 MapReduce Spark 资源动态调度实践
确定你已经开通了腾讯云,并且创建了一个 EMR 集群。在创建 EMR 集群的时候,需要在软件配置界面选择 spark_hadoop 组件。Spark 安装在 EMR 云服务器的 /usr/local/service 路径下(/usr/local/service/spark)。
-
弹性 MapReduce YARN 标签调度实践
Spark on Yarn 使用 Yarn 作为资源调度器,在 Hadoop2.7.2 之后 Yarn 在容器调度器 Capacity Scheduler 基础上增加了标签调度。
-
弹性 MapReduce Kafka 数据通过 Flume 存储到 Hive
这篇说明如何将CKafka数据通过Flume采集并存储到Hive,包括环境准备、配置Flume的source/sink/channel、创建分区分桶的ORC事务表、开启Hive事务及运行测试。 配置Flume:需创建配置文件,指定KafkaSource、HiveSink及内存Channel,并设置分区与序列化。 创建Hive表:表必须为分区分桶的ORC事务表,且需开启Hive事务相关配置。 运行测试:启动Flume代。
-
弹性 MapReduce Kafka 数据通过 Flume 存储到 HDFS 或 COS
这篇说说如何将CKafka数据通过Flume采集并存储到HDFS或COS,需先创建CKafka实例和EMR集群并安装Flume组件,配置kafka.properties文件指定source、sink和channel参数,然后启动Flume代理并运行Kafka生产者发送测试消息。 配置Flume:创建kafka.properties文件,配置KafkaSource、HDFS sink和memory channel参数。。