弹性 MapReduce
-
弹性 MapReduce 集群缩容
集群缩容是指当 EMR 集群计算资源过剩时,可通过控制台对 Task 节点进行缩容。且当集群存在路由节点(router 节点)不用分担 Master 节点的负载,或作为集群的任务提交机时,可通过缩容节点实现集群缩容功能。
-
弹性 MapReduce Iceberg 基础使用
Apache Iceberg 是一种新型的用于大规模数据分析的开源表格式。它被设计用于存储移动缓慢的大型表格数据。它旨在改善 Hive、Trino(PrestoSQL)和 Spark 中内置的事实上的标准表布局。Iceberg 可以屏蔽底层数据存储格式上的差异,向上提供统一的操作 API,使得不同的引擎可以通过其提供的 API 接入。
-
弹性 MapReduce Flink 分析 COS 上的数据
Flink 擅长处理无界和有界数据集精确的时间控制和状态化使得 Flink 的运行(runtime)能够运行任何处理无界流的应用。有界流则由一些专为固定大小数据集特殊设计的算法和数据结构进行内部处理,产生了出色的性能。
以下针对于在对象存储上的有界或者无界数据集的数据进行演示操作,这里为了更好地观察作业的运行情况使用 yarn-session 模式来提交任务。Flink On Yarn 支持 Session Mode。 -
弹性 MapReduce Kerberos 基础使用
EMR 集群使用 mit 的 kerberos 来作为 kdc 服务,使用 kerberos,首先要创建域(realm),再添加相关角色的 principal(包括 server 和 client),新建的 EMR 集群已经完成相关创建工作,并将支持的组件和 hadoop 用户加入数据库中,默认为 hadoop 用户生成了 keytab 文件,路径为 /var/krb5kdc/emr.keytab。
-
弹性 MapReduce Superset 简介
Apache Superset 是一个数据浏览和可视化 Web 应用程序。EMR 上的 Superset,原装了对 Mysql、Hive、Presto、Impala、Kylin 的支持。
-
弹性 MapReduce TensorFlow 简介
TensorFlow 是一个端到端开源机器学习平台。它拥有一个全面而灵活的生态系统,其中包含各种工具、库和社区资源,可助力研究人员推动先进机器学习技术的发展,并使开发者能够轻松地构建和部署由机器学习提供支持的应用。
-
弹性 MapReduce 优雅缩容
开启优雅缩容模式后,节点在执行任务时,缩容条件触发时不会立即释放,而是在等待任务执行完成后进行缩容节点;在自动伸缩设置缩容规则和手动缩容时,支持优雅缩容模式。
-
弹性 MapReduce Kudu 开发指南
这篇档主要对 Kudu 集群类型 Core 节点 tserver 缩容时,需进行的数据搬迁进行介绍。
-
弹性 MapReduce Hue 简介
Hue 是一个开源的 Apache Hadoop UI 系统,由 Cloudera Desktop 演化而来,最后 Cloudera 公司将其贡献给 Apache 基金会的 Hadoop 社区,它是基于 Python Web 框架 Django 实现的。通过使用 Hue 我们可以在浏览器端的 Web 控制台上与 Hadoop 集群进行交互来分析处理数据,例如操作 HDFS 上的数据、运行 MapReduce Job、。
-
弹性 MapReduce Impala 简介
Apache Impala 项目为存储在 Apache Hadoop 文件格式的数据提供高性能、低延迟的 SQL 查询。它对查询进行快速响应,同时支持对分析查询进行交互式的数据探索和查询调整,而不是传统上那种与 SQL-on-Hadoop 技术相关联的长时间批量作业。