腾讯云产品
-
弹性 MapReduce Flink 分析 COS 上的数据
Flink 擅长处理无界和有界数据集精确的时间控制和状态化使得 Flink 的运行(runtime)能够运行任何处理无界流的应用。有界流则由一些专为固定大小数据集特殊设计的算法和数据结构进行内部处理,产生了出色的性能。
以下针对于在对象存储上的有界或者无界数据集的数据进行演示操作,这里为了更好地观察作业的运行情况使用 yarn-session 模式来提交任务。Flink On Yarn 支持 Session Mode。 -
弹性 MapReduce Kafka 数据通过 Flume 存储到 HDFS 或 COS
这篇说说如何将CKafka数据通过Flume采集并存储到HDFS或COS,需先创建CKafka实例和EMR集群并安装Flume组件,配置kafka.properties文件指定source、sink和channel参数,然后启动Flume代理并运行Kafka生产者发送测试消息。 配置Flume:创建kafka.properties文件,配置KafkaSource、HDFS sink和memory channel参数。。
-
弹性 MapReduce Alluxio 支持 COS 透明 URI
Alluxio 用户通常具有通过现有应用程序访问其底层存储系统(Under-FileSystem),将 Alluxio 添加到现有的生态系统中的需求,但现有应用程序必须更改的是需要在应用程序使用 Alluxio 的 URI。透明 URI 功能允许用户访问现有存储系统,且无需在应用程序级别更改 URI。
-
弹性 MapReduce 任务中心
腾讯云弹性 MapReduce(EMR)控制台提供任务中心功能,可查看集群全部任务执行状态;支持对部分任务进行重试、取消、展示错误信息等功能。
-
弹性 MapReduce 服务列表
服务列表展示了集群已安装的服务,以及服务的健康状态、配置状态、版本信息等。同时提供了服务便捷运维管理工具,包含通用的服务操作以及部分服务特有的指令类运维操作。
-
弹性 MapReduce Kerberos 基础使用
EMR 集群使用 mit 的 kerberos 来作为 kdc 服务,使用 kerberos,首先要创建域(realm),再添加相关角色的 principal(包括 server 和 client),新建的 EMR 集群已经完成相关创建工作,并将支持的组件和 hadoop 用户加入数据库中,默认为 hadoop 用户生成了 keytab 文件,路径为 /var/krb5kdc/emr.keytab。
-
弹性 MapReduce TensorFlow 简介
TensorFlow 是一个端到端开源机器学习平台。它拥有一个全面而灵活的生态系统,其中包含各种工具、库和社区资源,可助力研究人员推动先进机器学习技术的发展,并使开发者能够轻松地构建和部署由机器学习提供支持的应用。
-
弹性 MapReduce Kudu 开发指南
这篇档主要对 Kudu 集群类型 Core 节点 tserver 缩容时,需进行的数据搬迁进行介绍。
-
弹性 MapReduce Kafka 数据通过 Flume 存储到 HBase
这篇说明如何将腾讯云CKafka的数据通过Flume收集并存储到HBase,包括环境准备、配置Flume和测试验证。 配置Flume:创建hbase_kafka.properties文件,配置KafkaSource、HBase2Sink和MemoryChannel。 创建HBase表:使用hbase shell创建foo_table和cf列族。 运行测试:启动Flume和Kafka生产者,输入数据后检查HBase表。
-
弹性 MapReduce Ranger 简介
Ranger 是大数据领域的一个集中式安全管理框架,实现对 Hadoop 生态组件的集中式安全管理。用户可以通过 Ranger 实现对集群中数据的安全访问,它主要是对 Hadoop 平台组件进行监管、启动服务以及资源访问进行控制,其核心思想为。