弹性 MapReduce

  • 弹性 MapReduce Flink 简介

    Flink 核心是一个开源的分布式、高性能、高可用、准确的数据流执行引擎,其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎,Flink 提供了更高抽象层的 API 以便你编写分布式任务。

    腾讯云产品 6天前
  • 弹性 MapReduce Kerberos 开发指南

    当前 EMR-V2.1.0及以后的版本都支持 kerberos 创建安全类型集群,即集群中除 alluxio、zeppelin、kylin 外所有已支持的开源组件以 Kerberos 的安全模式启动,在这种安全环境下,只有经过认证的客户端(Client)才能访问集群的服务(Service,例如 HDFS)。

    腾讯云产品 6天前
  • 弹性 MapReduce Hudi 简介

    Apache Hudi 在 HDFS 的数据集上提供了插入更新和增量拉取的流原语。一般来说,我们会将大量数据存储到 HDFS,新数据增量写入,而旧数据鲜有改动,特别是在经过数据清洗,放入数据仓库的场景。而且在数据仓库如 Hive 中,对于 update 的支持非常有限,计算昂贵。另一方面,若是有仅对某段时间内新增数据进行分析的场景,则 Hive、Presto、Hbase 等也未提供原生方式,而是需要根据时间戳进行过滤。

    腾讯云产品 6天前
  • 弹性 MapReduce 集群缩容

    集群缩容是指当 EMR 集群计算资源过剩时,可通过控制台对 Task 节点进行缩容。且当集群存在路由节点(router 节点)不用分担 Master 节点的负载,或作为集群的任务提交机时,可通过缩容节点实现集群缩容功能。

    腾讯云产品 6天前
  • 弹性 MapReduce Iceberg 基础使用

    Apache Iceberg 是一种新型的用于大规模数据分析的开源表格式。它被设计用于存储移动缓慢的大型表格数据。它旨在改善 Hive、Trino(PrestoSQL)和 Spark 中内置的事实上的标准表布局。Iceberg 可以屏蔽底层数据存储格式上的差异,向上提供统一的操作 API,使得不同的引擎可以通过其提供的 API 接入。

    腾讯云产品 6天前
  • 弹性 MapReduce Flink 分析 COS 上的数据

    Flink 擅长处理无界和有界数据集精确的时间控制和状态化使得 Flink 的运行(runtime)能够运行任何处理无界流的应用。有界流则由一些专为固定大小数据集特殊设计的算法和数据结构进行内部处理,产生了出色的性能。
    以下针对于在对象存储上的有界或者无界数据集的数据进行演示操作,这里为了更好地观察作业的运行情况使用 yarn-session 模式来提交任务。Flink On Yarn 支持 Session Mode。

    腾讯云产品 6天前
  • 弹性 MapReduce 健康巡检

    集群健康巡检功能默认每小时自动生成巡检报告,全面监控集群健康状况。基于健康分模型,从基础诊断、计算洞察、存储洞察、资源洞察和事件诊断等5个层级进行百分制权重评估,为集群的稳定性和高效性提供量化数据。巡检报告会明确标注扣分维度及扣分根因信息,帮助用户快速定位问题。同时支持即时巡检功能,满足用户临时场景的巡检需求。

    腾讯云产品 6天前
  • 弹性 MapReduce Phoenix 客户端使用

    Phoenix 查询引擎支持使用 SQL 进行 HBase 数据的查询,会将 SQL 查询转换为一个或多个 HBase API,协同处理器与自定义过滤器的实现,并编排执行。使用 Phoenix 进行简单查询,其性能量级是毫秒,对于百万级别的行数来说,其性能量级是秒。EMR 中选择 HBase 组件的集群,默认集成 phoenix 客户端。

    腾讯云产品 6天前
  • 弹性 MapReduce Spark-RAPIDS GPU 加速能力介绍

    随着大数据处理规模的持续增长,传统 CPU 计算架构在性能提升上逐渐进入平台期。NVIDIA 推出的 RAPIDS Accelerator for Apache Spark 将 GPU 的并行计算能力引入 Spark 数据处理流程,通过将 SQL 算子下推到 GPU 执行,实现数倍于 CPU 的性能提升,同时将计算成本降低 30%~80%。

    腾讯云产品 6天前
  • 弹性 MapReduce RL Training Outputs(强化学习训练输出)

    每次 RL 训练运行都会把文件写入 log_path。所有文件 I/O 都经过 Storage 协议,因此 log_path 可以是本地路径,也可以是云端 URI(例如 gs://bucket/run)。

    腾讯云产品 6天前