弹性 MapReduce

  • 弹性 MapReduce 开启 Spark 优化插件

    SparkSQL 优化主要针对于周期性执行的 SparkSQL 任务,根据其历史运行特征,动态优化资源使用量。

    腾讯云产品 6天前
  • 弹性 MapReduce Supervised Learning(监督学习)

    Cookbook 提供了一个流水线式的 Supervised Learning(SFT,监督学习)训练循环,数据集、评测和检查点保存都可配置。

    腾讯云产品 6天前
  • 弹性 MapReduce 关系型数据库和 HDFS 的导入导出

    Sqoop 是一款开源的工具,主要用于在 Hadoop 和传统数据库(MySQL、PostgreSQL 等)之间进行数据传递,可以将一个关系型数据库(例如 MySQL、Oracle、Postgres 等)中的数据导入到 Hadoop 的 HDFS 中,也可以将 HDFS 的数据导入到关系型数据库中。Sqoop 中一大亮点就是可以通过 Hadoop 的 MapReduce 把数据从关系型数据库中导入数据到 HDFS。

    腾讯云产品 6天前
  • 弹性 MapReduce 表管理

    这篇说说通过EMR控制台管理HBase命名空间和表,包括创建、修改、启用/禁用、查询和删除表,并强调default命名空间不可删除、删除表前需先禁用等注意事项。 命名空间管理:支持新增/删除自定义命名空间,删除前需清空内部所有表。 表管理:控制台支持创建、修改(仅列族/TTL)、启用/禁用、查询及删除表,复杂操作需使用HBase API。 删除表:仅支持禁用状态的表,操作前需先禁用。

    腾讯云产品 6天前
  • 弹性 MapReduce Spark 分析 COS 上的数据

    Spark 作为 Apache 高级的开源项目,是一个快速、通用的大规模数据处理引擎,与 Hadoop 的 MapReduce 计算框架类似,但是相对于 MapReduce,Spark 凭借其可伸缩、基于内存计算等特点以及可以直接读写 Hadoop 上任何格式数据的优势,进行批处理时更加高效,并有更低的延迟。实际上,Spark 已经成为轻量级大数据快速处理的统一平台,各种不同的应用,如实时流处理、机器学习、交互式查询。

    腾讯云产品 6天前
  • 弹性 MapReduce 开启 Hive 优化插件

    Hive 优化主要适用于周期性执行的 Hive On MR 任务,根据其历史运行特征,动态优化资源使用量。

    腾讯云产品 6天前
  • 弹性 MapReduce Storage(存储)

    训练与评测数据(指标、检查点、rollout、轨迹)都通过统一的存储层保存。默认情况下,数据写入本地磁盘。要使用云存储(GCS、S3、Azure),只需把路径改成 URI 即可。

    腾讯云产品 6天前
  • 弹性 MapReduce 重启服务

    组件配置项修改后,需要重启对应的服务使配置生效。为确保服务重启过程中,尽量减少或不影响业务运行,可通过滚动重启服务。对于有主备状态的实例,会先重启备实例,再重启主实例。滚动重启时间比普通重启时间久。

    腾讯云产品 6天前
  • 弹性 MapReduce EC 策略设置

    EC(Erasure Coding)策略设置是实例的高级配置,可以通过开启 EC策略降低数据副本数,进而降低资源成本。

    腾讯云产品 6天前
  • 弹性 MapReduce 通过 Spark Python 分析 COS 上的数据

    这篇说说使用Spark Python在腾讯云EMR集群上执行WordCount,需先创建COS存储桶并上传数据,通过spark-submit提交任务,结果可输出至COS或HDFS。 开发准备:需开通EMR集群并选择Spark组件,授权访问COS。 数据准备:通过COS控制台或Hadoop命令上传待处理文件到存储桶。 运行样例:登录EMR Master节点,编写Python脚本并用spark-submit提交任务,输出。

    腾讯云产品 6天前