腾讯云产品

  • 弹性 MapReduce 查看调度历史

    这篇说说腾讯云EMR调度历史功能,可查看资源队列配置操作记录与任务状态,并说明2024年9月6日后调度记录查看方式的变更,同时提供查看调度历史的操作步骤。 功能变更:自2024年9月6日后,调度历史仅支持查看历史记录,最新记录需前往“任务中心”查看,YARN操作变更记录则在“操作日志”查看。 操作步骤:登录EMR控制台进入集群详情页,通过Yarn组件卡页进入资源调度页面,单击“调度历史”即可查看任务信息,并支持按时间。

    腾讯云产品 6天前
  • 弹性 MapReduce Hudi 简介

    Apache Hudi 在 HDFS 的数据集上提供了插入更新和增量拉取的流原语。一般来说,我们会将大量数据存储到 HDFS,新数据增量写入,而旧数据鲜有改动,特别是在经过数据清洗,放入数据仓库的场景。而且在数据仓库如 Hive 中,对于 update 的支持非常有限,计算昂贵。另一方面,若是有仅对某段时间内新增数据进行分析的场景,则 Hive、Presto、Hbase 等也未提供原生方式,而是需要根据时间戳进行过滤。

    腾讯云产品 6天前
  • 弹性 MapReduce Iceberg 基础使用

    Apache Iceberg 是一种新型的用于大规模数据分析的开源表格式。它被设计用于存储移动缓慢的大型表格数据。它旨在改善 Hive、Trino(PrestoSQL)和 Spark 中内置的事实上的标准表布局。Iceberg 可以屏蔽底层数据存储格式上的差异,向上提供统一的操作 API,使得不同的引擎可以通过其提供的 API 接入。

    腾讯云产品 6天前
  • 弹性 MapReduce 表管理

    这篇说说通过EMR控制台管理HBase命名空间和表,包括创建、修改、启用/禁用、查询和删除表,并强调default命名空间不可删除、删除表前需先禁用等注意事项。 命名空间管理:支持新增/删除自定义命名空间,删除前需清空内部所有表。 表管理:控制台支持创建、修改(仅列族/TTL)、启用/禁用、查询及删除表,复杂操作需使用HBase API。 删除表:仅支持禁用状态的表,操作前需先禁用。

    腾讯云产品 6天前
  • 弹性 MapReduce 开启 Hive 优化插件

    Hive 优化主要适用于周期性执行的 Hive On MR 任务,根据其历史运行特征,动态优化资源使用量。

    腾讯云产品 6天前
  • 弹性 MapReduce 重启服务

    组件配置项修改后,需要重启对应的服务使配置生效。为确保服务重启过程中,尽量减少或不影响业务运行,可通过滚动重启服务。对于有主备状态的实例,会先重启备实例,再重启主实例。滚动重启时间比普通重启时间久。

    腾讯云产品 6天前
  • 弹性 MapReduce Ray 基础开发指南

    Ray 是一个高性能的通用分布式计算框架,旨在帮助用户高效构建和运行大规模的并行程序。它通过简洁的编程接口,将底层复杂的资源调度与任务分发进行了高度封装,使开发者可以像编写普通 Python 脚本一样构建分布式应用。Ray 具备良好的可扩展性和灵活性,支持任务并行、Actor 并发、资源自动调度等特性,适用于 AI 模型训练、推理服务部署、超参数调优、强化学习、多 Agent 系统等多种计算密集型场景。详细的使用文档。

    腾讯云产品 6天前
  • 弹性 MapReduce 使用说明

    EMR 资源是在创建 EMR on TKE 实例流程中,选择 EMR 资源时使用的资源形态。用户可以选择新创建一个 EMR 资源池,也可以选择以前创建好的 EMR 资源池。因此暂不支持直接创建 EMR 资源,只能在 EMR on TKE 的创建流程中附带创建,这是因为 EMR 资源无法单独提供服务,都是伴随 EMR on TKE 实例使用的。

    腾讯云产品 6天前
  • 弹性 MapReduce Phoenix 客户端使用

    Phoenix 查询引擎支持使用 SQL 进行 HBase 数据的查询,会将 SQL 查询转换为一个或多个 HBase API,协同处理器与自定义过滤器的实现,并编排执行。使用 Phoenix 进行简单查询,其性能量级是毫秒,对于百万级别的行数来说,其性能量级是秒。EMR 中选择 HBase 组件的集群,默认集成 phoenix 客户端。

    腾讯云产品 6天前
  • 弹性 MapReduce RL Training Outputs(强化学习训练输出)

    每次 RL 训练运行都会把文件写入 log_path。所有文件 I/O 都经过 Storage 协议,因此 log_path 可以是本地路径,也可以是云端 URI(例如 gs://bucket/run)。

    腾讯云产品 6天前