腾讯云产品
-
弹性 MapReduce Hive 开发指南
Apache Oozie 是一个开源的工作流引擎,被设计将 hadoop 生态组件的任务编排成 Workflow,然后对其进行调度、执行、管理。这篇通过示例简单介绍如何在 EMR 上使用 Oozie,详细的使用文档可进一步参考社区文档。
-
弹性 MapReduce 集群类型
EMR 支持多种集群类型及相应的应用场景,并定义了5种节点类型,不同集群类型及应用场景支持的节点类型及部署节点数、部署服务不同;可根据业务选择不同的集群类型及应用场景创建集群。
-
弹性 MapReduce 云系统盘扩容
随着业务增长,集群中节点原有系统盘容量无法满足需求时,需要进行扩容操作;这里说明通过 EMR 控制台对云系统盘进行扩容的相关操作。
-
弹性 MapReduce 插件管理
这里说明通过 EMR 控制台对 TCBase 进行模式(Schema)管理和插件操作。
-
弹性 MapReduce Spark 开发指南
Xpark 是腾讯自研基于 Python 生态的分布式多模态数据计算引擎,基于 Ray Data 实现,并内置丰富的多模数据处理算子,支持分析处理文本、图片、音频、视频等多模态数据,使开发者可以高效的实现多模态数据预处理和分析。
-
弹性 MapReduce Supervised Learning(监督学习)
Cookbook 提供了一个流水线式的 Supervised Learning(SFT,监督学习)训练循环,数据集、评测和检查点保存都可配置。
-
弹性 MapReduce 续费说明
EMR Serverless HBase 包年包月计费实例购买后可以通过手动续费或自动续费为实例续费。若实例已开启自动续费,在你的账户余额充足的情况下,系统将在实例到期前自动执行续费操作,你不必担心因未及时续费而导致资源和数据被删除的问题。若实例未开启自动续费功能,可通过控制台手动续费,支持最低1月级别的续费操作。
-
弹性 MapReduce Presto 服务 UI
Presto 是一个开源的分布式 SQL 查询引擎,适用于交互式分析查询,数据量支持 GB 到 PB 字节。Presto 的设计和编写是为了解决大规模的甚至超大规模商业数据仓库的交互式分析和处理速度的问题。Presto 支持在线数据查询,包括 Hive、Cassandra、关系数据库以及专有数据存储。一条 Presto 查询可以将这些多个数据源的数据进行合并,可以跨越整个组织进行分析。EMR 代理了 Presto 原。
-
弹性 MapReduce 集群扩容
当 EMR 集群计算资源、存储资源不足时,可以通过控制台对 Core 节点和 Task 节点进行扩容;当集群主节点(master 节点)负载较高或不够使用时,可以通过控制台对 Router 节点(路由节点)扩容。Router 节点可以分担 Master 节点的负载,或作为集群的任务提交机,并支持随时扩容和缩容。
-
弹性 MapReduce SQL AI 调优
SQL AI 调优通过智能算法和机器学习技术,优化查询性能提升数据处理效率。面通过对 SQL 的全域数据如查询计划、数据分布和资源使用的全面分析提供调优策略。同时结合 SQL 查询的洞察信息提供优化建议,如索引创建、数据倾斜处理等。此外,AI 调优支持实时监控和反馈,帮助用户快速定位问题并给出处理意。