腾讯云产品
-
弹性 MapReduce Presto 服务 UI
Presto 是一个开源的分布式 SQL 查询引擎,适用于交互式分析查询,数据量支持 GB 到 PB 字节。Presto 的设计和编写是为了解决大规模的甚至超大规模商业数据仓库的交互式分析和处理速度的问题。Presto 支持在线数据查询,包括 Hive、Cassandra、关系数据库以及专有数据存储。一条 Presto 查询可以将这些多个数据源的数据进行合并,可以跨越整个组织进行分析。EMR 代理了 Presto 原。
-
弹性 MapReduce 集群扩容
当 EMR 集群计算资源、存储资源不足时,可以通过控制台对 Core 节点和 Task 节点进行扩容;当集群主节点(master 节点)负载较高或不够使用时,可以通过控制台对 Router 节点(路由节点)扩容。Router 节点可以分担 Master 节点的负载,或作为集群的任务提交机,并支持随时扩容和缩容。
-
弹性 MapReduce SQL AI 调优
SQL AI 调优通过智能算法和机器学习技术,优化查询性能提升数据处理效率。面通过对 SQL 的全域数据如查询计划、数据分布和资源使用的全面分析提供调优策略。同时结合 SQL 查询的洞察信息提供优化建议,如索引创建、数据倾斜处理等。此外,AI 调优支持实时监控和反馈,帮助用户快速定位问题并给出处理意。
-
弹性 MapReduce 更新调度策略
在 EMR on TKE 集群中,可以以根据业务需要对服务角色的 Pod 配置调度策略和 Labels,以实现 Pod 的亲和性/反亲和性、拓扑分布约束以及标签管理。这里说明通过 EMR on TKE 控制台 配置 Pod 调度策略和编辑 Pod Labels 的相关操作。
-
弹性 MapReduce Spark 分析 COS 上的数据
Spark 作为 Apache 高级的开源项目,是一个快速、通用的大规模数据处理引擎,与 Hadoop 的 MapReduce 计算框架类似,但是相对于 MapReduce,Spark 凭借其可伸缩、基于内存计算等特点以及可以直接读写 Hadoop 上任何格式数据的优势,进行批处理时更加高效,并有更低的延迟。实际上,Spark 已经成为轻量级大数据快速处理的统一平台,各种不同的应用,如实时流处理、机器学习、交互式查询。
-
弹性 MapReduce Storage(存储)
训练与评测数据(指标、检查点、rollout、轨迹)都通过统一的存储层保存。默认情况下,数据写入本地磁盘。要使用云存储(GCS、S3、Azure),只需把路径改成 URI 即可。
-
弹性 MapReduce 托管节点概述
托管节点(Managed Node,M Node) 是弹性 MapReduce 助力全云原生化,推出全自动化运维、安全可靠、低成本的全托管节点;仅支持包年包月计费和按量计费,相较于 Host 平均帮助客户约节约30%成本;可用于 EMR on CVM 产品形态中的计算节点(Task)部署。
-
弹性 MapReduce 分析 COS 上的数据
本节将基于腾讯云对象存储 COS 展示 Hive 连接器更多使用方法,数据来源于直接插入数据、COS 数据和 lzo 压缩数据。
-
弹性 MapReduce 操作日志
操作日志是记录用户在弹性 MapReduce 控制台对集群执行的操作,操作日志信息常用于集群运行异常时的问题定位,帮助用户快速定位问题原因,以便及时解决问题。
-
弹性 MapReduce 健康巡检
集群健康巡检功能默认每小时自动生成巡检报告,全面监控集群健康状况。基于健康分模型,从基础诊断、计算洞察、存储洞察、资源洞察和事件诊断等5个层级进行百分制权重评估,为集群的稳定性和高效性提供量化数据。巡检报告会明确标注扣分维度及扣分根因信息,帮助用户快速定位问题。同时支持即时巡检功能,满足用户临时场景的巡检需求。