腾讯云产品
-
弹性 MapReduce 分析 COS 上的数据
本节将基于腾讯云对象存储 COS 展示 Hive 连接器更多使用方法,数据来源于直接插入数据、COS 数据和 lzo 压缩数据。
-
弹性 MapReduce 操作日志
操作日志是记录用户在弹性 MapReduce 控制台对集群执行的操作,操作日志信息常用于集群运行异常时的问题定位,帮助用户快速定位问题原因,以便及时解决问题。
-
弹性 MapReduce 健康巡检
集群健康巡检功能默认每小时自动生成巡检报告,全面监控集群健康状况。基于健康分模型,从基础诊断、计算洞察、存储洞察、资源洞察和事件诊断等5个层级进行百分制权重评估,为集群的稳定性和高效性提供量化数据。巡检报告会明确标注扣分维度及扣分根因信息,帮助用户快速定位问题。同时支持即时巡检功能,满足用户临时场景的巡检需求。
-
弹性 MapReduce Spark-RAPIDS GPU 加速能力介绍
随着大数据处理规模的持续增长,传统 CPU 计算架构在性能提升上逐渐进入平台期。NVIDIA 推出的 RAPIDS Accelerator for Apache Spark 将 GPU 的并行计算能力引入 Spark 数据处理流程,通过将 SQL 算子下推到 GPU 执行,实现数倍于 CPU 的性能提升,同时将计算成本降低 30%~80%。
-
弹性 MapReduce 通过 Spark Python 分析 COS 上的数据
这篇说说使用Spark Python在腾讯云EMR集群上执行WordCount,需先创建COS存储桶并上传数据,通过spark-submit提交任务,结果可输出至COS或HDFS。 开发准备:需开通EMR集群并选择Spark组件,授权访问COS。 数据准备:通过COS控制台或Hadoop命令上传待处理文件到存储桶。 运行样例:登录EMR Master节点,编写Python脚本并用spark-submit提交任务,输出。
-
弹性 MapReduce RLHF(基于人类反馈的强化学习)
RLHF(Reinforcement Learning from Human Feedback,基于人类反馈的强化学习)的核心思路是:让模型不只学”像人一样说话”,而是学”说人喜欢的话”。它把难以写进损失函数的”偏好”,例如“有用、无害、礼貌、简洁”学成一个可计算的奖励信号,再用强化学习去优化。
-
大数据智能体工作台 DataBuddy 全局数据搜索
全局数据搜索 是数据发现模块的核心入口,支持以自然语言 或关键字 在工作空间范围内一键定位所需资产。AI 语义检索与关键字检索并行执行,结果合并去重后按综合相关度排序,帮助你在不知道精确名称的情况下也能找到合适的表、Notebook、工作流、仪表盘、指标、智能体等。
-
大数据智能体工作台 DataBuddy 创建语义模型
如何在 DataBuddy 中通过 YAML 编辑器创建一个语义模型。语义模型是业务分析的最小数据单元,对应一张或多张物理表的语义封装,是后续定义指标的基础。完成创建后,可以以发布模型,并在其上 定义指标与维度、授权给业务方消费。
-
大数据智能体工作台 DataBuddy 定义指标与维度
如何在已发布的语义模型上定义指标(Metric)与维度(Dimension)。指标承载业务可消费的「数字口径」(如 GMV、客单价、DAU),维度承载分析切片视角(如地域、品类、日期)。指标与维度是后续 Buddy 取数、报表展示对外暴露的最小单元。
-
弹性 MapReduce 重建
重建是指销毁当前所有角色维度所部署的 POD 资源,并重新购买与原有配置规格一致的 POD 资源,主要适用场景是当配置文件发生“增加或减少”时,可利用重建功能使其配置生效。