腾讯云产品
-
弹性 MapReduce Spark 查询管理
Spark 查询管理提供查询概览、查询列表,支持申请开通 Spark SQL 洞察。帮助多维度感知查询分布情况,查看查询列表多维数据信息。另支持 Spark SQL 的查询洞察功能,多种洞察项可有效帮助分析查询的潜在问题。
-
弹性 MapReduce FE 元数据备份恢复
StarRocks FE 元数据包含集群拓扑、表结构、分区信息等核心数据,是集群正常运行的基础。腾讯云 EMR StarRocks 提供 FE 元数据自动备份能力,默认每 12 小时将元数据从/data/emr/starrocks/fe/meta目录备份至/data/emr/backup目录,支持通过配置参数自定义备份周期,同时提供多种元数据损坏场景的恢复方案,保障集群数据安全性和可用性。
-
大数据智能体工作台 DataBuddy Hive 数据源
Apache Hive 是构建在 Hadoop 之上的数据仓库工具,通过 HiveQL 对 HDFS 上的海量数据进行查询与分析。DataBuddy 数据接入支持将 Hive 作为来源端,覆盖离线同步场景。这里说明其连接配置、能力支持范围、前提条件与常。
-
弹性 MapReduce API 支持 CAM 鉴权粒度
EMR on TKE支持资源级与接口级授权,可指定子账号拥有特定资源或接口的权限,并列出相关API列表及资源六段式示例。若接口新增导致权限报错,需在策略中补充对应接口权限。 资源级授权:支持ModifyServiceCloudResource等6个API,资源类型为emr-instance。 接口级授权:支持DescribeNativeAutoScaleRecords等2个API,无需指定资源。
-
弹性 MapReduce 快速开始(COOKBOOK)
Cookbook 在 TCRL SDK 之上提供了更高层的抽象——SDK 提供原始操作(forward_backward、optim_step、sample),Cookbook 提供可配置的训练管线,自动处理流水线、checkpoint、评测和日志。
-
大数据智能体工作台 DataBuddy ORC 格式
ORC 为优化行列存储格式,文件内自带 schema,读取时自动解析字段名与字段类型,无需用户声明。同一任务读取的所有 ORC 文件须适配同一套 schema。这里说明 ORC 格式在 DataBuddy 数据接入中的支持能力、参数设置与类型转换规则。
-
弹性 MapReduce 节点进程
节点状态 > 进程信息页面提供了控制台直观方式来查看当前集群各节点的进程部署情况。不仅展示了各个进程的状态,还提供了进程级别的实时日志和 Thread Dump 工具。
-
弹性 MapReduce Kudu 数据迁移
如果需要将自建 Kudu 集群 的原始数据迁移至腾讯云 EMR,支持以下两种方式,第一种是通过 Kudu 的 table copy 命令迁移,第二种是通过 Kudu 的备份恢复工具进行数据迁移。其中 table copy 方式适用于数据量小一些的表(建议不超过500GB)超过500GB 甚至 TB 级别的表建议使用 Kudu 备份恢复工具进行迁移。两种方法可以搭配使用,对于大表初始全量迁移使用 Kudu 备份恢复工具。
-
大数据智能体工作台 DataBuddy CTSDB / InfluxDB 数据源
CTSDB(腾讯云时序数据库)与 InfluxDB 均为面向时序场景的数据库,支持海量时间序列数据的高效写入与查询,广泛用于监控、物联网等场景。DataBuddy 数据接入支持将 CTSDB / InfluxDB 作为来源端,覆盖离线同步场景。这里说明其连接配置、能力支持范围、前提条件与常。
-
弹性 MapReduce 自定义镜像
EMR on TKE 提供的 Spark 和 Hive 服务的自定义镜像功能,允许基于基础镜像制作和使用自定义的 Spark 和 Hive 镜像。提供给你更大的灵活性,使用户能够根据自己的需求和偏好快速配置和优化 Spark 和 Hive 镜像环境。