腾讯云产品
-
数据湖计算 DLC Spark 作业类常见问题
问题描述:PySpark 任务执行时,executor 日志出现“k8s执行OOMKiiled”,使用内存超过 k8s 限制的内存。原因分析:K8s 申请的内存是根据 Spark executor 内存乘以 memoryOerheadFactor计算出来的,如果 Python 处理的数据有倾斜,或单条数据过大,可能导致使用内存超过 K8s 分配的内存。
-
腾讯云数据仓库 TCHouse-D 查询缓存(cache)配置
大部分数据分析场景是写少读多,数据写入一次,多次频繁读取,例如一张报表涉及的维度和指标,数据在凌晨一次性计算好,但每天有数百甚至数千次的页面访问,因此非常适合把结果集缓存起来。在数据分析或BI应用中,存在下面的业务场景。
-
数据湖计算 DLC DLC 原生表常见 FAQ
1. DLC 原生表(Iceberg)采用的 MOR(Merge On Read)表,上游 Upsert 写入时,针对 update 的数据,会先写 delete file 标记某记录已经被删除,然后再写 data file 新增改记录。
-
数据湖计算 DLC 用户与权限管理
在使用 数据湖计算 DLC 的过程中,如果需要给企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,可以使用权限管理功能,针对用户、工作组进行精细的权限管理。
-
腾讯云数据仓库 TCHouse-D 集群监控(监控和告警配置)
腾讯云数据仓库 TCHouse-D 存算分离版提供了丰富的监控指标,方便你掌握集群的运行状态,并可针对指标配置告警以实时关注运行信息,实现快速响应。
-
数据湖计算 DLC 使用 Apache DolphinScheduler 调度 DLC 引擎提交任务
DLC 对 Apache DolphinScheduler 调度工具的支持,并提供示例来演示如何使用 Apache DolphinScheduler 运行 DLC 引擎提交任务。
-
数据湖计算 DLC 数据引擎监控
数据湖计算 DLC 提供了基于腾讯云可观测平台服务的数据引擎的监控服务,保障你能实时了解数据引擎的运行情况,配置数据告警。告警配置方式。
-
腾讯云数据仓库 TCHouse-D Prometheus 指标采集与监控配置指南
TCHouse-D 提供 Prometheus 监控采集接口,同一 VPC 内的 Prometheus 服务可通过配置采集任务获取集群节点监控数据。采集完成后,可在 Grafana 中通过 Prometheus 数据源配置可视化监控图表。 这里说明腾讯云环境 Prometheus 采集任务配置方式。
-
数据湖计算 DLC 使用角色 SSO 访问 DLC
数据湖计算 DLC 支持配置角色 SSO 进行访问,这篇以 Okta 为例,介绍如何通过角色 SSO 访问数据湖计算 DLC 并完成相关权限配置。
-
腾讯云数据仓库 TCHouse-D 表设计与数据导入
这篇说说腾讯云数据仓库选型与优化建议,涵盖数据模型选择、分区、副本、分桶、字段格式及数据导入等核心操作,强调聚合与明细查询的模型适配及批量导入原则。 数据模型:聚合数据用Aggregate/Duplicate,唯一Key去重用Unique模型。 导入规范:批量导入减少并发,用CSV格式并指定分区,避免NULL值倾斜。 清理操作:清空分区优先用truncate而非delete,避免影响性能。