数据开发治理平台 WeData
-
数据开发治理平台 WeData Iceberg 数据源
数据集成提供了 Iceberg 的实时写入能力,这里说明使用 Iceberg 进行实时数据同步的当前能力支持情况。
-
数据开发治理平台 WeData Hive 数据源(数据源列表)
1. 目前仅支持读取 TextFile、ORCFile 和 ParquetFile 三种格式的文件,建议为 ORC 或者 Parquet;目前仅支持写入 TextFile、ORCFile 和 ParquetFile 格式的文件,暂不支持 RCFile 格式的文件。
-
数据开发治理平台 WeData Redis 数据源
使用 Redis Writer 向 Redis 写入数据时,如果 Value 类型是 List,重跑同步任务的同步结果不是幂等的。因此,如果 Value 类型是 List ,重跑同步任务时,需要手动清空 Redis 上相应的数据。
-
数据开发治理平台 WeData 监控列表
这篇说明腾讯云数据质量模块中质量监控任务的配置与管理,支持在多种大数据引擎上按表级或字段级设置检测规则,并可通过多种方式触达用户。 新增任务:支持Hive、Spark等多引擎,可配置规则强弱与执行策略。 管理任务:支持按表查看监控列表,并可编辑、启停规则。
-
数据开发治理平台 WeData 集成资源
专业版、企业版 WeData 提供不同规格标准化集成资源组用于离线及实时同步,详情请参考集成资源计费说明。标准资源组变配、销毁等请前往 控制台 操作。
-
数据开发治理平台 WeData Hive 数据源
数据集成提供 Hive 的实时写入能力,这里说明 Hive 实时数据同步当前能力支持情况。
-
数据开发治理平台 WeData DLC 数据源(数据源列表)
这篇说说腾讯云DLC离线单表读写节点配置,涵盖数据来源、库表选择、切割键、筛选条件及写入模式(overwrite/append/upsert),并列出数据类型转换规则与常见问题(null转空字符串报错可用IFNULL解决)。 读取配置:支持选择或手动输入库表,切割键建议用主键或索引列。 写入配置:支持三种写入模式,可配置前置/后置SQL及DLC引擎。 类型转换:读取时INTEGER转LONG,写入时LONG转INTE。
-
数据开发治理平台 WeData Elasticsearch/腾讯云 Elasticsearch 数据源
腾讯云 Elasticsearch 数据源与 Elasticsearch 数据源配置方式相同,此处以 Elasticsearch 数据源为例进行讲解。
-
数据开发治理平台 WeData 批量新增规则
这篇详细介绍了腾讯云WeData平台中数据质量监控功能的使用方法,包括多表新增规则和批量上传规则两种批量配置质量规则的流程。文档涵盖了从创建规则、设置监控范围、配置监控规则、关联监控、设置订阅、检测范围设置到试运行的全过程,并提供了具体操作步骤和注意事项。多表新增规则:支持为多个表设置同一监控规则,适用于跨库表批量配置场景。操作步骤包括进入创建页面、设置监控范围(支持手动添加或批量上传Excel)、配置监控规则(选择。
-
数据开发治理平台 WeData 数据质量自定义模板使用
腾讯云数据开发治理平台 WeData 数据质量支持自定义模板创建和批量管理,帮助你根据业务场景定制化表质量检测逻辑。这里说明如何通过自定义模板页面新建规则模板、并根据自定义规则模板在数据监控页面对表创建检测规则。