数据开发治理平台 WeData
-
数据开发治理平台 WeData 基于业务指标的服务构建
基于数据服务 API 构建业务指标可以帮助企业更好地了解其业务运营情况,从而做出更加明智的决策。以下是基本的步骤。
-
数据开发治理平台 WeData 转换节点配置
字符串替换节点主要使用 Java 正则表达式对字符串字段的内容进行匹配与替换,本节点将在字段内容全部或部分匹配字符串时执行替换操作。
转换规则参数说明如下。 -
数据开发治理平台 WeData MySQL 分库分表同步至 Hive
目前离线及实时数据同步任务支持 MySQL 分库分表同步至目标数据源中。本实践介绍 MySQL 分库分表离线同步至 Hive 数据源。
-
数据开发治理平台 WeData OceanBase 数据源
数据集成提供了 OceanBase 的读取能力,这里说明使用 OceanBase 进行实时数据同步的前置环境配置以及当前能力支持情况。
-
数据开发治理平台 WeData 数据集成离线同步配置与运维
离线周期同步任务支持周期性更新表分区数据,本实践介绍 SQL Server 表数据定时更新至 Hive 分区。
-
数据开发治理平台 WeData 同步任务数据对账能力
数据对账是指在不同数据源之间进行比对,确保数据的一致性和准确性。WeData 数据集成提供的数据对账能力,用于监控来源表与目标表的数据差异,及时发现数据一致性问题。目前离线同步和实时同步任务均支持数据对账,但支持的链路和对账功能上有些差异。
-
数据开发治理平台 WeData API
适用于企业业务系统通过 API 方式获取指标计算结果的场景。例如在营销场景下,需对总下单金额大于1W 的客户发送新促销活动介绍邮件,可通过该 API 接口查询满足条件的客户,入参中可指定:指标为“下单金额”,维度为“客户 ID”,过滤条件为“下单金额>1W”,即可在接口中获得下单金额大于1W 的客户 ID list 以及对应的总下单金额用于下一步发送促销活动邮件。
-
数据开发治理平台 WeData TDSQL Boundless 数据源
TDSQL Boundless 读取支持的字段类型及类型转换对应关系如下(在处理 TDSQL Boundless 时,会将 TDSQL Boundless 数据源的数据类型和数据处理引擎的数据类型做映射)。
-
数据开发治理平台 WeData 我申请的表
登录腾讯云后进入 WeData 控制台,选择项目进入数据安全 > 我申请的表页面。
-
数据开发治理平台 WeData 单表同步支持的数据源
一个单表同步任务只支持一张源表和一张目标表。目标表需要事先创建好,任务运行期间不支持自动建表,源表发生 Schema 变更也不支持同步到目标端。占用的数据源链接和整体资源较多,整库迁移任务有对应链路的情况下不建议用单表同步任务类型。