数据开发治理平台 WeData
-
数据开发治理平台 WeData MySQL 实时同步至 Iceberg 指引
这篇档将手把手的指引你完成 MySQL 实时同步至 Iceberg 的流程操作,包括整库迁移和单表同步。大体的流程如下五、实时整库:MySQL 同步至 Iceberg 配置步骤。
-
数据开发治理平台 WeData 达梦 DM 数据源
数据集成提供了达梦 DM 的单表读取和写入能力,这里说明使用达梦 DM 进行实时数据同步的前置环境配置以及当前能力支持情况。
-
数据开发治理平台 WeData Iceberg/EMR Iceberg 数据源
1. 需要连接 Hive Metastore 服务,请在数据源正确配置 Metastore Thrift 协议的 IP 和端口。如果是自定义 Iceberg 数据源,还需要上传 hive-site.xml、core-site.xml 和 hdfs-site.xml 。
-
数据开发治理平台 WeData Impala 数据源
如果你配置离线任务时,使用脚本模式的方式进行配置,需要在任务脚本中,按照脚本的统一格式要求编写脚本中的 reader 参数和 writer 参数。
-
数据开发治理平台 WeData 数据质量入门
1. 购买开通 WeData 产品2. 在 WeData 控制台,创建项目并绑定 EMR、DLC、TCHouse-P、TCHouse-D、Doris等数据源(这篇以 EMR 为例)。
-
数据开发治理平台 WeData MySQL 离线同步至 Hive 指引
这篇档将手把手的指引你完成 MySQL 离线同步至 Hive 的流程操作,大体的流程如下五、离线单表:MySQL 同步至 Hive 配置步骤。
-
数据开发治理平台 WeData TCHouse-P 数据源
数据集成提供了 TCHouse-P 的写入能力,这里说明使用 TCHouse-P 进行实时数据同步的当前能力支持情况。
-
数据开发治理平台 WeData HBase 数据源
这篇说说了腾讯云数据集成工具中HBase Reader与Writer的配置方法,支持HBase 2.2.x和2.3.x版本,涵盖读取模式、写入列规则、rowkey生成及数据类型转换等核心功能。 读取配置:支持横表和竖表两种读取模式,可指定RowKey范围、版本数及缓存大小。 写入配置:支持固定列和动态列写入,可自定义rowkey生成规则及时间戳版本。 数据类型:读取时将HBase类型映射为Long、Double等内部。
-
数据开发治理平台 WeData TDSQL-PostgreSQL 数据源
TDSQL-PostgreSQL 读取支持的数据类型及转换对应关系如下(在处理 TDSQL-PostgreSQL 时,会先将 TDSQL-PostgreSQL 数据源的数据类型和数据处理引擎的数据类型做映射)。
-
数据开发治理平台 WeData TDSQL MySQL 数据源(数据源列表)
如果你配置离线任务时,使用脚本模式的方式进行配置,需要在任务脚本中,按照脚本的统一格式要求编写脚本中的 reader 参数和 writer 参数。