数据开发治理平台 WeData 数据源一览

实时同步当前支持整库同步、分库分表、实时单表三种任务类型。整库同步任务:推荐的任务类型。一个同步任务中支持同步1张表或多张表的数据到目标端。任务提交运行后支持根据源端表结构自动创建目标表,源表的数量和目标表的数量是一对一的关系。任务运行期间源表若发生 Schema 变更可以自动同步到目标表。由于整库迁移任务一个任务可支持同步多表数据,所以占用源端链接较少,所需的同步资源整体较少,建议优先使用整库同步任务。

相关产品
数据开发治理平台 WeData 产品页,含版本规格、价格与购买入口。

一、背景信息

分库分表任务:若源表由于业务需要被拆分成分库分表,多个分表的数据需要实时同步到目标端的一张表中,该场景下可使用分库分表任务。分库分表任务与整库迁移任务机制类似,只是会将源端的分表抽象成逻辑表后再同步到目标端。

单表同步任务:一个同步任务只支持一张源表和一张目标表。目标表需要事先创建好,任务运行期间不支持自动建表,源表发生 Schema 变更也不支持同步到目标端。占用的数据源链接和整体资源较多,整库迁移任务有对应链路的情况下不建议用单表同步任务类型。

二、支持的数据源

注意:说明:

注意:实时同步任务的来源端和目标端是星型链路,一个来源数据源类型支持写入到所有的目标数据源类型。

三、1. 实时整库迁移任务支持的数据源

数据源  实时同步 
  整库读取 整库写入
关系型数据库 MySQL/腾讯云 MySQL ✓ –
 TDSQL-C MySQL ✓ –
 TDSQL MySQL ✓ –
 SQL Server ✓ –
 PostgreSQL ✓ 拟下线
 Oracle ✓开白使用 –
 OceanBase ✓开白使用 –
大数据 DLC – ✓
 Doris/TCHouse-D – ✓
 Iceberg – ✓
 StarRocks – ✓
 TCHouse-P – ✓
 TCHouse-X – ✓开白使用
 TCHouse-C – ✓
 Hive – ✓
NoSQL Elasticsearch/腾讯云 Elasticsearch – ✓
 Mongodb/腾讯云 Mongodb ✓ –
消息队列 Kafka ✓ ✓

四、2. 实时分库分表任务支持的数据源

数据源  实时同步 
  分库分表读取 分库分表写入
关系型数据库 MySQL/腾讯云 MySQL ✓ –
 TDSQL-C MySQL ✓ –
 SQL Server ✓ –
 PostgreSQL ✓ –
 Oracle ✓ –
大数据 DLC – ✓
 Doris/TCHouse-D – ✓
 Iceberg – ✓
 TCHouse-X – ✓开白使用
消息队列 Kafka – ✓

五、3. 实时单表同步任务支持的数据源

数据源  实时同步 
  单表读取 单表写入
关系型数据库 MySQL/腾讯云 MySQL ✓ ✓
 TDSQL-C MySQL ✓ ✓
 TDSQL MySQL ✓ ✓
 PostgreSQL ✓ ✓
 SQL Server ✓ ✓
 Oracle ✓开白使用 ✓
 OceanBase ✓开白使用 ✓开白使用
 达梦 DM ✓开白使用 ✓开白使用
大数据 Hive – ✓
 DLC – ✓
 Doris/TCHouse-D – ✓
 ClickHouse/TCHouse-C – ✓开白使用
 TCHouse-P – ✓
 Iceberg – ✓
 HBase – -(已下线)
 HDFS – -(已下线)
 TBase – -(已下线)
 Greenplum – -(已下线)
NoSQL Elasticsearch – ✓
 Mongodb/腾讯云 Mongodb ✓ –
消息队列 Kafka/CKafka ✓ ✓
 TiDB-Kafka -(已下线) –
 DTS-Kafka -(已下线) –
赞 (0)
上一篇 5天前
下一篇 5天前