一、背景信息
分库分表任务:若源表由于业务需要被拆分成分库分表,多个分表的数据需要实时同步到目标端的一张表中,该场景下可使用分库分表任务。分库分表任务与整库迁移任务机制类似,只是会将源端的分表抽象成逻辑表后再同步到目标端。
单表同步任务:一个同步任务只支持一张源表和一张目标表。目标表需要事先创建好,任务运行期间不支持自动建表,源表发生 Schema 变更也不支持同步到目标端。占用的数据源链接和整体资源较多,整库迁移任务有对应链路的情况下不建议用单表同步任务类型。
二、支持的数据源
注意:说明:
注意:实时同步任务的来源端和目标端是星型链路,一个来源数据源类型支持写入到所有的目标数据源类型。
三、1. 实时整库迁移任务支持的数据源
| 数据源 | | 实时同步 | |
| | | 整库读取 | 整库写入 |
| 关系型数据库 | MySQL/腾讯云 MySQL | ✓ | – |
| | TDSQL-C MySQL | ✓ | – |
| | TDSQL MySQL | ✓ | – |
| | SQL Server | ✓ | – |
| | PostgreSQL | ✓ | 拟下线 |
| | Oracle | ✓开白使用 | – |
| | OceanBase | ✓开白使用 | – |
| 大数据 | DLC | – | ✓ |
| | Doris/TCHouse-D | – | ✓ |
| | Iceberg | – | ✓ |
| | StarRocks | – | ✓ |
| | TCHouse-P | – | ✓ |
| | TCHouse-X | – | ✓开白使用 |
| | TCHouse-C | – | ✓ |
| | Hive | – | ✓ |
| NoSQL | Elasticsearch/腾讯云 Elasticsearch | – | ✓ |
| | Mongodb/腾讯云 Mongodb | ✓ | – |
| 消息队列 | Kafka | ✓ | ✓ |
四、2. 实时分库分表任务支持的数据源
| 数据源 | | 实时同步 | |
| | | 分库分表读取 | 分库分表写入 |
| 关系型数据库 | MySQL/腾讯云 MySQL | ✓ | – |
| | TDSQL-C MySQL | ✓ | – |
| | SQL Server | ✓ | – |
| | PostgreSQL | ✓ | – |
| | Oracle | ✓ | – |
| 大数据 | DLC | – | ✓ |
| | Doris/TCHouse-D | – | ✓ |
| | Iceberg | – | ✓ |
| | TCHouse-X | – | ✓开白使用 |
| 消息队列 | Kafka | – | ✓ |
五、3. 实时单表同步任务支持的数据源
| 数据源 | | 实时同步 | |
| | | 单表读取 | 单表写入 |
| 关系型数据库 | MySQL/腾讯云 MySQL | ✓ | ✓ |
| | TDSQL-C MySQL | ✓ | ✓ |
| | TDSQL MySQL | ✓ | ✓ |
| | PostgreSQL | ✓ | ✓ |
| | SQL Server | ✓ | ✓ |
| | Oracle | ✓开白使用 | ✓ |
| | OceanBase | ✓开白使用 | ✓开白使用 |
| | 达梦 DM | ✓开白使用 | ✓开白使用 |
| 大数据 | Hive | – | ✓ |
| | DLC | – | ✓ |
| | Doris/TCHouse-D | – | ✓ |
| | ClickHouse/TCHouse-C | – | ✓开白使用 |
| | TCHouse-P | – | ✓ |
| | Iceberg | – | ✓ |
| | HBase | – | -(已下线) |
| | HDFS | – | -(已下线) |
| | TBase | – | -(已下线) |
| | Greenplum | – | -(已下线) |
| NoSQL | Elasticsearch | – | ✓ |
| | Mongodb/腾讯云 Mongodb | ✓ | – |
| 消息队列 | Kafka/CKafka | ✓ | ✓ |
| | TiDB-Kafka | -(已下线) | – |
| | DTS-Kafka | -(已下线) | – |