云服务器特惠 99/年起
  1. 腾讯云优惠网首页
  2. 腾讯云产品

数据开发治理平台 WeData 分库分表支持的数据源

• 腾讯云产品

若源表由于业务需要被拆分成分库分表，多个分表的数据需要实时同步到目标端的一张表中，该场景下可使用分库分表任务。分库分表任务与整库迁移任务机制类似，只是会将源端的分表抽象成逻辑表后再同步到目标端。分库分表支持的链路如下。

相关产品
数据开发治理平台 WeData 产品页，含版本规格、价格与购买入口。
数据源  实时分库分表同步 
  来源端 目标端
关系型数据库 MySQL/腾讯云 MySQL ✓ –
 TDSQL-C MySQL ✓ –
 PostgreSQL ✓ –
 SQL Server ✓ –
 Oracle ✓ –
大数据 DLC – ✓
 Doris/TCHouse-D – ✓
 Iceberg – ✓
 TCHouse-X – ✓
 TClake – ✓
 Setats(系统源) – ✓
消息队列 Kafka/CKafka – ✓

相关内容：

  1. 数据开发治理平台 WeData 数据源一览 实时同步当前支持整库同步、分库分表、实时单表三种任务类型。整库同步任务：推荐的任务类型。一个同步任务中支持同步1张表或多张表的数据到目标端。任务提交运行后支持根据源端表结构自动创建目标表，源表的数量和目标表的数量是一对一的关系。任务运行期间源表若发生 Schema 变更可以自动同步到目标表。由于整库迁移任务一个任务可支持同步多表数据，所以占用源端链接较少，所需的同步资源整体较少，建议优先使用整库同步任务。...
  2. 数据开发治理平台 WeData 整库同步支持的数据源 一个整库同步任务中支持同步1张表或多张表的数据到目标端。任务提交运行后支持根据源端表结构自动创建目标表，源表的数量和目标表的数量是一对一的关系。任务运行期间源表若发生 Schema 变更可以自动同步到目标表。由于整库迁移任务一个任务可支持同步多表数据，所以占用源端链接较少，所需的同步资源整体较少，建议优先使用整库同步任务。...
  3. 数据开发治理平台 WeData 单表同步支持的数据源 一个单表同步任务只支持一张源表和一张目标表。目标表需要事先创建好，任务运行期间不支持自动建表，源表发生 Schema 变更也不支持同步到目标端。占用的数据源链接和整体资源较多，整库迁移任务有对应链路的情况下不建议用单表同步任务类型。...
  4. 数据开发治理平台 WeData 产品基础相关 腾讯云WeData是一站式数据协作开发治理平台，提供即席分析、工作流编排、数据资产管理及治理等全链路能力，支持多种云上及自建数据源，并支持私有化部署。 应用场景：涵盖企业级数据仓库构建、数据可视化协同开发与数据治理。 产品能力：提供全链路数据加工能力，包括即席分析和协同编排。 数据源支持：支持MySQL、Hive、Kafka等关系型、大数据、NoSQL及消息队列数据源。...
  5. 数据开发治理平台 WeData 同步任务自动建表能力 数据集成在离线及实时场景下提供一键建表、自动建表等功能，以帮助你在同步前或同步中快速构建目标数据表，从而提高数据链路使用效率。这里说明对应功能使用方式、支持的链路、核心异构数据源间类型转换关系等。...
  6. 数据开发治理平台 WeData 支持的数据源与读写能力 数据集成包括离线与实时数据链路，目前支持关系型数据库、大数据存储、半结构化数据、NoSQL、消息队列等各类数据源。可以以根据各个模块对数据源的支持情况，选择对应的功能模块进行同步任务的配置。...
  7. 数据开发治理平台 WeData 数据源一览（离线同步支持的数据源） 数据集成包括离线目前支持关系型数据库、大数据存储、半结构化数据、NoSQL、消息队列等各类数据源。可以以根据各个模块对数据源的支持情况，选择对应的功能模块进行同步任务的配置。...
  8. 数据开发治理平台 WeData 转换节点配置（离线同步任务配置与运维） 离线同步支持输入、输出和转换三种类型的数据节点，这篇将重点说明各读、写及转换节点配置及底层数据类型映射。...
赞 (0)
上一篇 5天前
下一篇 5天前