一、概述
数据源以「数据源连接」的方式注册到 DataBuddy,详见 数据源管理。各数据源的具体连接配置项,参见 数据源列表 中对应章节。
DataBuddy 数据源提供离线同步 、实时同步 、文件上传 、直连分析 四类接入场景。其中离线同步、实时同步按「读(来源端接入)」「写(目标端写入)」两个方向区分。
二、数据源类型总览
下表按数据源类型汇总各数据源的接入能力。离线集成 、实时集成 按「读」「写」两个方向区分:读表示该数据源可作为来源端接入,写表示可作为目标端写入;DataBuddy 以读为主,目标端固定为内置 DataBuddy TCLake。直连分析 表示该数据源支持 Linked Catalog 直连查询(不落湖、直接分析源数据)。
| 数据源类型 | 数据源 | 离线集成读 | 离线集成写 | 实时集成读 | 实时集成写 | 直连分析 |
| 关系型数据库 | MySQL | ✓ | ✓ | ✓ | – | ✓ |
| 关系型数据库 | 腾讯云 MySQL | ✓ | – | ✓ | – | ✓ |
| 关系型数据库 | TDSQL-C MySQL | ✓ | – | ✓ | – | ✓ |
| 关系型数据库 | PostgreSQL | ✓ | – | ✓ | – | ✓ |
| 关系型数据库 | Oracle | ✓ | – | ✓ | – | – |
| 关系型数据库 | SQL Server | ✓ | – | ✓ | – | – |
| 关系型数据库 | TDSQL MySQL | ✓ | – | ✓ | – | ✓ |
| 关系型数据库 | TDSQL PostgreSQL | ✓ | – | – | – | – |
| 关系型数据库 | IBM DB2 | ✓ | – | – | – | – |
| 关系型数据库 | 达梦 DM | ✓ | – | – | – | – |
| 关系型数据库 | Greenplum | ✓ | – | – | – | – |
| 关系型数据库 | GBase | ✓ | – | – | – | – |
| 关系型数据库 | GaussDB | ✓ | – | – | – | ✓ |
| 关系型数据库 | TiDB | ✓ | – | – | – | – |
| 关系型数据库 | OceanBase | ✓ | – | – | – | – |
| 大数据存储 | HDFS | ✓ | – | – | – | – |
| 大数据存储 | HBase | ✓ | ✓ | – | – | – |
| 大数据存储 | Hive | ✓ | – | – | – | – |
| 大数据存储 | Kudu | ✓ | – | – | – | – |
| 大数据存储 | ClickHouse | ✓ | ✓ | – | – | – |
| 大数据存储 | TCHouse-C | ✓ | – | – | – | – |
| 大数据存储 | TCHouse-D | ✓ | – | – | – | ✓ |
| 大数据存储 | TCHouse-X | ✓ | – | – | – | – |
| 大数据存储 | TCHouse-P | ✓ | – | – | – | – |
| 大数据存储 | Doris | ✓ | – | – | – | ✓ |
| 大数据存储 | StarRocks | ✓ | – | – | – | ✓ |
| 大数据存储 | Iceberg | ✓ | – | – | – | – |
| 大数据存储 | Hudi | ✓ | – | – | – | – |
| 大数据存储 | TDengine | ✓ | – | – | – | – |
| 大数据存储 | BigQuery(海外) | ✓ | – | – | – | – |
| 半结构化数据 | FTP | ✓ | – | – | – | – |
| 半结构化数据 | SFTP | ✓ | – | – | – | – |
| 半结构化数据 | COS | ✓ | ✓ | – | – | – |
| 半结构化数据 | REST API | ✓ | – | – | – | – |
| 半结构化数据 | File System | ✓ | – | – | – | – |
| 半结构化数据 | Amazon S3 | ✓ | – | – | – | – |
| NoSQL 数据库 | MongoDB | ✓ | – | ✓ | – | – |
| NoSQL 数据库 | 腾讯云 MongoDB | ✓ | – | – | – | – |
| NoSQL 数据库 | Elasticsearch | ✓ | – | – | – | – |
| NoSQL 数据库 | 腾讯云 Elasticsearch | ✓ | – | – | – | – |
| NoSQL 数据库 | CTSDB / InfluxDB | ✓ | – | – | – | – |
| 消息队列 | Kafka | ✓ | – | ✓ | – | – |
| 消息队列 | CKafka | ✓ | – | ✓ | – | – |
三、相关文档
·支持的接入方案
·支持的数据源与读取能力
·数据源管理
·实时整库多表任务配置
·实时分库分表任务配置