一、概述
数据源以「数据源连接」的方式注册到 DataBuddy,详见 添加数据源连接。同步任务的目标端固定为 Catalog 数据表(基于 Iceberg 原生表)或 Volume。
二、读取能力图例
| 标记 | 含义 |
| ✓ | 支持 |
| – | 当前不支持 |
实时同步链路对来源端版本通常有更严格的要求,详细版本支持范围以「支持版本」列为准。
三、关系型数据库
| 数据源 | 离线读 | 实时整库读 | 分库分表读 | 支持版本 |
| MySQL | ✓ | ✓ | ✓ | 5.7.x / 8.0.x / 8.1.x / 8.2.x / 8.3.x / 8.4.x |
| 腾讯云 MySQL | ✓ | ✓ | ✓ | 5.7 / 8.0 |
| TDSQL-C MySQL | ✓ | ✓ | ✓ | 5.7 / 8.0 |
| TDSQL MySQL | ✓ | ✓ | ✓ | InnoDB 类型 |
| PostgreSQL | ✓ | ✓ | ✓ | 9.6 / 10.x / 11.x / 12.x / 13.x / 14.x / 15.x / 16.x |
| SQL Server | ✓ | ✓ | ✓ | 2012 / 2014 / 2016 / 2017 / 2019 / 2022 |
| Oracle | ✓ | ✓ | ✓ | 12 / 19 |
| OceanBase | ✓ | – | – | 4.2.1.3 |
| IBM DB2 | ✓ | – | – | — |
| 达梦 DM | ✓ | – | – | 7.x / 8.x |
| GBase | ✓ | – | – | — |
| GaussDB | ✓ | – | – | — |
| Greenplum | ✓ | – | – | 6.x / 7.x |
| TiDB | ✓ | – | – | — |
四、大数据存储
| 数据源 | 离线读 | 实时整库读 | 分库分表读 | 支持版本 |
| Hive | ✓ | – | – | 2.x / 3.x |
| HDFS | ✓ | – | – | 2.x / 3.x |
| HBase | ✓ | – | – | 2.x / 3.x |
| TCHouse-D | ✓ | – | – | — |
| TCHouse-C | ✓ | – | – | — |
| TCHouse-X | ✓ | – | – | — |
| TCHouse-P | ✓ | – | – | — |
| Doris | ✓ | – | – | 1.2 / 2.0 / 2.1 / 3.0 |
| Iceberg | ✓ | – | – | 1.1.0 / 1.4.3 |
| StarRocks | ✓ | – | – | — |
| ClickHouse | ✓ | – | – | 21.x / 22.x / 23.x |
| Kudu | ✓ | – | – | — |
| Hudi | ✓ | – | – | — |
| TDengine | ✓ | – | – | — |
| BigQuery | ✓ | – | – | — |
五、半结构化数据
半结构化数据源主要承担非结构化文件接入与离线读取场景。结合 文件到表 与目标端为 Volume 的同步任务,可以实现「原样归档」「解析入表」「格式转换」等多种用法。
| 数据源 | 离线读 | 实时读 | 说明 |
| COS | ✓ | – | 腾讯云对象存储;支持作为离线同步源端,也作为「COS 文件到表」入口 |
| Amazon S3 | ✓ | – | 海外对象存储;支持文件路径正则匹配与全量 / 增量同步 |
| Azure Blob | ✓ | – | 通过容器路径访问 |
| FTP | ✓ | – | 仅离线同步链路 |
| SFTP | ✓ | – | 支持密码与 SSH 私钥认证 |
| File System | ✓ | – | 自有文件系统 |
| REST API | ✓ | – | 支持 GET / POST、Header、单次 / 多次请求;支持单条 JSON 与数组 JSON |
六、NoSQL 数据库
| 数据源 | 离线读 | 实时整库读 | 支持版本 |
| MongoDB | ✓ | ✓ | 4.0 / 4.2 / 4.4 / 5.0 / 6.0 / 7.0 / 8.0 |
| 腾讯云 MongoDB | ✓ | – | 同 MongoDB |
| Elasticsearch | ✓ | – | 6.x / 7.x |
| 腾讯云 Elasticsearch | ✓ | – | 同 Elasticsearch |
| CTSDB / InfluxDB | ✓ | – | — |
七、消息队列
| 数据源 | 离线读 | 实时整库读 | 支持版本 |
| Kafka | ✓ | ✓ | 2.7.1 / 2.8.1 / 2.8.2 |
| CKafka | ✓ | ✓ | 同 Kafka |
八、查看实际可用的数据源类型
以上列表为参考。进入数据源管理或在数据接入任务中创建数据源连接时,可在「数据源类型」下拉列表中查看当前版本实际支持的完整列表 。各数据源的具体连接配置项详见 数据源列表 中对应章节。
九、相关文档
·支持的接入方案
·添加数据源连接
·实时整库多表任务配置