大数据智能体工作台 DataBuddy 支持的数据源与读取能力

DataBuddy 数据接入持续扩展所支持的数据源类型,覆盖关系型数据库 、大数据存储 、半结构化数据 、NoSQL 数据库 、消息队列 等类别。这篇按类别列出当前支持的数据源以及在不同接入链路(离线同步、实时整库同步、分库分表同步)中的读取能力支持情况。

相关产品
大数据智能体工作台 DataBuddy 产品页,含版本规格、价格与购买入口。

一、概述

数据源以「数据源连接」的方式注册到 DataBuddy,详见 添加数据源连接。同步任务的目标端固定为 Catalog 数据表(基于 Iceberg 原生表)或 Volume。

二、读取能力图例

标记 含义
✓ 支持
– 当前不支持

实时同步链路对来源端版本通常有更严格的要求,详细版本支持范围以「支持版本」列为准。

三、关系型数据库

数据源 离线读 实时整库读 分库分表读 支持版本
MySQL ✓ ✓ ✓ 5.7.x / 8.0.x / 8.1.x / 8.2.x / 8.3.x / 8.4.x
腾讯云 MySQL ✓ ✓ ✓ 5.7 / 8.0
TDSQL-C MySQL ✓ ✓ ✓ 5.7 / 8.0
TDSQL MySQL ✓ ✓ ✓ InnoDB 类型
PostgreSQL ✓ ✓ ✓ 9.6 / 10.x / 11.x / 12.x / 13.x / 14.x / 15.x / 16.x
SQL Server ✓ ✓ ✓ 2012 / 2014 / 2016 / 2017 / 2019 / 2022
Oracle ✓ ✓ ✓ 12 / 19
OceanBase ✓ – – 4.2.1.3
IBM DB2 ✓ – – —
达梦 DM ✓ – – 7.x / 8.x
GBase ✓ – – —
GaussDB ✓ – – —
Greenplum ✓ – – 6.x / 7.x
TiDB ✓ – – —

四、大数据存储

数据源 离线读 实时整库读 分库分表读 支持版本
Hive ✓ – – 2.x / 3.x
HDFS ✓ – – 2.x / 3.x
HBase ✓ – – 2.x / 3.x
TCHouse-D ✓ – – —
TCHouse-C ✓ – – —
TCHouse-X ✓ – – —
TCHouse-P ✓ – – —
Doris ✓ – – 1.2 / 2.0 / 2.1 / 3.0
Iceberg ✓ – – 1.1.0 / 1.4.3
StarRocks ✓ – – —
ClickHouse ✓ – – 21.x / 22.x / 23.x
Kudu ✓ – – —
Hudi ✓ – – —
TDengine ✓ – – —
BigQuery ✓ – – —

五、半结构化数据

半结构化数据源主要承担非结构化文件接入与离线读取场景。结合 文件到表 与目标端为 Volume 的同步任务,可以实现「原样归档」「解析入表」「格式转换」等多种用法。

数据源 离线读 实时读 说明
COS ✓ – 腾讯云对象存储;支持作为离线同步源端,也作为「COS 文件到表」入口
Amazon S3 ✓ – 海外对象存储;支持文件路径正则匹配与全量 / 增量同步
Azure Blob ✓ – 通过容器路径访问
FTP ✓ – 仅离线同步链路
SFTP ✓ – 支持密码与 SSH 私钥认证
File System ✓ – 自有文件系统
REST API ✓ – 支持 GET / POST、Header、单次 / 多次请求;支持单条 JSON 与数组 JSON

六、NoSQL 数据库

数据源 离线读 实时整库读 支持版本
MongoDB ✓ ✓ 4.0 / 4.2 / 4.4 / 5.0 / 6.0 / 7.0 / 8.0
腾讯云 MongoDB ✓ – 同 MongoDB
Elasticsearch ✓ – 6.x / 7.x
腾讯云 Elasticsearch ✓ – 同 Elasticsearch
CTSDB / InfluxDB ✓ – —

七、消息队列

数据源 离线读 实时整库读 支持版本
Kafka ✓ ✓ 2.7.1 / 2.8.1 / 2.8.2
CKafka ✓ ✓ 同 Kafka

八、查看实际可用的数据源类型

以上列表为参考。进入数据源管理或在数据接入任务中创建数据源连接时,可在「数据源类型」下拉列表中查看当前版本实际支持的完整列表 。各数据源的具体连接配置项详见 数据源列表 中对应章节。

九、相关文档

·支持的接入方案

·添加数据源连接

·实时整库多表任务配置

赞 (0)
上一篇 4天前
下一篇 4天前