一、接入方案总览
DataBuddy 提供以下 5 类接入方案，你可以根据数据源类型、数据规模与时效性要求选择合适的方案：
| 接入方案 | 典型场景 | 入口 | 配套文档 |
| 离线数据同步 | 周期性批量同步关系型数据库、大数据存储、消息队列等数据到数据湖仓 | 数据接入 → 任务管理 → 创建同步任务 → 离线单表同步 / 离线批量同步 | 创建单表同步任务 / 批量创建单表同步任务 |
| 实时数据同步 | 实时同步关系型数据库 CDC、消息队列数据，支持 DDL 变更同步 | 数据接入 → 任务管理 → 创建同步任务 → 实时整库多表同步 / 实时分库分表同步 | 实时整库多表任务配置 / 实时分库分表任务配置 |
| 文件上传到表 | 将本地或 COS 文件解析后落入结构化表 | 数据接入 → 文件上传 → 文件到表 / COS 文件到表 | 本地上传到表 / COS 文件上传到表 |
| 文件上传到卷 | 将文件以原始格式上传到 Volume，保留原文件结构 | 数据接入 → 文件上传 → 文件到卷 | 本地文件上传到卷 |
| 文件批量同步到卷 | 在离线同步任务中，将结构化数据按指定格式写入 Volume；或将非结构化文件批量同步到 Volume | 数据接入 → 任务管理 → 创建同步任务（目标端选择 Volume 类型 Catalog） | 文件到 Volume 同步 |
二、通用接入流程
无论选择哪种接入方案，你都需要完成以下步骤：
1. 准备数据源连接（数据源配置） ↓2. 准备计算资源（实时接入用实时集群，离线接入用平台集群） ↓3. 创建同步任务并选择同步方式 ↓4. 配置来源（选库 / 选表 / 选文件路径，必要时配置筛选条件、过滤规则） ↓5. 配置目标（Catalog / Schema / Table / Volume，必要时配置自动建表或手动建表） ↓6. 配置字段映射与运行参数（脏数据阈值、并发数、限速、checkpoint 间隔等） ↓7. 配置告警与运行策略 ↓8. 保存 / 发布 / 启动任务
三、离线同步与实时同步对比
| 维度 | 离线同步 | 实时同步 |
| 同步粒度 | 单表、批量单表 | 整库多表、分库分表 |
| 触发方式 | 由工作流调度或手动调试运行 | 启动后持续运行，捕获源端 CDC 变更 |
| 来源端读取模式 | 全量读取、增量读取（按筛选条件） | 全量 + 增量、仅增量 |
| 写入模式 | overwrite / append / upsert | append/upsert |
| 自动建表 | 支持手动建表 | 支持自动建表（Kafka 等部分来源端除外） |
| Schema 变更同步 | 不涉及（按任务执行时刻的 Schema） | 支持 DDL 变更同步（MySQL / 腾讯云 MySQL / TDSQL-C MySQL 完整支持） |
| 数据对账 | 支持全量、增量数据对账，按条数对账 | 支持全量、增量数据对账，按条数 / 内容对账 |
| 适用场景 | 定时数仓刷新、ODS 层加载、报表数据准备 | 数据库实时入湖、CDC 流式分析 |
四、文件接入能力
文件接入为非结构化或半结构化数据进入湖仓提供入口，覆盖以下 3 类用法：
| 入口 | 说明 | 适用文件类型 |
| 文件到表 | 上传文件后自动解析为结构化表，落入指定 Catalog 下的 Schema | .csv / .tsv / .json / .jsonl / .avro / .parquet / .txt / .xml |
| 文件到卷 | 文件以原格式落入 Volume，保留二进制 / 原始结构 | 任意类型 |
| COS 文件到表 | 从腾讯云对象存储 COS 选择文件，解析为结构化表 | .csv / .json / .xml / .avro / .parquet / .txt |
文件上传支持文件级解析参数（行、列分隔符、表头、转义符、JSON 嵌套、XML 行标签等），上传后表会被自动注册到 Catalog 中。
五、接入方式选型建议
| 你的需求 | 推荐方案 |
| 业务库每日定时同步到数据湖仓 | 离线单表同步 + Workflow 调度 |
| 多张同源表批量同步到湖仓 | 离线批量同步任务 |
| 业务库 CDC 实时入湖 | 实时整库多表同步任务 |
| 多个分库分表合并到一张目标表 | 实时分库分表同步任务 |
| 一次性导入历史 CSV / Parquet 文件做分析 | 文件到表 |
| 文件原样归档到湖仓 | 文件到卷 |
六、前提条件
在使用任何接入方案前，请确保已经完成以下准备：
·已开通 DataBuddy 服务并完成空间初始化。
·当前账号在目标 Workspace 中拥有 数据接入相关权限 （详见 成员与权限管理）。
·已创建用于数据接入的计算资源（详见 创建计算资源）。
·已根据来源端类型创建并测试通过对应的数据源连接（详见 添加数据源连接）。
·目标端已规划好 Catalog 与 Schema（详见 统一元数据管理架构）。
七、使用限制
| 限制项 | 说明 |
| 计算资源 | 实时接入任务仅支持选择 实时集群 计算资源；离线接入任务仅支持选择 平台集群 计算资源 |
| 来源端类型 | 完整数据源支持范围参见 支持的数据源与读写能力 |
| 目标端类型 | 当前结构化任务的目标端固定为 catalog 数据表（基于 Iceberg 原生表）；非结构化数据写入支持 catalog Volume 卷 |
| 文件上传容量 | 文件到表：单次最多 10 个文件，总容量 ≤ 2 GB；文件到卷：单次最多 100 个文件，单文件 ≤ 5 GB |
八、相关文档
·支持的数据源与读写能力
·实时整库多表任务配置
·创建计算资源