大数据智能体工作台 DataBuddy MongoDB 数据源

二、支持的版本

实时同步（Change Streams）要求 MongoDB 版本 ≥ 3.6。

三、读取能力

完整数据源能力对照参见 支持的数据源与读取能力。

五、实时同步限制

六、离线同步限制

七、支持的字段类型

完整 BSON 类型请参见 MongoDB 产品文档。

注意：说明：

注意：MongoDB 为 Schema-free 数据库，同一字段可能存在多种类型，建议在源端统一字段类型以避免同步异常。

八、字段类型映射（离线同步）

同步时源端字段类型会转换为 DataBuddy 内部类型（同步链路中的中间类型）。配置任务前请重点核对「备注」列标注的类型，避免精度丢失或语义变化。

九、字段类型映射（实时同步）

实时同步（整库多表）由 CDC 连接器解析源端类型并写入 TCLake。下表为自动建表时目标表实际使用的字段类型 ，配置任务前请重点核对「备注」列标注的类型。

十一、DML

十二、DDL

MongoDB 基于 Change Streams 进行变更捕获，不支持 DDL 变更的自动同步。集合的删除、重命名等操作需要在目标端手动处理。

十四、1. 确认副本集配置（仅实时同步）

rs.status()

十五、2. 配置账号权限

离线同步 ：

use admindb.createUser({ user: "wedata_user", pwd: "your_password", roles: [{ role: "read", db: "your_database" }]})

实时同步 ：

use admindb.createUser({ user: "wedata_cdc_user", pwd: "your_password", roles: [ { role: "read", db: "your_database" }, { role: "read", db: "local" } // 读取 oplog 必需 ]})

十六、3. 配置 oplog 大小（仅实时同步）

use localdb.oplog.rs.stats() // 查看当前 oplog 配置db.adminCommand({ replSetResizeOplog: 1, size: 10240 }) // 单位 MB

注意：说明：

注意：修改 oplog 大小需要在副本集每个节点执行。

十八、操作步骤

1. 登录 DataBuddy 控制台。

2. 在顶部切换到目标地域和 Workspace。

3. 进入 数据集成 > 数据源管理 （或 平台管理 > 数据源管理 ）。

4. 点击 添加数据源 ，选择 MongoDB 。

5. 填写连接配置与认证信息，详见 参数说明。

6. 点击 连通性测试 （参见 数据源连通性测试）。

7. 测试通过后点击 保存 或 保存 & 创建任务 。

十九、参数说明

20、连接地址格式

完整示例：

mongodb://10.0.0.1:27017,10.0.0.2:27017,10.0.0.3:27017/?replicaSet=rs0mongodb://10.0.0.1:27017/mydb?authSource=admin

22、实时整库

23、离线单表

筛选条件示例：

{"age": {"$gte": 18}, "status": "active"}{"create_time": {"$gte": {"$date": "2024-01-01T00:00:00Z"}}}

详细任务配置参见 表到表同步 与 实时整库多表任务配置。

24、最佳实践

·账号权限最小化 ：使用专用账号，避免 root 权限。

·oplog 保留时间 ：建议 ≥ 72 小时，防止任务重启后数据丢失。

·索引优化 ：离线同步时在查询字段上建索引以提升读取效率。

·网络打通 ：优先使用内网连接。

26、Q：连接失败？

A：检查网络连通性、确认用户名密码正确、检查 authSource 配置。

27、Q：报错 Change Streams 不可用？

A：MongoDB 未配置为副本集模式或版本 < 3.6。请将 MongoDB 配置为副本集，并升级到 3.6 及以上版本。

28、Q：增量同步报错找不到 oplog？

A：oplog 保留时间太短，已被覆盖。增加 oplog 大小：

db.adminCommand({ replSetResizeOplog: 1, size: 20480 })

29、Q：同步过程中报错类型不匹配？

A：MongoDB 是 Schema-free 的，同一字段可能存在不同类型。建议在源端统一数据类型，或在写入端配置类型转换。

30、Q：某些文档同步失败？

A：单文档超过 16 MB 限制。请拆分大文档，或使用 GridFS 存储大文件。

31、相关文档

·添加数据源连接

·数据源连通性测试

·支持的数据源与读取能力

·实时整库多表任务配置