一、Mongodb 数据源版本限制
支持 Mongo 版本详情:
| 节点 | 版本 |
| MongoDB-CDC | MongoDB>=3.6 |
二、Mongodb 读取配置参数说明
1. 在数据集成页面左侧目录栏单击实时同步。
4. 参数说明:
| 参数 | 描述 |
| 节点名称 | 输入 Mongo 节点名称。 |
| 数据来源 | 选择项目可用的 Mongo 数据源 |
| 库 | 支持选择、或者手动输入需读取的库名称默认将数据源绑定的数据库作为默认库,其他数据库需手动输入库名称。当数据源网络不联通导致无法直接拉取库信息时,可手动输入数据库名称。在数据集成网络连通的情况下,仍可进行数据同步。 |
| 集合 | 支持选择、或者手动输入需读取的集合名称 |
| 读取模式 | 全量 + 增量:数据同步分为全量和增量同步阶段,全量阶段完成后任务进入增量阶段。全量阶段将同步库内历史数据,增量阶段从任务启动后 binlog cdc 的位点开始同步。增量:仅从任务启动后的 binlog cdc 位点开始同步数据。 |
| 时区 | 设置日志时间所属时区,默认上海。 |
| 高级设置(可选) | 可根据业务需求配置参数。 |
5. 预览数据字段,单击保存。
三、Mongodb 读取配置参数说明
| 参数 | 说明 |
| 数据源 | 选择需要同步的 Mongo 数据源。 |
| 来源表 | 根据业务需求,选择“所有库、集合”、“指定表”、“指定库”:所有库、集合:监控数据源下所有库。任务运行期间新增库、表默认将同步至目标端。指定集合:仅同步指定集合。指定库:监控指定库,同步库下所有或符合规则的表。 |
| | |
| | |
| | |
| 读取模式 | 全量 + 增量、增量。 |
| 过滤操作 | 提供多种过滤操作,包括插入、更新、删除、删除集合、删除数据库、重命名集合,设置后将不同步指定操作类型的数据。 |
四、读取
Mongodb 读取支持的数据类型及转换对应关系如下:
| BSON 类型 | 内部类型 |
| – | TINYINT |
| – | SMALLINT |
| Int | INT |
| Long | BIGINT |
| – | FLOAT |
| Double | DOUBLE |
| Decimal128 | DECIMAL(p, s) |
| Boolean | BOOLEAN |
| Date Timestamp | DATE |
| Date Timestamp | TIME |
| Date | TIMESTAMP(3) TIMESTAMP_LTZ(3) |
| Timestamp | TIMESTAMP(0) TIMESTAMP_LTZ(0) |
| String,ObjectId,UUID ,Symbol ,MD5 ,JavaScript,Regex | STRING |
| BinData | BYTES |
| Object | ROW |
| Array | ARRAY |
| DBPointer | ROW<STRING, STRING> |