数据开发治理平台 WeData MongoDB 数据源

2. 在实时同步页面上方选择单表同步新建(可选择表单和画布模式)并进入配置页面。3. 单击左侧读取,单击选择 Mongo 节点并配置节点信息。

相关产品
数据开发治理平台 WeData 产品页,含版本规格、价格与购买入口。

一、Mongodb 数据源版本限制

支持 Mongo 版本详情:

节点 版本
MongoDB-CDC MongoDB>=3.6

二、Mongodb 读取配置参数说明

1. 在数据集成页面左侧目录栏单击实时同步。

4. 参数说明:

参数 描述
节点名称 输入 Mongo 节点名称。
数据来源 选择项目可用的 Mongo 数据源
库 支持选择、或者手动输入需读取的库名称默认将数据源绑定的数据库作为默认库,其他数据库需手动输入库名称。当数据源网络不联通导致无法直接拉取库信息时,可手动输入数据库名称。在数据集成网络连通的情况下,仍可进行数据同步。
集合 支持选择、或者手动输入需读取的集合名称
读取模式 全量 + 增量:数据同步分为全量和增量同步阶段,全量阶段完成后任务进入增量阶段。全量阶段将同步库内历史数据,增量阶段从任务启动后 binlog cdc 的位点开始同步。增量:仅从任务启动后的 binlog cdc 位点开始同步数据。
时区 设置日志时间所属时区,默认上海。
高级设置(可选) 可根据业务需求配置参数。

5. 预览数据字段,单击保存。

三、Mongodb 读取配置参数说明

参数 说明
数据源 选择需要同步的 Mongo 数据源。
来源表 根据业务需求,选择“所有库、集合”、“指定表”、“指定库”:所有库、集合:监控数据源下所有库。任务运行期间新增库、表默认将同步至目标端。指定集合:仅同步指定集合。指定库:监控指定库,同步库下所有或符合规则的表。
 
 
 
读取模式 全量 + 增量、增量。
过滤操作 提供多种过滤操作,包括插入、更新、删除、删除集合、删除数据库、重命名集合,设置后将不同步指定操作类型的数据。

四、读取

Mongodb 读取支持的数据类型及转换对应关系如下:

BSON 类型 内部类型
– TINYINT
– SMALLINT
Int INT
Long BIGINT
– FLOAT
Double DOUBLE
Decimal128 DECIMAL(p, s)
Boolean BOOLEAN
Date Timestamp DATE
Date Timestamp TIME
Date TIMESTAMP(3) TIMESTAMP_LTZ(3)
Timestamp TIMESTAMP(0) TIMESTAMP_LTZ(0)
String,ObjectId,UUID ,Symbol ,MD5 ,JavaScript,Regex STRING
BinData BYTES
Object ROW
Array ARRAY
DBPointer ROW&ltSTRING, STRING>
赞 (0)
上一篇 4天前
下一篇 4天前