数据开发治理平台 WeData BigQuery 数据源

如果你配置离线任务时,使用脚本模式的方式进行配置,需要在任务脚本中,按照脚本的统一格式要求编写脚本中的 reader 参数。”job”: { “content”: [ { “reader”: { “parameter”: { “databaseName”: “source_database”, //源数据库 “credential”: { //bigquery数据源配置信息 “token_uri”: “”, “pr。

相关产品
数据开发治理平台 WeData 产品页,含版本规格、价格与购买入口。

一、使用限制

·BigQuery 数据源仅支持在中国香港、新加坡、美国(弗吉尼亚)、德国(法兰克福)使用,其他地域暂时不支持。

·切割键只支持 INT64、FLOAT64、TIMESTAMP、BIGNUMERIC、NUMERIC、DATE、DATETIME。

二、BigQuery 离线单表读取节点配置

参数 说明
数据来源 选择来源端的已配置 BigQuery 数据源。
数据集 支持选择、或者手动输入需读取的数据集名称。默认将数据源绑定的数据库作为默认库,其他数据库需手动输入数据集名称。当数据源网络不联通导致无法直接拉取库信息时,可手动输入数据集名称。在数据集成网络连通的情况下,仍可进行数据同步。
表 支持选择、或者手动输入需读取的表名称。当数据源网络不联通导致无法直接拉取库信息时,可手动输入表名称。在数据集成网络连通的情况下,仍可进行数据同步。
切割键 指定用于数据分片的字段,指定后将启动并发任务进行数据同步。你可以将源数据表中某一列作为切分键,建议使用主键或有索引的列作为切分键。注意:支持的切割键类型:INT64、FLOAT64、TIMESTAMP、BIGNUMERIC、NUMERIC、DATE、DATETIME。若任务并发数设置大于1,则该项必填否则并发设置无效。
筛选条件(选填) 根据数据类型填写对应筛选语句,该语句会作为将要同步数据的筛选条件。

三、读取

BigQuery 数据类型 内部类型
BOOLEAN BOOL
INTEGER LONG
FLOAT、BIGNUMERIC、NUMERIC DOUBLE
STRING、TIMESTAMP、DATE、TIME、GEOGRAPHY、JSON、INTERVAL、RECORD STRING
赞 (0)
上一篇 5天前
下一篇 5天前