一、使用限制
·BigQuery 数据源仅支持在中国香港、新加坡、美国(弗吉尼亚)、德国(法兰克福)使用,其他地域暂时不支持。
·切割键只支持 INT64、FLOAT64、TIMESTAMP、BIGNUMERIC、NUMERIC、DATE、DATETIME。
二、BigQuery 离线单表读取节点配置
| 参数 | 说明 |
| 数据来源 | 选择来源端的已配置 BigQuery 数据源。 |
| 数据集 | 支持选择、或者手动输入需读取的数据集名称。默认将数据源绑定的数据库作为默认库,其他数据库需手动输入数据集名称。当数据源网络不联通导致无法直接拉取库信息时,可手动输入数据集名称。在数据集成网络连通的情况下,仍可进行数据同步。 |
| 表 | 支持选择、或者手动输入需读取的表名称。当数据源网络不联通导致无法直接拉取库信息时,可手动输入表名称。在数据集成网络连通的情况下,仍可进行数据同步。 |
| 切割键 | 指定用于数据分片的字段,指定后将启动并发任务进行数据同步。你可以将源数据表中某一列作为切分键,建议使用主键或有索引的列作为切分键。注意:支持的切割键类型:INT64、FLOAT64、TIMESTAMP、BIGNUMERIC、NUMERIC、DATE、DATETIME。若任务并发数设置大于1,则该项必填否则并发设置无效。 |
| 筛选条件(选填) | 根据数据类型填写对应筛选语句,该语句会作为将要同步数据的筛选条件。 |
三、读取
| BigQuery 数据类型 | 内部类型 |
| BOOLEAN | BOOL |
| INTEGER | LONG |
| FLOAT、BIGNUMERIC、NUMERIC | DOUBLE |
| STRING、TIMESTAMP、DATE、TIME、GEOGRAPHY、JSON、INTERVAL、RECORD | STRING |