数据开发治理平台 WeData TCLake 数据源

TCLake 写入支持的字段类型及类型转换对应关系如下(在处理 TCLake 时,会将 TCLake 数据源的数据类型和数据处理引擎的数据类型做映射)。

相关产品
数据开发治理平台 WeData 产品页,含版本规格、价格与购买入口。

一、TCLake 离线写入节点配置

参数 说明
数据去向 需要写入的 TCLake 数据源。
数据去向类型 固定为 Volume 卷。
Volume 卷 选择需要写入的 Catalog、Schema 和 Volume。
同步方式 文件传输:不做内容解析传输整个文件,可应用于非结构化数据同步。提示:请保证读取节点为 sftp、ftp、cos、s3、hdfs、Azure Blob、File System 或 http 类型,并且该节点同步方式为"文件传输"。
文件路径 Volume 卷下的文件路径信息。
压缩格式 写入文件的压缩格式,默认 none,支持 none、deflate、gzip、bzip2、lz4、snappy。
标记完成文件 同步任务结束后在文件路径下生成标记完成文件,该文件内容为空,根据该文件可以判断同步任务是否成功。
高级设置 可根据业务需求配置参数。

二、写入

TCLake 写入支持的字段类型及类型转换对应关系如下(在处理 TCLake 时,会将 TCLake 数据源的数据类型和数据处理引擎的数据类型做映射):

内部类型 TCLake 数据类型
Long tinyint, smallint, int, integer, bigint, long
Double float, double, decimal
String string, varchar, char
Date date, timestamp
Boolean boolean
Bytes binary
赞 (0)
上一篇 5天前
下一篇 5天前