TCLake 写入支持的字段类型及类型转换对应关系如下(在处理 TCLake 时,会将 TCLake 数据源的数据类型和数据处理引擎的数据类型做映射)。
相关产品
数据开发治理平台 WeData 产品页,含版本规格、价格与购买入口。
一、TCLake 离线写入节点配置
| 参数 |
说明 |
| 数据去向 |
需要写入的 TCLake 数据源。 |
| 数据去向类型 |
固定为 Volume 卷。 |
| Volume 卷 |
选择需要写入的 Catalog、Schema 和 Volume。 |
| 同步方式 |
文件传输:不做内容解析传输整个文件,可应用于非结构化数据同步。提示:请保证读取节点为 sftp、ftp、cos、s3、hdfs、Azure Blob、File System 或 http 类型,并且该节点同步方式为"文件传输"。 |
| 文件路径 |
Volume 卷下的文件路径信息。 |
| 压缩格式 |
写入文件的压缩格式,默认 none,支持 none、deflate、gzip、bzip2、lz4、snappy。 |
| 标记完成文件 |
同步任务结束后在文件路径下生成标记完成文件,该文件内容为空,根据该文件可以判断同步任务是否成功。 |
| 高级设置 |
可根据业务需求配置参数。 |
二、写入
TCLake 写入支持的字段类型及类型转换对应关系如下(在处理 TCLake 时,会将 TCLake 数据源的数据类型和数据处理引擎的数据类型做映射):
| 内部类型 |
TCLake 数据类型 |
| Long |
tinyint, smallint, int, integer, bigint, long |
| Double |
float, double, decimal |
| String |
string, varchar, char |
| Date |
date, timestamp |
| Boolean |
boolean |
| Bytes |
binary |