大数据智能体工作台 DataBuddy ORC 格式

ORC 为优化行列存储格式,文件内自带 schema,读取时自动解析字段名与字段类型,无需用户声明。同一任务读取的所有 ORC 文件须适配同一套 schema。这里说明 ORC 格式在 DataBuddy 数据接入中的支持能力、参数设置与类型转换规则。

相关产品
大数据智能体工作台 DataBuddy 产品页,含版本规格、价格与购买入口。

一、支持的能力

能力 支持情况 说明
支持的数据源 Amazon S3、COS、HDFS 文件类数据源在数据同步模式下可选择 ORC
离线同步(读 / 写) ✓ / – 支持读取 ORC 文件作为离线同步任务的源端;DataBuddy 数据源仅支持接入读取,不支持写入
实时同步(读 / 写) – / – 不支持以 ORC 格式进行实时同步

二、支持的参数设置

以下为任务级参数,在数据同步模式下配置于任务的读取节点。

参数 说明 是否必填 默认值
文件类型 选择 ORC 是 TXT
压缩格式 none / deflate / gzip / bzip2 / lz4 / snappy;snappy 仅支持 hadoop-snappy 与 framing-snappy 两种 stream format 是 none

注意:说明:

三、支持的类型转换

·读取 ORC 文件自带的 schema 并按下表映射。

·映射结果进入字段映射组件,支持手工调整目标字段与类型。

ORC 类型 映射后类型
INT / SMALLINT INT
BIGINT / LONG BIGINT
FLOAT FLOAT
DOUBLE DOUBLE
DECIMAL(p,s) DECIMAL(p,s)
BOOLEAN BOOLEAN
STRING / VARCHAR / CHAR STRING
DATE DATE
TIMESTAMP TIMESTAMP
BINARY BINARY
ARRAY / MAP / STRUCT STRING(按 JSON 字符串读取)

注意:说明:

注意:嵌套类型(ARRAY / MAP / STRUCT)按 JSON 字符串读取,不做结构展开。如需展开嵌套字段,请在目标端进行二次处理。

四、Q:需要手工填写字段名和字段类型吗?

A:不需要。ORC 文件自带 schema,读取时自动解析字段名与字段类型;如需调整,可在字段映射组件中手工修改目标字段与类型。

五、Q:嵌套类型如何处理?

A:ARRAY / MAP / STRUCT 按 JSON 字符串读取,不做结构展开。如需展开嵌套字段,请在目标端进行二次处理。

六、Q:压缩格式参数与 ORC 文件内部的压缩有什么关系?

A:ORC 文件内部的压缩方式由写入端决定,读取时自动识别;任务中的压缩格式参数需与文件实际的外层压缩方式保持一致。

七、Q:同一个任务读取多个 schema 不一致的 ORC 文件会怎样?

A:同一任务读取的所有文件须适配同一套 schema,schema 冲突的记录会进入脏数据处理链路。

八、Q:为什么没有字段分隔符、行分隔符、Quote character、跳过表头的配置?

A:ORC 自带 schema,以上按分隔符切分与字段声明的参数不适用,因此不在任务中展示。

九、相关文档

·支持的数据源与读取能力

·添加数据源连接

·创建单表同步任务

·离线同步任务运维监控

其他文件格式说明:TXT、CSV、JSON、Parquet。

赞 (0)
上一篇 4天前
下一篇 4天前