数据湖计算 DLC 分区字段策略

在 Hive 中,分区信息是以目录形式出现的。在 Iceberg 中,分区信息记录到最终底层数据文件中,这使得 Iceberg 的分区更加灵活,而且可以随着数据量的变化演变分区策略。在数据湖计算 DLC 中,可以以创建Iceberg 表来使用隐藏分区等特性。

相关产品
数据湖计算 DLC 产品页,含版本规格、价格与购买入口。

注意:说明:

注意:原生表默认为 Iceberg 表,外部表根据文件格式可以选择 Hive 表或者 Iceberg 表,详细语法参考文档CREATE TABLE。

隐藏式分区你在插入和查询数据时,不需要像 Hive 一样额外指定分区信息。

Iceberg 分区策略支持使用以下函数,不同字段及对应的分区转换策略如下表:

分区策略 字段类型 结果类型
identity 任何 源类型
bucket int, long, decimal, date, time, timestamp, timestamptz, string, uuid, fixed, binary int
truncate int, long, decimal, string 源类型
year date, timestamp, timestamptz int
month date, timestamp, timestamptz int
day date, timestamp, timestamptz int
hour timestamp, timestamptz int
赞 (0)
上一篇 4天前
下一篇 4天前