数据湖计算 DLC CREATE TABLE

一、说明

·支持内核：Presto、SparkSQL。

·适用表范围：原生 Iceberg 表、外部表。

·用途：创建一个表同时带一些属性，支持使用 CREATE TABLE AS 语法。

·建表存储路径：建表存储路径支持指定至 COS 目录，不能指定到文件。

二、参数

USING data_source：建表时，数据的输入类型，目前有：CSV，ORC，PARQUET，ICEBERG 等。
table_identifier：指定表名，支持三段式，例如：catalog.database.table。
COMMENT：表的描述信息。

OPTIONS：USING data_source支持的额外参数，用于存储时参数注入。
PARTITIONED BY：基于指定的列创建分区。
LOCATION path：数据表存储路径。
TBLPROPERTIES：一组 k-v 值，用于指定表的参数。

三、USING和OPTIONS 参数详细说明

USING CSVUSING ORCUSING PARQUET

CSV 数据表的可支持配置如下。

ORC 数据表可支持的配置如下：

如果是使用 HiveRead 和 HiveWriter（配置spark.sql.hive.convertMetastoreOrc=false）来读写，OPTIONS 还可以支持 Orc 原生的配置，详情请参考 LanguageManual ORC。

PARQUET 数据表相关参数大多可以通过 Spark conf 配置，也更建议从 spark conf 配置。options 也可支持的配置如下：

如果是使用HiveRead和HiveWriter（配置spark.sql.hive.convertMetastoreParquet=false）来读写，OPTIONS还可以支持Parquet原生的配置参考：Hadoop integration。

四、示例

CREATE TABLE dempts( id bigint COMMENT 'id number', num int, eno float, dno double, cno decimal(9,3), flag boolean, data string, ts_year timestamp, date_month date, bno binary, point struct<x: double, y: double>, points array<struct<x: double, y: double>>, pointmaps map<struct<x: int>, struct<a: int>> )USING icebergCOMMENT 'table documentation' PARTITIONED BY (bucket(16,id), years(ts_year), months(date_month), identity(bno), bucket(3,num), truncate(10,data))LOCATION '/warehouse/db_001/dempts'TBLPROPERTIES ('write.format.default'='orc');

五、常见问题

CREATE_TABLE 时的关键字里，Spark 的 USING 和 Hive 的 STORED AS 存在差异，可能会导致创建表后文件格式、读取都不符合预期。这里做一个特殊说明：

·USING DATA_SOURCE：Spark 语法，该关键字表示创建表时使用哪种数据源作为输入的格式，直接影响表的 Location 下的文件格式和读取方式。可取值例如 CSV、TXT、Iceberg、Parquet、Orc 等。

·STORED AS FILE_FORMAT：Hive 语法，该关键字用于创建一个 HIVE 格式的表，表示表中存储的数据文件的格式。可取值例如 TXT、Parquet、Orc 等。不建议使用这种语法，可能会导致 Spark 原生的 reader/writer 无法支持，例如不支持 CSV。

六、原生表 Iceberg 语法

注意：该语法仅支持创建原生表。

七、语法

CREATE TABLE [ IF NOT EXISTS ] table_identifier ( col_name[:] col_type [ COMMENT col_comment ], … )[ COMMENT table_comment ][ PARTITIONED BY ( col_name1, transform(col_name2), … ) ]

八、参数

table_identifier：支持三段式，catalog.db.name
Schemas and Data Types

col_type : primitive_type | nested_typeprimitive_type : boolean | int/integer | long/bigint | float | double | decimal(p,s)，p=最大位数，s=最大小数点位数, s<=p<=38 | date | timestamp，timestamp with timezone，不支持time和without timezone | string，也可对应Iceberg uuid类型 | binary，也可对应Iceberg fixed类型nested_type : struct | list | map

Partition Transforms

transform : identity，支持任意类型, DLC不支持该转换 | bucket[N]，hash mod N分桶，支持col_type: int,long, decimal, date, timestamp, string, binary | truncate[L]，L截取分桶，支持col_type: int,long,decimal,string | years，年份，支持col_type: date,timestamp | months，月份，支持col_type: date,timestamp | days/date，日期，支持col_type: date,timestamp | hours/date_hour，小时，支持col_type: timestamp

九、示例

CREATE TABLE dempts( id bigint COMMENT 'id number', num int, eno float, dno double, cno decimal(9,3), flag boolean, data string, ts_year timestamp, date_month date, bno binary, point struct<x: double, y: double>, points array<struct<x: double, y: double>>, pointmaps map<struct<x: int>, struct<a: int>> )COMMENT 'table documentation' PARTITIONED BY (bucket(16,id), years(ts_year), months(date_month), identity(bno), bucket(3,num), truncate(10,data));