腾讯云产品
-
数据湖计算 DLC 数据目录及数据库管理
数据湖计算 DLC 的外部数据及托管存储数据可通过数据管理页、执行标准 SQL 语句及 API 进行管理。通过控制台数据管理页可创建、编辑数据目录,新建、查询、删除数据库表。
-
数据湖计算 DLC REPLACE TABLE AS SELECT
CREATE [OR REPLACE] TABLE table_identifierUSING iceberg [ COMMENT table_comment ] [ PARTITIONED BY ( col_name1, transform(col_name2), … ) ] [ LOCATION path ] [ TBLPROPERTIES ( property_name=property_value, ..。
-
数据湖计算 DLC ALTER TABLE ADD COLUMNS
ALTER TABLE table_name [PARTITION (partition_col1_name = partition_col1_value [,partition_col2_name = partition_col2_value][,…])] ADD COLUMNS (col_name data_type) [RESTRICT | CASCADE]。
-
数据湖计算 DLC ALTER TABLE DROP PARTITION FIELD
ALTER TABLE table_name ADD PARTITION partition_column | hidden_partition_spechidden_partition_spec: Supported transformations are: years(ts): partition by year months(ts): partition by month days(ts) or date(t。
-
数据湖计算 DLC 查询分区表
若用户将数据以分区目录的方式进行存储,可以减少 DLC 计算任务的数据扫描量,大幅度提升运算性能。对数据进行分区最常见的做法是将数据按照时间存储到不同目录下,例如,将同一天产生的数据放到一个目录下,可以按照“年-月-日”组织多层数据目录。DLC 中的同一个表及其分区必须使用相同的数据格式。
-
数据湖计算 DLC PySpark 依赖包管理
目前 DLC 的 PySpark 基础运行环境使用 Python=3.9.2。Spark 作业 Python 依赖可以使用如下两种方式。
-
数据湖计算 DLC SHOW TABLES
SHOW TABLES [IN database_name] [‘regular_expression’]。
-
数据湖计算 DLC 数据视图管理
数据湖计算 DLC 提供了数据视图查询能力,用户可通过管理数据视图进行便捷快速的数据查询及使用。
-
数据湖计算 DLC Procedure
CALL catalog_name.system.procedure_name(arg_name_2 => arg_2, arg_name_1 => arg_1);CALL catalog_name.system.procedure_name(arg_1, arg_2, … arg_n)。
-
数据湖计算 DLC ALTER TABLE ADD PARTATION
ALTER TABLE table_name ADD [IF NOT EXISTS] PARTITION (partition_spec) [PARTITION (partition_spec) …]partition_spec: : partition_column = partition_col_value, partition_column = partition_col_value, …。