yun
-
数据湖计算 DLC 数据作业概述
数据湖计算 DLC 提供了基于原生 Spark 的批处理、流计算能力,支持用户通过数据任务进行复杂的数据处理、ETL 等操作。
目前数据作业的 Spark 相关版本支持如下。 -
数据湖计算 DLC 创建数据作业
在开始创建数据作业前,你需先完成数据访问策略配置,以保证数据作业能安全的访问你的数据。配置步骤。
-
数据湖计算 DLC 管理数据作业
这篇说说腾讯云数据湖计算DLC中数据作业的管理操作,包括编辑、启停任务、查看详情及删除,并强调运行中不可编辑、删除会同步移除任务信息等注意事项。 编辑:数据作业运行中不支持编辑,需停止后操作。 启停任务:单个作业可生成多个任务实例,状态包括未启动、运行中、成功、失败等。 删除:作业存在运行中任务时无法删除,删除后任务信息同步清除。
-
数据湖计算 DLC SuperSQL 引擎续费
可以在数据湖计算 DLC 控制台对未到期或隔离中的包年包月数据引擎进行续费操作。1. 登录 数据湖计算 DLC 控制台,选择服务所在区域,登录的用户须具有腾讯云管理员或财务权限。2. 通过左侧导航菜单单击 SuperSQL 引擎,进入数据引擎管理页面。3. 找到需要续费的数据引擎,单击更多然后选择“续费”,临近到期时间(7天内)的资源也可直接点击到期时间旁的续费按钮进行续费。
4. 确认续费时长信息及价格后,单击。 -
数据湖计算 DLC UPDATE
UPDATE tablePrimarySET assign [, assign ]*[ WHERE booleanExpression ]。
-
数据湖计算 DLC 统一函数概览
数据湖计算 DLC 支持通过统一函数在不同内核使用,同时兼容 Spark、Presto,具体函数及支持的内核可参见下表。
数据湖计算 DLC 同时支持 Presto 的内置函数,支持列表及开启方式。 -
数据湖计算 DLC Presto 内置函数
这篇说说腾讯云数据湖计算 DLC 支持 Presto 内置函数,并提供了四种开启方法(数据探索配置、SQL语句、API、JDBC),以及数学、二进制、字符串等函数列表。 开启方法:可通过数据探索、SQL语句、API或JDBC将参数USEHIVEFUNCTION设为false来启用。 函数列表:文档列出了数学、二进制、字符串、日期时间、数组、JSON、聚合、窗口、网址及其他函数。
-
数据湖计算 DLC SQL 隐式转换
为了便于 SQL 编写,快速从 Hive/Spark 语法切换到 DLC 统一的 SQL,我们提供了 SQL 的隐式转化能力,转化列表如下:
I:implicit cast,E: explicit cast,–: not allowed。 -
数据湖计算 DLC PySpark 依赖包管理
目前 DLC 的 PySpark 基础运行环境使用 Python=3.9.2。Spark 作业 Python 依赖可以使用如下两种方式。
-
数据湖计算 DLC Iceberg 外部表与原生表语法差异
数据湖计算 DLC 使用的 Iceberg 语法版本为0.13.1,详情语法说明可参考 Iceberg 页面文档。当你在使用 Iceberg 外部表时,SQL 语法与 Iceberg 原生表存在以下差异。