yun
-
数据湖计算 DLC SuperSQL 引擎
DLC 的数据引擎是 DLC 的数据分析计算服务的基础,用户在 DLC 进行的所有计算都需要使用数据引擎。根据用户的使用场景不同,可选择共享引擎或独享引擎。
-
数据湖计算 DLC 标准引擎体系介绍
标准引擎体系由几个核心组成部分,引擎网络,网关,资源组,终端节点,执行机。使用 DLC 标准引擎之前,你还需要了解这些概念。
-
数据湖计算 DLC 引擎网络介绍
引擎网络基于 私有网络 进行构建,为计算引擎(标准 spark 引擎、标准 presto 引擎)分配固定网络地址,如:10.255.0.0/16。每个引擎网络提供一个网关,用于外部访问引擎网络中的标准引擎,例如可以以通过 JDBC 从内网(私有网络)或者公网访问计算引擎。
-
数据湖计算 DLC 网关介绍
DLC 网关是基于 Apache Kyuubi 深度优化的 Serverless 统一接入网关服务。通过网关,可以基于 Hive JDBC/Presto JDBC/DLC JDBC/腾讯云 API 标准接口,实现对 DLC 数据及标准计算引擎的稳定、安全访问,降低大规模的计算引擎访问管理的复杂度。如可以以将 SQL 任务,ETL 作业通过网关,提交到指定标准计算引擎。
-
数据湖计算 DLC 标准引擎介绍
标准引擎是 DLC 提供的一类计算资源,帮助用户快速启动一定规格的计算集群。标准引擎提供了对原生语法和行为的全面支持,这使得熟悉大数据生态的用户能够更加迅速地上手并轻松使用。
-
数据湖计算 DLC 资源组介绍
资源组是对 Spark 标准引擎计算资源的二级队列划分,资源组隶属于父级标准引擎且同一引擎下的资源组彼此资源共享。DLC Spark 标准引擎的计算单元(CU)可按需被划分到多个资源组中,并设置每个资源组可使用 CU 数量的最小值和上限、启停策略、并发数和动静态参数等,从而满足多租户、多任务等复杂场景下的计算资源隔离与工作负载的高效管理。
-
数据湖计算 DLC JDBC 访问
Class.forName(“com.tencent.cloud.dlc.jdbc.DlcDriver”)2. 通过 DriverManager 创建 Connection。
-
数据湖计算 DLC Hive JDBC 访问
进入数据引擎页面,单击网关的详情按钮,进入网关详情页面点击创建私有连接,选择提交机所在的 VPC 和子网,单击创建后生成两个访问链接,分别为 Hive2 和 Presto 协议,链接标准 Spark 引擎使用 Hive2 协议。
-
数据湖计算 DLC Presto JDBC 访问
进入数据引擎页面,单击网关的详情按钮,进入网关详情页面。点击创建私有连接,选择提交机所在的 VPC 和子网,单击创建后生成两个访问链接,分别是 Hive2 和 Presto 协议,链接标准 Presto 引擎使用 Presto 协议。
-
数据湖计算 DLC SuperSQL 语法
DLC 通过一套标准 SQL 语法几乎可以无缝在 DLC Serverless Spark 和 DLC Serverless Presto 引擎上运行。元数据和分析语法、函数,基本兼容 Hive 和 Spark 语法,支持自定义函数。
系统内置函数支持范围可参考 统一函数,如需要使用 Presto 内置函数,使用方式及函数支持范围参见 Presto 内置函数 。
如需要在数据湖计算中对外部 Iceberg 表进行数据。