数据湖计算 DLC 跨源分析 EMR Hive 数据

这篇说说数据湖计算 DLC 配置 EMR Hive 数据源进行跨源联合分析的步骤,包括前提准备、创建数据目录及查询数据,并说明引擎限制与网络配置注意事项。 创建数据源:在控制台选择连接类型为EMR Hive,配置实例与网络后完成创建。 查询数据:切换数据目录,使用SQL语句并通过绑定的引擎运行查询。 引擎限制:标准Presto不支持,需使用SuperSQL或Spark引擎。

相关产品
数据湖计算 DLC 产品页,含版本规格、价格与购买入口。

数据湖计算 DLC 支持配置 EMR Hive 的数据源进行跨源联合分析。

注意:说明:

一、使用前准备

·获取 EMR Hive 地址。

·使用具备创建数据目录权限的账号,详细权限请参见 DLC 权限概述。

二、创建 EMR Hive 数据源

1. 登录 数据湖计算 DLC 控制台,选择服务地域。

2. 通过左侧导航栏进入数据探索,单击库表栏的+按钮,选择新建数据目录。

3. 进入数据目录配置,选择连接类型为 EMR Hive(HDFS),连接名称自行命名,选择 EMR 的对应实例,VPC 信息、Hive 访问地址、集群名称、节点将在实例选择后默认填充。EMR Hive 支持 Hive 的版本:2.3.5,2.3.7,3.1.1,3.1.2。

注意:需具备 EMR Hive 实例的相关权限才可进行选择。

4. 单击下一步,进入网络配置,仅所选的数据引擎可读取该数据目录下的数据,支持选择 SparkSQL 及 Presto 的独享数据引擎,如无对应引擎可至数据引擎页进行数据引擎创建。购买流程请参见 购买独享数据引擎。

注意:所选数据引擎网段不可与 EMR 实例网段相同,否则将导致网络冲突,无法进行数据查询分析。

5. 单击确认按钮即可完成数据目录创建。

三、查询 EMR Hive 数据

完成数据目录创建之后,即可在数据探索页的数据目录菜单进行数据目录切换。

此时你可通过 SQL 语句对该数据目录进行查询分析,SQL 语法请参见 SQL 语法概览。

在查询页面右上角,选择创建数据目录时绑定的数据引擎,单击运行按钮,获得查询结果。

注意:如需变更绑定的引擎,可直接在绑定的数据引擎处切换。

赞 (0)
上一篇 4天前
下一篇 4天前