大数据智能体工作台 DataBuddy Hudi 数据源

Apache Hudi 是面向数据湖的开放表格式与事务层,支持流式摄取、增量查询与时间旅行,通常基于 Hive Metastore 管理元数据。DataBuddy 数据接入支持将 Hudi 作为来源端,覆盖离线同步场景。这里说明其连接配置、能力支持范围、前提条件与常。

相关产品
大数据智能体工作台 DataBuddy 产品页,含版本规格、价格与购买入口。

一、支持的版本

类型 支持版本
Hudi 0.11.0 / 0.12.0 / 0.13.0 / 0.14.1 / 0.15.0

二、读取能力

能力 支持情况 说明
离线同步(读 / 写) ✓ / – 支持作为离线同步任务的源端读取数据;DataBuddy 数据源仅支持接入读取,不支持写入

完整数据源能力对照参见 支持的数据源与读取能力。

三、使用限制

限制项 说明
元数据服务 依赖 Hive Metastore
认证方式 支持 Kerberos / Simple

四、支持的字段类型

Hudi 基于 Apache 类型系统,以下是 DataBuddy 的离线读支持情况。

字段类型 说明
BOOLEAN 布尔
INT / LONG 整数
FLOAT / DOUBLE 浮点数
DECIMAL 定点数
STRING 字符串
BINARY 二进制
DATE / TIMESTAMP 时间类型
ARRAY / MAP 复杂类型

五、Kerberos 认证(推荐用于安全集群)

配置项 说明
Principal Kerberos principal
Keytab 客户端认证的 keytab 文件
krb5.conf Kerberos 配置文件

请确保 DataBuddy 运行环境与 Hive Metastore 网络连通。

六、操作步骤

1. 登录 DataBuddy 控制台。

2. 在顶部切换到目标地域和 Workspace。

3. 进入 数据集成 > 数据源管理(或 平台管理 > 数据源管理)。

4. 点击 添加数据源,选择 Hudi。

5. 填写连接配置与认证信息,详见 参数说明。

6. 点击 测试连接(参见 数据源连通性测试)。

7. 测试通过后点击 保存 或 保存 & 创建任务。

七、参数说明

参数 说明 是否必填 默认值
数据源名称 数据源在工作空间内的唯一标识 是 –
MetaStore URIs Hive Metastore 地址,格式 thrift://host:port 是 –
认证方式 Kerberos / Simple 是 Simple
Principal Kerberos 认证下的 principal 认证方式为 Kerberos 时必填 –
Keytab Kerberos 认证下的 keytab 文件 认证方式为 Kerberos 时必填 –
krb5.conf Kerberos 配置文件 认证方式为 Kerberos 时必填 –

八、离线单表

配置项 说明
数据来源 已配置的 Hudi 数据源
库 / 表 从 MetaStore 中选择库与表
查询类型 支持快照查询 / 增量查询

详细任务配置参见 表到表同步。

九、最佳实践

实践 建议
认证方式 安全集群优先使用 Kerberos
查询类型 增量场景使用增量查询,全量场景使用快照查询
网络打通 确保与 Hive Metastore 网络连通

十、Q:读取不到表元数据?

A:检查 MetaStore 地址可达性与认证配置,确认表已注册。

十一、Q:增量查询数据为空?

A:确认增量查询的时间范围与提交记录一致。

十二、相关文档

·添加数据源连接

·数据源连通性测试

·支持的数据源与读取能力

赞 (0)
上一篇 4天前
下一篇 4天前