一、支持版本
目前数据集成支持 Hive 整库及单表实时写入,使用实时写入能力需遵循以下版本限制:
| 类型 | 版本 |
| Hive | 2.x, 3.x |
二、使用限制
·只支持 Append 写入,无法保证目标端数据不重复。
·不支持 DDL 变更,源端的 Schema 变更不会自动同步到目标端。
·全量阶段自动建表不支持同步 comment 信息。
三、实时整库同步写入配置
| 参数 | 说明 |
| 数据去向 | 选择需要同步的目标数据源。 |
| 写入模式 | Append:追加模式写入数据表(当前仅支持此模式)。 |
| 库/表匹配策略 | Hive 中数据库以及数据表对象的名称匹配规则:默认与来源库/来源表同名。自定义:支持使用内置参数和字符串组合生成目标库表名称。说明:示例:如来源表名称为 table1,映射规则为 ${table_name_di_src}_inlong,则 table1 的数据将被最终映射写入至 table1_inlong 中。 |
| 映射匹配预览 | 如果需要按单表粒度进行配置,或查看来源表的主键情况,可单击刷新源表和目标表映射。具体参见映射匹配预览 |
| 高级设置 | 可根据业务需求配置参数。 |
四、实时单表同步写入配置
| 参数 | 说明 |
| 数据去向 | 需要写入的 Hive 数据源。 |
| 库 | 支持选择、或者手动输入需写入的库名称。默认将数据源绑定的数据库作为默认库,其他数据库需手动输入库名称。当数据源网络不连通导致无法直接拉取库信息时,可手动输入数据库名称。在数据集成网络连通的情况下,仍可进行数据同步。 |
| 表 | 支持选择、或者手动输入需写入的表名称。当数据源网络不连通导致无法直接拉取表信息时,可手动输入表名称。在数据集成网络连通的情况下,仍可进行数据同步。 |
| 写入模式 | Hive 仅支持 Append 写入 |
| 高级设置 | 可根据业务需求配置参数。 |
五、支持的字段类型
| 内部类型 | Hive 类型 |
| CHAR(p) | char(p) |
| VARCHAR(p) | varchar(p) |
| STRING | string |
| BOOLEAN | boolean |
| TINYINT | tinyint |
| SMALLINT | smallint |
| INT | int |
| BIGINT | bigint |
| FLOAT | float |
| DOUBLE | double |
| DECIMAL(p, s) | decimal(p, s) |
| DATE | date |
| TIMESTAMP | timestamp(9) |
| BINARY | bytes |
| LIST | array |
| MAP | map |
| STRUCT | row |