数据集成提供了 TCHouse-P 的写入能力,这里说明使用 TCHouse-P 进行实时数据同步的当前能力支持情况。
相关产品
数据开发治理平台 WeData 产品页,含版本规格、价格与购买入口。
一、支持版本
目前数据集成已支持 TCHouse-P 单表及整库实时写入,使用实时同步能力需遵循以下版本限制:
二、使用限制
建议往行存表里写,不建议往列存表里写(可能出现数据膨胀问题)。
三、实时整库同步写入配置
| 参数 |
说明 |
| 数据去向 |
选择需要同步的目标数据源。 |
| 写入模式 |
Append:追加写入。无论是否有主键,以插入新行的方式追加写入数据,是否存在主键冲突取决于目标端。适用于无主键且允许数据重复的场景。无性能损耗。Upsert:更新写入。当主键不冲突时,可插入新行;当主键冲突时,则进行更新。适用于目标表有主键且需要根据源端数据实时更新的场景。会有一定的性能损耗。 |
| 库/Schema/表匹配策略 |
与来源库/表同名:默认情况下,同步任务中源端数据库、数据表将写入目标端同名库或同名表中。此策略下,任务运行时系统将默认在目标数据源内匹配与来源库/表同名对象。自定义:自定义规则支持设置来源与目标之间特殊关系,例如,统一将源端库名或表名加上统一固定前缀或者后缀在写入目标库或表任务运行时。此策略下,任务运行时系统将默认根据命名规则匹配目标对象。 |
| 高级设置 |
可根据业务需求配置参数。 |
四、实时单表同步写入配置
| 参数 |
说明 |
| 数据去向 |
需要写入的 TCHouse-P 数据源。 |
| 库 |
支持选择或者手动输入需写入的库名称。默认将数据源绑定的数据库作为默认库,其他数据库需手动输入库名称。当数据源网络不联通导致无法直接拉取库信息时,可手动输入数据库名称。在数据集成网络连通的情况下,仍可进行数据同步。 |
| Schema |
支持选择或者手动输入需写入的 Schema 名称。 |
| 表 |
支持选择、或者手动输入需写入的表名称。当数据源网络不联通导致无法直接拉取表信息时,可手动输入表名称。在数据集成网络连通的情况下,仍可进行数据同步。 |
| 一键建立目标表 |
当来源端为 MySQL、TDSQL-C MySQL、TDSQLMySQL、Oracle、PostgreQL、Oceanbase、达梦时,支持通过源表结构快速创建 TCHouse-P 目标表 |
| 主键 |
支持选择或者手动输入主键名称。根据主键做 Upsert 写入。 |
| 高级设置(选填) |
可根据业务需求配置参数。 |
五、支持的字段类型
TCHouse-P 写入支持的数据类型及转换对应关系如下:
| 内部类型 |
TDSQL PostgreSQL 类型 |
| TINYINT |
– |
| SMALLINT |
SMALLINT,INT2,SMALLSERIAL,SERIAL2 |
| INT |
INTEGER,SERIAL |
| BIGINT |
BIGINT,BGSERIAL |
| FLOAT |
REAL,FLOAT4 |
| DOUBLE |
FLOAT8,DOUBLE PRECISION |
| DECIMAL(p, s) |
NUMERIC(p, s),DECIMAL(p, s) |
| BOOLEAN |
BOOLEAN |
| DATE |
DATE |
| TIME [(p)][WITHOUT TIMEZONE] |
TIME [(p)][WITHOUT TIMEZONE] |
| TIMESTAMP [(p)][WITHOUT TIMEZONE] |
TIMESTAMP [(p)]WITHOUT TIMEZONE |
| BYTES,VARYING(n) |
BYTEA |
| CHAR(n) |
CHAR(n),CHARACTER(n) |
| VARCHAR(n) |
VARCHAR(n) |
| STRING |
TEXT,POINT,MONEY,JSON,UUID,XML |