数据开发治理平台 WeData TDMQ Pulsar 数据源

这篇说说TDMQ-Pulsar离线单表写入节点的配置参数,包括数据去向、命名空间、Topic、序列化与压缩格式,并说明Pulsar消息最大5MB、压缩后支持20MB的限制。 序列化格式:支持JSON与CSV两种类型。 压缩格式:支持LZ4、ZLIB、ZSTD、SNAPPY四种,用于处理超5MB的消息体。

相关产品
数据开发治理平台 WeData 产品页,含版本规格、价格与购买入口。

一、使用限制

支持虚拟集群版本

二、TDMQ-pulsar 离线单表写入节点配置

参数 说明
数据去向 选择当前项目中可用的 CTSDB influxDB 数据源。
命名空间 支持选择或手动输入需写入的 TDMQ Pulsar 数据源中的命名空间。
Topic 支持选择或手动输入需写入的 TDMQ Pulsar 数据源中的 Topic。
Topic 类型 所选 Topic 对应的类型,可在 TDMQ Pulsar 控制台 > Topic 管理 > 类型中查看。
序列化格式 TDMQ Pulsar 消息序列化格式类型,支持 JSON、CSV。
压缩格式 Pulsar 限制消息最大为5MB,消息体过大将会导致消息发送失败。这时需要客户端将大消息进行压缩,以支持20MB大小的消息体发送。支持 LZ4、ZLIB、ZSTD、SNAPPY 四种压缩格式。
赞 (0)
上一篇 5天前
下一篇 5天前