消息队列 CKafka 版 Kafka Connect 接入 CKafka

Kafka Connect 目前支持两种执行模式:standalone 和 distributed。

相关产品
消息队列 CKafka 版 产品页,含版本规格、价格与购买入口。

一、以 standalone 模式启动 connect

通过以下命令以 standalone 模式启动 connect:

bin/connect-standalone.sh config/connect-standalone.properties connector1.properties [connector2.properties …]

接入 CKafka 与接入开源 Kafka 没有区别,仅需要修改 bootstrap.servers 为申请实例时分配的 IP。

二、以 distributed 模式启动 connect

通过以下命令以 distributed 模式启动 connect:

bin/connect-distributed.sh config/connect-distributed.properties

该模式下,kafka connect 会将 offsets、configs 和 task status 信息存储在 kafka topic 中,存储的 topic 在 connect-distributed 中的以下字段配置:

config.storage.topicoffset.storage.topicstatus.storage.topic

这三个 topic 需要手动创建,才能保证创建的属性符合 connect 的要求。

·config.storage.topic 需要保证只有一个 partition,多副本且为 compact 模式。

·offset.storage.topic 需要有多个 partition,多副本且为 compact 模式。

·status.storage.topic 需要有多个 partition,多副本且为 compact 模式。

配置 bootstrap.servers 为申请实例时分配的 IP;

配置 group.id,用于标识 connect 集群,需要与消费者分组区分开来。

赞 (0)
上一篇 4天前
下一篇 4天前