大数据智能体工作台 DataBuddy CKafka 数据源

CKafka 是腾讯云提供的分布式消息队列服务,兼容 Apache Kafka 协议,适用于数据采集、流式处理等场景。DataBuddy 数据接入支持将 CKafka 作为来源端,覆盖离线与实时同步场景。这里说明其连接配置、能力支持范围、前提条件与常。

相关产品
大数据智能体工作台 DataBuddy 产品页,含版本规格、价格与购买入口。

一、支持的版本

类型 支持版本
CKafka 2.4.1 / 2.8.1 / 3.2.3

二、读取能力

能力 支持情况 说明
离线同步(读 / 写) ✓ / – 支持作为离线同步任务的源端读取数据;DataBuddy 数据源仅支持接入读取,不支持写入
实时同步(读 / 写) ✓ / – 支持作为实时同步任务的源端消费 Topic 消息;DataBuddy 数据源仅支持接入读取,不支持写入

完整数据源能力对照参见 支持的数据源与读取能力。

三、使用限制

限制项 说明
数据模型 以 Topic 为读取粒度,分区内消息有序
消息格式 支持 JSON、Avro 等格式
消费组 实时同步需配置独立的消费组

四、消息格式

格式 说明
JSON JSON 格式消息
Avro Avro 序列化消息
Text 纯文本消息

五、前提条件

在 CKafka 控制台创建实例与 Topic,并配置访问账号(SASL PLAINTEXT)。

请确保 DataBuddy 运行环境与 CKafka 网络连通,且已配置正确的消费组。

六、操作步骤

1. 登录 DataBuddy 控制台。

2. 在顶部切换到目标地域和 Workspace。

3. 进入 数据集成 > 数据源管理(或 平台管理 > 数据源管理)。

4. 点击 添加数据源,选择 CKafka。

5. 填写连接配置与认证信息,详见 参数说明。

6. 点击 连通性测试(参见 数据源连通性测试)。

7. 测试通过后点击 保存 或 保存 & 创建任务。

七、参数说明

参数 说明 是否必填 默认值
数据源名称 数据源在工作空间内的唯一标识 是 —
连接方式 腾讯云实例 / 串连接(Bootstrap Servers) 是 腾讯云实例
地域、实例 腾讯云实例方式下选择目标实例 腾讯云实例必填 —
Bootstrap Servers 串连接方式下的 Broker 地址,格式 host1:port,host2:port 串连接必填 —
认证方式 PLAINTEXT / SASL_PLAINTEXT 是 PLAINTEXT
用户名 / 密码 SASL 认证下的账号 SASL_PLAINTEXT 时必填 —

Bootstrap Servers 示例:

10.0.0.1:9092,10.0.0.2:9092

八、实时读取

配置项 说明
数据来源 已配置的 CKafka 数据源
Topic 选择目标 Topic
消费组 配置独立消费组,避免与业务消费冲突
消息格式 选择 JSON / Avro / Text 等

九、离线读取

配置项 说明
数据来源 已配置的 CKafka 数据源
Topic 选择目标 Topic
读取范围 支持从指定 Offset 或最早 / 最新位置读取

详细任务配置参见 表到表同步 与 实时整库多表任务配置。

十、最佳实践

实践 建议
消费组独立 为同步任务配置独立消费组
分区规划 合理规划 Topic 分区数,提升并行消费能力
网络打通 优先使用内网连接,提升传输性能

十一、Q:连接超时或被拒绝?

A:检查 Bootstrap Servers 地址与端口可达性,确认认证信息正确。

十二、Q:消费不到消息?

A:确认 Topic 存在、消费组配置正确,且 Offset 位置设置合理。

十三、相关文档

·添加数据源连接

·数据源连通性测试

·支持的数据源与读取能力

·实时整库多表任务配置

赞 (0)
上一篇 5天前
下一篇 5天前