一、支持的版本
| 类型 | 支持版本 |
| CKafka | 2.4.1 / 2.8.1 / 3.2.3 |
二、读取能力
| 能力 | 支持情况 | 说明 |
| 离线同步(读 / 写) | ✓ / – | 支持作为离线同步任务的源端读取数据;DataBuddy 数据源仅支持接入读取,不支持写入 |
| 实时同步(读 / 写) | ✓ / – | 支持作为实时同步任务的源端消费 Topic 消息;DataBuddy 数据源仅支持接入读取,不支持写入 |
完整数据源能力对照参见 支持的数据源与读取能力。
三、使用限制
| 限制项 | 说明 |
| 数据模型 | 以 Topic 为读取粒度,分区内消息有序 |
| 消息格式 | 支持 JSON、Avro 等格式 |
| 消费组 | 实时同步需配置独立的消费组 |
四、消息格式
| 格式 | 说明 |
| JSON | JSON 格式消息 |
| Avro | Avro 序列化消息 |
| Text | 纯文本消息 |
五、前提条件
在 CKafka 控制台创建实例与 Topic,并配置访问账号(SASL PLAINTEXT)。
请确保 DataBuddy 运行环境与 CKafka 网络连通,且已配置正确的消费组。
六、操作步骤
1. 登录 DataBuddy 控制台。
2. 在顶部切换到目标地域和 Workspace。
3. 进入 数据集成 > 数据源管理(或 平台管理 > 数据源管理)。
4. 点击 添加数据源,选择 CKafka。
5. 填写连接配置与认证信息,详见 参数说明。
6. 点击 连通性测试(参见 数据源连通性测试)。
7. 测试通过后点击 保存 或 保存 & 创建任务。
七、参数说明
| 参数 | 说明 | 是否必填 | 默认值 |
| 数据源名称 | 数据源在工作空间内的唯一标识 | 是 | — |
| 连接方式 | 腾讯云实例 / 串连接(Bootstrap Servers) | 是 | 腾讯云实例 |
| 地域、实例 | 腾讯云实例方式下选择目标实例 | 腾讯云实例必填 | — |
| Bootstrap Servers | 串连接方式下的 Broker 地址,格式 host1:port,host2:port | 串连接必填 | — |
| 认证方式 | PLAINTEXT / SASL_PLAINTEXT | 是 | PLAINTEXT |
| 用户名 / 密码 | SASL 认证下的账号 | SASL_PLAINTEXT 时必填 | — |
Bootstrap Servers 示例:
10.0.0.1:9092,10.0.0.2:9092
八、实时读取
| 配置项 | 说明 |
| 数据来源 | 已配置的 CKafka 数据源 |
| Topic | 选择目标 Topic |
| 消费组 | 配置独立消费组,避免与业务消费冲突 |
| 消息格式 | 选择 JSON / Avro / Text 等 |
九、离线读取
| 配置项 | 说明 |
| 数据来源 | 已配置的 CKafka 数据源 |
| Topic | 选择目标 Topic |
| 读取范围 | 支持从指定 Offset 或最早 / 最新位置读取 |
详细任务配置参见 表到表同步 与 实时整库多表任务配置。
十、最佳实践
| 实践 | 建议 |
| 消费组独立 | 为同步任务配置独立消费组 |
| 分区规划 | 合理规划 Topic 分区数,提升并行消费能力 |
| 网络打通 | 优先使用内网连接,提升传输性能 |
十一、Q:连接超时或被拒绝?
A:检查 Bootstrap Servers 地址与端口可达性,确认认证信息正确。
十二、Q:消费不到消息?
A:确认 Topic 存在、消费组配置正确,且 Offset 位置设置合理。
十三、相关文档
·添加数据源连接
·数据源连通性测试
·支持的数据源与读取能力
·实时整库多表任务配置