一、应用场景
数据已经存在缓存层的消息队列 Kafka 中,需要进行清洗格式化 ETL 处理后,存储到下游 Kafka。
·跨集群数据复制(腾讯云 CKafka 集群 → 腾讯云 CKafka 集群):生产环境与灾备集群的实时热备,分散业务数据的统一汇聚。
·跨云灾备(自建 Kafka 集群/其他云厂商 Kafka 集群 → 腾讯云 CKafka 集群):IDC 环境与云上环境的灾备,双云或多云灾备场景。
二、功能说明
基于 Kafka 原生协议提供高吞吐、毫秒级延迟的传输能力,支持数据流无缝同步,同时支持智能路由规则(按 Topic、字段内容过滤)。通过断点续传和自动重试机制保障数据一致性,可兼容自建或跨云 Kafka 集群。
三、业务举例
·电商订单数据实时分发给不同业务部门(如风控、物流、数据分析)分析。
·金融行业核心业务的搭建多活架构。
四、应用场景
CKafka 连接器支持将流式数据转化为可搜索、可分析的结构化存储,适用于实时日志监控、用户行为检索或 IoT 设备状态分析等多种场景。例如:
·业务日志通过 Kafka 同步至 Elasticsearch Service 后,并借助 Kibana 实现运维监控可视化。
·实时写入用户点击流或订单数据至 Elasticsearch Service,支持复杂条件的快速检索与查询。
五、功能说明
连接器提供近实时写入(数据秒级可见)、自动索引管理(动态适配 JSON 结构)及数据预处理能力(JSON 解析、字段裁剪),并通过死信队列机制有效隔离异常数据,结合重试策略保障传输可靠性。
六、业务举例
·在线教育平台中的用户学习行为分析。
·智能硬件场景下传感器异常数据的快速定位与排查。
七、CKafka 连接器插件生命周期说明
消息队列 CKafka 连接器目前商业化提供的插件为 Kafka to Kafka 和 Kafka to Elasticsearch Service。
商业化规划内的插件:
| 插件类型 | 插件名称 | 生命周期阶段 | EOM 时间 | EOS 时间 |
| 数据流出 | 消息队列 Kafka | 商业化(GA) | 暂无计划 | 暂无计划 |
| | Elasticsearch Service | 商业化(GA) | 暂无计划 | 暂无计划 |
| 数据接入 | 消息队列 MQTT | 公测 | 暂无计划 | 暂无计划 |
公测后计划下线的插件:
| 插件类型 | 插件名称 | 生命周期阶段 | EOM 时间 | EOS 时间 |
| 数据流出 | CTSDB | 停止新购(EOM) | 2024年10月31日 | 2025年10月31日 |
| | TDSQL-C PostgreSQL | 停止新购(EOM) | 2024年10月31日 | 2025年10月31日 |
| | 数据仓库 ClickHouse | 停止新购(EOM) | 2024年10月31日 | 2026年6月30日 |
| | 分析型数据库 Doris | 停止新购(EOM) | 2024年10月31日 | 2026年6月30日 |
| | 数据库 MySQL | 停止新购(EOM) | 2024年10月31日 | 2026年6月30日 |
| | PostgreSQL | 停止新购(EOM) | 2024年10月31日 | 2026年6月30日 |
| | 云数据仓库 PostgreSQL | 停止新购(EOM) | 2024年10月31日 | 2026年6月30日 |
| | TDSQL PostgreSQL版 | 停止新购(EOM) | 2024年10月31日 | 2026年6月30日 |
| | 分布式数据仓库 TDW | 停止新购(EOM) | 2024年10月31日 | 2026年6月30日 |
| | 对象存储 COS | 停止新购(EOM) | 2024年10月31日 | 2026年6月30日 |
| | 日志服务 CLS | 停止新购(EOM) | 2024年10月31日 | 2026年6月30日 |
| | 云函数 SCF | 停止新购(EOM) | 2024年10月31日 | 2026年6月30日 |
| | 事件总线 EventBridge | 停止新购(EOM) | 2024年10月31日 | 2026年6月30日 |
| 数据接入 | MariaDB 数据订阅 | 停止新购(EOM) | 2024年10月31日 | 2025年10月31日 |
| | TDSQL-C PostgreSQL 数据订阅 | 停止新购(EOM) | 2024年10月31日 | 2025年10月31日 |
| | MongoDB 数据订阅 | 停止新购(EOM) | 2024年10月31日 | 2026年6月30日 |
| | MySQL 数据订阅 | 停止新购(EOM) | 2024年10月31日 | 2026年6月30日 |
| | MySQL 数据接入 | 停止新购(EOM) | 2024年10月31日 | 2026年6月30日 |
| | PostgreSQL 数据订阅 | 停止新购(EOM) | 2024年10月31日 | 2026年6月30日 |
| | SQL Server 数据订阅 | 停止新购(EOM) | 2024年10月31日 | 2026年6月30日 |
| | TDSQL-C MySQL数据订阅 | 停止新购(EOM) | 2024年10月31日 | 2026年6月30日 |
| | 数据上报 HTTP | 停止新购(EOM) | 2024年10月31日 | 2026年6月30日 |
| | 数据传输服务 DTS | 停止新购(EOM) | 2024年10月31日 | 2026年6月30日 |
注意:说明: