消息队列 CKafka 版 连接器简介

CKafka 连接器是腾讯云上一款 SaaS 化的数据接入和处理工具,能够一站式实现数据的高效接入、处理及分发。主要提供 Kafka to Kafka 和 Kafka to Elasticsearch Service 两款数据流转插件,并内置简单可配置的数据清洗(ETL)能力,帮助用户低成本构建稳定可靠的数据流转链路。

相关产品
消息队列 CKafka 版 产品页,含版本规格、价格与购买入口。

一、应用场景

数据已经存在缓存层的消息队列 Kafka 中,需要进行清洗格式化 ETL 处理后,存储到下游 Kafka。

·跨集群数据复制(腾讯云 CKafka 集群 → 腾讯云 CKafka 集群):生产环境与灾备集群的实时热备,分散业务数据的统一汇聚。

·跨云灾备(自建 Kafka 集群/其他云厂商 Kafka 集群 → 腾讯云 CKafka 集群):IDC 环境与云上环境的灾备,双云或多云灾备场景。

二、功能说明

基于 Kafka 原生协议提供高吞吐、毫秒级延迟的传输能力,支持数据流无缝同步,同时支持智能路由规则(按 Topic、字段内容过滤)。通过断点续传和自动重试机制保障数据一致性,可兼容自建或跨云 Kafka 集群。

三、业务举例

·电商订单数据实时分发给不同业务部门(如风控、物流、数据分析)分析。

·金融行业核心业务的搭建多活架构。

四、应用场景

CKafka 连接器支持将流式数据转化为可搜索、可分析的结构化存储,适用于实时日志监控、用户行为检索或 IoT 设备状态分析等多种场景。例如:

·业务日志通过 Kafka 同步至 Elasticsearch Service 后,并借助 Kibana 实现运维监控可视化。

·实时写入用户点击流或订单数据至 Elasticsearch Service,支持复杂条件的快速检索与查询。

五、功能说明

连接器提供近实时写入(数据秒级可见)、自动索引管理(动态适配 JSON 结构)及数据预处理能力(JSON 解析、字段裁剪),并通过死信队列机制有效隔离异常数据,结合重试策略保障传输可靠性。

六、业务举例

·在线教育平台中的用户学习行为分析。

·智能硬件场景下传感器异常数据的快速定位与排查。

七、CKafka 连接器插件生命周期说明

消息队列 CKafka 连接器目前商业化提供的插件为 Kafka to Kafka 和 Kafka to Elasticsearch Service。

商业化规划内的插件:

插件类型 插件名称 生命周期阶段 EOM 时间 EOS 时间
数据流出 消息队列 Kafka 商业化(GA) 暂无计划 暂无计划
 Elasticsearch Service 商业化(GA) 暂无计划 暂无计划
数据接入 消息队列 MQTT 公测 暂无计划 暂无计划

公测后计划下线的插件:

插件类型 插件名称 生命周期阶段 EOM 时间 EOS 时间
数据流出 CTSDB 停止新购(EOM) 2024年10月31日 2025年10月31日
 TDSQL-C PostgreSQL 停止新购(EOM) 2024年10月31日 2025年10月31日
 数据仓库 ClickHouse 停止新购(EOM) 2024年10月31日 2026年6月30日
 分析型数据库 Doris 停止新购(EOM) 2024年10月31日 2026年6月30日
 数据库 MySQL 停止新购(EOM) 2024年10月31日 2026年6月30日
 PostgreSQL 停止新购(EOM) 2024年10月31日 2026年6月30日
 云数据仓库 PostgreSQL 停止新购(EOM) 2024年10月31日 2026年6月30日
 TDSQL PostgreSQL版 停止新购(EOM) 2024年10月31日 2026年6月30日
 分布式数据仓库 TDW 停止新购(EOM) 2024年10月31日 2026年6月30日
 对象存储 COS 停止新购(EOM) 2024年10月31日 2026年6月30日
 日志服务 CLS 停止新购(EOM) 2024年10月31日 2026年6月30日
 云函数 SCF 停止新购(EOM) 2024年10月31日 2026年6月30日
 事件总线 EventBridge 停止新购(EOM) 2024年10月31日 2026年6月30日
数据接入 MariaDB 数据订阅 停止新购(EOM) 2024年10月31日 2025年10月31日
 TDSQL-C PostgreSQL 数据订阅 停止新购(EOM) 2024年10月31日 2025年10月31日
 MongoDB 数据订阅 停止新购(EOM) 2024年10月31日 2026年6月30日
 MySQL 数据订阅 停止新购(EOM) 2024年10月31日 2026年6月30日
 MySQL 数据接入 停止新购(EOM) 2024年10月31日 2026年6月30日
 PostgreSQL 数据订阅 停止新购(EOM) 2024年10月31日 2026年6月30日
 SQL Server 数据订阅 停止新购(EOM) 2024年10月31日 2026年6月30日
 TDSQL-C MySQL数据订阅 停止新购(EOM) 2024年10月31日 2026年6月30日
 数据上报 HTTP 停止新购(EOM) 2024年10月31日 2026年6月30日
 数据传输服务 DTS 停止新购(EOM) 2024年10月31日 2026年6月30日

注意:说明:

赞 (0)
上一篇 4天前
下一篇 4天前