一、监控指标及含义
| 指标类型 | 任务指标 | 含义 | 单位 |
| 读取端 | 读速率 | 从数据源端 Kafka Topic 每秒读取的消息条数 | Count/s |
| | 读流量 | 从数据源端 Kafka Topic 的每秒读取消息量 | MB/s |
| | 数据读取失败数 | 从数据源端 Kafka Topic 读取失败的消息数量 | Count/s |
| | 未读取数据堆积数量 | 消息已经生产但是还没有被读取的数量 | Count |
| 写入端 | 写速率 | 消息每秒写入到数据目标的数量 | Count/s |
| | 写流量 | 消息每秒写入到数据目标的总流量 | MB/s |
| | 任务同步延迟时间 | 消息从读取到写入完成的最大时间差 | ms |
| 任务性能指标 | 并发数 | 任务活跃的并发数量 | Count |
| | 任务健康状态 | 1表示健康,0表示非健康(异常、失败等) | None |
| | 目标连接健康状态 | 数据同步任务所属连接的状态,1表示健康,0表示非健康(异常、配置变更失败等) | None |
二、查看监控数据
1. 登录 CKafka 控制台。
2. 在连接器 > 任务列表页面,单击目标任务的“ID”,进入基本信息页面。
3. 在基本信息页面,选择顶部的监控页签,设置好时间范围后,可以查看对应的监控指标。
在监控页面,你可以进行如下操作:
| 操作 | 图标 | 说明 |
| 时间对比 | | 同环比对比按钮,单击可选择同比(上周同时段)、环比(昨天同时段)或自定义日期来对比集群状态在不同时段的变化情况。 |
| 刷新间隔 | | 刷新选项,单击左侧刷新按钮可刷新图表内容,单击右侧下拉选项可选择图表整体自动刷新时间,支持1分钟和5分钟。 |
| 复制到 Dashboard | | 单击可将图表复制到 Dashboard,关于 Dashboard 请参见 什么是 Dashboard。 |
| 显示图例 | | 勾选后可在图表上显示图例信息。 |
三、告警配置建议
本节为你介绍在使用 CKafka 连接器过程中需要重点关注的一些指标及其告警建议配置:
| 指标 | 告警配置建议 | 告警处理建议 |
| 数据读取失败数 | 统计粒度1分钟,“数据读取失败数”数值 > 100 Count/s,持续3个数据点,每15分钟告警一次 | 1. 排查上游系统是否运行正常,是否可以正常读取数据;2. 排查上游是否存在网络问题,网络故障可能导致无法读取数据;3. 排查上游系统的数据格式是否有调整;排除掉上述原因后,仍然异常,请联系我们。 |
| 任务健康状态 | 统计粒度1分钟,“任务健康状态”数值 = 0,持续3个数据点,每15分钟告警一次 | 排查上下游系统是否运行正常,如果上下游系统正常,读写也正常,而任务状态异常,请联系我们。 |
| 源连接健康状态 | 统计粒度1分钟,“源连接健康状态”数值 = 0,持续3个数据点,每15分钟告警一次 | 排查上游(源端)系统是否服务正常,如果服务正常,网络正常,而连接状态异常,请联系我们。 |
| 目标连接健康状态 | 统计粒度1分钟,“目标连接”数值 = 0,持续3个数据点,每15分钟告警一次 | 排查下游(目标端)系统是否服务正常,如果服务正常,网络正常,而连接状态异常,请联系我们。 |
四、配置告警策略
1. 进入告警页面,你可以在以下两个入口中任选一个:
·入口一:登录 CKafka 控制台,在连接器 > 任务列表页面,单击目标任务的“ID”,进入基本信息页面。顶部选择监控页签,单击监控图表右上角的配置告警按钮可以跳转到告警配置页面,页面默认设定的告警对象是跳转前对应的任务类型。
·入口二:登录腾讯云可观测平台控制台,在告警配置页面单击新建策略,监控类型选择云产品监控,策略类型选择消息队列 CKafka/连接器任务。
2. 在“告警对象”处选择你要设置告警的任务对象。
3. 设置告警触发条件,支持选择模板和手动配置,默认选择手动配置。
手动配置选择模板
·指标:例如“任务健康状态”,选择统计粒度为1分钟,则在1分钟内,任务健康状态连续N个数据点超过阈值,就会触发告警。
·告警频次:例如“每30分钟警告一次”,指每30分钟内,连续多个统计周期指标都超过了阈值,如果有一次告警,30分钟内就不会再次进行告警,直到下一个30分钟,如果指标依然超过阈值,才会再次告警。
1. 勾选选择模板后,单击新建触发条件模板,跳转到设置触发条件模板页面。
2. 在左上角单击新建触发条件模板,在新建模板页面,配置告警策略。
·策略类型:选择 消息队列 CKafka/连接器任务 类目下的策略类型。
·触发条件:根据我们提供的告警策略建议或者你实际的业务需求,设置好告警策略。
3. 确认无误后,单击保存,返回新建告警策略页,单击刷新,就会出现刚配置的告警策略模板。
注意:说明:
注意:关于配置告警策略功能的更多介绍,请参考配置指标告警文档。
4. 单击下一步:配置告警通知,配置告警通知人。
你可以选择系统预设的通知模板,预设模板的告警对象通常为主账号负责人。如你需要通知到实例负责人或其他人员,也可以单击新建模板来新建通知模板,设置告警接收对象和接收渠道。
新建通知模板的详细操作请参考新建通知模板。
5. 确认信息无误后,单击完成,即完成告警规则配置。