腾讯云数据仓库 TCHouse-D Prometheus 指标采集与监控配置指南

TCHouse-D 提供 Prometheus 监控采集接口,同一 VPC 内的 Prometheus 服务可通过配置采集任务获取集群节点监控数据。采集完成后,可在 Grafana 中通过 Prometheus 数据源配置可视化监控图表。 这里说明腾讯云环境 Prometheus 采集任务配置方式。

相关产品
腾讯云数据仓库 TCHouse-D 产品页,含版本规格、价格与购买入口。

一、TCHouse-D Prometheus 指标采集地址说明

注意:说明:

注意:以下 ${ip} 需替换为集群节点的实际 IP 地址。

采集类型 采集地址
FE(前端节点) http://${ip}:8030/metrics
BE(后端节点) http://${ip}:8040/metrics
BE brpc http://${ip}:8060/brpc_metrics
Node(节点系统) http://${ip}:9100/metrics

二、前提条件

·Prometheus 服务需与 TCHouse-D 实例部署在同一 VPC 下。

·登录腾讯云 Prometheus 控制台,按以下步骤操作。

·如使用自建 Prometheus 服务,参考采集任务配置进行配置即可。

三、配置步骤

1. 登录 腾讯云 Prometheus 控制台,单击实例 ID,进入实例详情页。

2. 依次选择数据采集 > 集成中心 > 抓取服务,进入指标抓取服务配置页面。

3. 配置抓取任务后,可在控制台查看指标抓取状态(成功/失败)。

四、各组件采集任务配置示例

以下为不同组件的 Prometheus 抓取任务 YAML 配置模板(job_name 需根据实际集群命名规范调整,targets 需替换为实际节点 IP 及端口):

五、FE 节点采集配置

job_name: "doris-fe-cdwdoris-xxx" # 任务名称,建议包含集群标识(如 cdwdoris-xxx)honor_timestamps: falsetrack_timestamps_staleness: falsemetrics_path: "/metrics" # 指标路径(FE 固定为 /metrics)enable_compression: falsefollow_redirects: falseenable_http2: falsestatic_configs: – targets: # 目标节点列表(替换为实际 FE 节点 IP:8030) – "10.0.0.1:8030" – "10.0.0.2:8030" – "10.0.0.3:8030"metric_relabel_configs: [] # 指标重标签配置(默认无需修改)

六、BE 节点采集配置

job_name: "doris-be-cdwdoris-xxx" # 任务名称,建议包含集群标识honor_timestamps: falsetrack_timestamps_staleness: falsemetrics_path: "/metrics" # 指标路径(BE 固定为 /metrics)enable_compression: falsefollow_redirects: falseenable_http2: falsestatic_configs: – targets: # 目标节点列表(替换为实际 BE 节点 IP:8040) – "10.0.0.4:8040" – "10.0.0.5:8040" – "10.0.0.6:8040"metric_relabel_configs: []

七、BE brpc 采集配置

job_name: "doris-be-brpc-cdwdoris-xxx" # 任务名称,标识 brpc 采集honor_timestamps: falsetrack_timestamps_staleness: falsemetrics_path: "/brpc_metrics" # brpc 指标路径(固定为 /brpc_metrics)enable_compression: falsefollow_redirects: falseenable_http2: falsestatic_configs: – targets: # 目标节点列表(替换为实际 BE 节点 IP:8060) – "10.0.0.4:8060" – "10.0.0.5:8060" – "10.0.0.6:8060"metric_relabel_configs: []

八、Node(节点系统)采集配置

注意:Node 采集依赖节点已部署 Node Exporter(默认端口 9100),指标路径为 /metrics 。

job_name: "doris-node-cdwdoris-xxx" # 任务名称,标识节点系统采集honor_timestamps: falsetrack_timestamps_staleness: falsemetrics_path: "/metrics" # 节点系统指标路径(固定为 /metrics)enable_compression: falsefollow_redirects: falseenable_http2: falsestatic_configs: – targets: # 目标节点列表(替换为所有节点 IP:9100) – "10.0.0.1:9100" – "10.0.0.2:9100" – "10.0.0.3:9100" – "10.0.0.4:9100" – "10.0.0.5:9100" – "10.0.0.6:9100"metric_relabel_configs: []

九、添加 Prometheus 数据源

若使用腾讯云 Prometheus 服务,配套 Grafana 已默认添加数据源,数据源名称通常为腾讯云 Prometheus 服务 ID(例如这篇示例中的 prom-akufkoto)。

十、创建 Dashboard 并配置图表

1. 进入 Grafana 控制台,点击 Create > Dashboard 新建面板。

2. 选择数据源为上述 Prometheus 数据源(如 prom-akufkoto),即可看到已采集的 TCHouse-D 指标。

3. 根据监控需求(如 FE/BE 负载、查询延迟、节点资源使用率等)配置图表,具体语法请参见 Grafana 产品文档。

十一、注意事项

1. 网络连通性:确保 Prometheus 服务可访问集群节点的对应端口(FE:8030、BE:8040、BE brpc:8060、Node:9100),可通过 telnet ${ip} ${port} 测试连通性。

2. 配置更新:修改采集任务后,需在 Prometheus 控制台重启抓取任务使配置生效。

通过以上步骤,即可完成 TCHouse-D 集群的 Prometheus 指标采集与 Grafana 可视化配置。如有疑问,可联系技术支持团队获取帮助。

赞 (0)
上一篇 5天前
下一篇 5天前