腾讯云数据仓库 TCHouse-D 日志分析

腾讯云数据仓库 TCHouse-D 支持日志采集,可以以按需针对集群开启日志服务。日志服务支持 ES 和 CLS 两种方式。

相关产品
腾讯云数据仓库 TCHouse-D 产品页,含版本规格、价格与购买入口。

一、开启日志服务

你可以在新建集群或集群运行中随时开启日志服务,以下将对相关操作详细说明。

二、新建集群开启

集群创建时,支持按需开启日志服务。若你选用 ES 日志服务(当前支持北京、上海、广州地区),需选择项目空间以便管理,若此前未创建过可点击 新建项目空间 快速创建 。日志分析功能由腾讯云 ES Serverless 服务提供,详情参见 ES Serverless 服务概述。

若你选用 CLS 日志服务,需选择或创建与集群处于相同地域的 CLS 日志集。CLS 日志默认保存时间为 30 天。

注意:我们会在你配置的日志集中创建新的日志主题,你可以通过 CLS 日志服务页面查看你的日志主题,已配置的日志主题切勿删除,否则将会导致日志检索页查询失败。

三、已有集群开启或修改

若你在集群创建时未开启日志服务,可随时登录 腾讯云数据仓库 TCHouse-D 控制台,通过集群列表的操作 > 更多 > 新建日志服务配置日志服务。对于未授权用户,需要授权后,再配置日志集。

四、日志分析

开通日志服务后,你可以在控制台便捷检索日志,辅助开展运维工作。

五、操作说明

1. 登录 腾讯云数据仓库 TCHouse-D 控制台,在集群列表中单击集群 ID/名称进入集群详情页,切换到日志检索页。

2. 支持节点日志和搜索两种页面模式。在节点日志模式下,你可根据节点 IP 和日志类型查看日志,并通过指定时间范围、关键词搜索等功能进行日志分析。

3. 在搜索模式下,你可以便捷地设置搜索关键词,在选定时间范围内检索日志,筛选结果按照节点 IP 进行分组。关键词语法与规则详见 关键词语法规则,查询结果默认展示各个节点最近100条记录。

六、如何正确阅读 FE/BE 日志?

很多情况下需要通过日志来排查问题,此处对 FE/BE 日志的格式和查看方式进行说明。

七、FE 日志

FE 日志主要包含:

·fe.log:主日志。包括除fe.out外的所有内容。

·fe.warn.log:主日志的子集,仅记录 WARN 和 ERROR 级别的日志。

一条典型的 FE 日志示例如下:

2021-09-16 23:13:22,502 INFO (tablet scheduler|43) [BeLoadRebalancer.selectAlternativeTabletsForCluster():85] cluster is balance: default_cluster with medium: HDD. skip

其中:

·2021-09-16 23:13:22,502:日志时间。

·INFO:日志级别,默认是INFO。

·(tablet scheduler|43):线程名称和线程 id。通过线程 id,就可以查看这个线程上下文信息,方面排查这个线程发生的事情。

·BeLoadRebalancer.selectAlternativeTabletsForCluster():85:类名、方法名和代码行号。

·cluster is balance xxx:日志内容。

八、BE 日志

BE 日志主要包含:

·be.INFO:主日志。这其实是个软连,连接到最新的一个 be.INFO.xxxx上。

·be.WARNING:主日志的子集,仅记录 WARN 和 FATAL 级别的日志。这其实是个软连,连接到最新的一个 be.WARN.xxxx上。

一条典型的 BE 日志示例如下:

I0916 23:21:22.038795 28087 task_worker_pool.cpp:1594] finish report TASK. master host: 10.10.10.10, port: 9222

·I0916 23:21:22.038795:日志等级和日期时间。大写字母 I 表示 INFO,W 表示 WARN,F 表示 FATAL。

·28087:线程 id。通过线程 id,就可以查看这个线程上下文信息,方面排查这个线程发生的事情。

·task_worker_pool.cpp:1594:代码文件和行号。

·finish report TASK xxx:日志内容。

赞 (0)
上一篇 4天前
下一篇 4天前