腾讯云可观测平台 ElasticSearch 目标

通过事件规则,可以以将收集到的事件投递到指定的投递目标完成处理与消费,目前事件总线支持 ElasticSearch(以下简称为 ES)作为投递目标,满足后续的分析与数据持久化需求。

相关产品
腾讯云可观测平台 产品页,含版本规格、价格与购买入口。

注意:说明:

注意:事件目标触达次数默认限频为:2000次/天。

一、操作场景

ES 事件目标可以更好地支持 ETL 场景与数据分析场景,尤其是针对日志数据的处理、分析、转储;同时后续能够满足 CSV 等结构化数据交付的需求。

二、主要功能

·支持自定义事件投递,自定义事件上报方案。

·支持 ES6、ES7 等不同版本的 ElasticSearch。

·支持自定义索引名前缀、索引轮换功能,自动生成目标索引名称。

·针对 DTS 场景,支持自定义 DTS 事件配置。

三、操作指南

在投递目标之前,选择合适的事件集,你可以选择云服务事件集和自定义事件集。

·云服务事件集:用于接收云服务告警、审计等类型事件,如希望配置告警,你需要在该事件集下绑定告警规则。

·自定义事件集:用于接收业务自定义事件,如消息队列事件处理、微服务架构解耦等,需要主动投递事件到对应事件集。

当事件源产生事件后,会根据指定事件规则投递到 ES 事件目标中,进行数据的分析、处理等操作。

四、配置事件集

1. 登录事件总线控制台,选择左侧导航栏中的 事件集。

2. 单击新建事件集,根据页面提示填写相关信息。如下:

·投递配置:需选择默认投递,事件总线会自动为你将命中规则但投递失败的事件,上报至指定日志集。

3. 单击确定。

4. 在事件集列表页,单击进入已经创建完成的事件集。

5. 在事件集详情 > 基本信息中,选择事件连接器右侧的添加。

6. 在“新建事件连接器”弹窗中,据页面提示填写相关信息。这篇以 配置 DTS 连接器 为例。如下: 

五、配置事件规则

1. 登录事件总线控制台,选择左侧导航栏中的 事件集。

2. 在事件集列表页,选择已经创建完成的事件集。

3. 在事件集详情页,单击管理事件规则。

4. 在事件规则列表页,单击新建。如下:

·事件匹配:用于事件的过滤筛选。在此处定义何种事件可以被匹配触发,可以配置自定义事件匹配模式,或者选择已有的模板规则。这篇选择数据订阅(DTS),即所有来自数据订阅(DTS)的事件都可以通过匹配。所有来自 TDMQ 消息队列的事件都可以通过匹配。

·事件目标:事件最终触发的目标。在绑定投递目标时,这篇选择 Elasticsearch。

5. 单击完成,创建成功后即可在事件规则列表页查看。如下:

六、流程测试

1. 登录 Mysql 实例,以新建数据表为例。

CREATE TABLE IF NOT EXISTS `runoob_tbl`(`runoob_id` INT UNSIGNED AUTO_INCREMENT,`runoob_title` VARCHAR(100) NOT NULL,`runoob_author` VARCHAR(40) NOT NULL,`submission_date` DATE,PRIMARY KEY ( `runoob_id` ))ENGINE=InnoDB DEFAULT CHARSET=utf8;

2. 查看 ES 日志记录。如下:


3. 登录 Kibana 查看记录,投递成功。如下:


赞 (0)
上一篇 4天前
下一篇 4天前