云函数 消息队列 CKafka

这里说明如何通过云函数 SCF 将 CLS 日志转储至消息队列 CKafka。其中,CLS 主要用于日志采集,SCF 主要提供数据加工的节点计算能力,CKafka 主要提供数据流终端转储能力。数据处理流程图。

相关产品
云函数 产品页,含版本规格、价格与购买入口。

一、创建日志集和主题

1. 登录 日志服务控制台,在左侧导航栏中单击日志主题。

2. 进入日志集管理页面,在页面上方选择日志集的地域。

3. 单击创建日志主题,在弹出的创建日志集窗口中,填写相关信息:

·日志主题名称:例如 project_test

·日志集名称:例如 nginx


4. 单击确定,即可创建日志集和主题。

5. 日志主题新增成功,将进入日志主题管理页:


二、创建云函数 SCF

1. 登录 Serverless 控制台,进入函数服务页面。

2. 在“函数服务”页面上方选择北京地域,并单击新建进入新建函数页面,配置以下参数:

·函数名称:命名为 “CLSdemo”。

·运行环境:选择 “Python 2.7”。

·创建方式:选择模板函数。

·模糊搜索:输入“CLS数据转存到CKAFKA”,并进行搜索。

3. 单击模板中的查看详情,即可在弹出的“模板详情”窗口中查看相关信息,支持下载操作。


4. 基本信息配置完成之后,单击下一步,进入函数配置页面。

5. 函数配置保持默认配置,单击完成,完成函数的创建。

注意:函数需要在函数配置页面中,选择和 CKafka 相同的 VPC 和子网。如下:

注意:

三、配置 CLS 触发器

1. 登录 日志服务控制台,在左侧导航栏中单击日志主题。

2. 找到已创建的日志集,例如“project_test”,在其右侧操作栏中,单击查看,进入日志集详情页面。

3. 在日志主题详情页面,选择函数处理并单击右上角的新建。在弹出的“函数处理”窗口中添加已创建完成的函数。如下:

主要参数信息如下,其余配置项请保持默认:

·命名空间:选择函数所在的命名空间。

·函数名:选择 创建云函数 SCF 步骤中已创建的云函数。

·别名:选择函数别名。

·最长等待时间:单次事件拉取的最长等待时间,默认60s。

四、测试函数功能

1. 下载 测试样例 中的日志文件,并解压出 demo-scf1.txt,导入至源端 CLS 服务。

2. 切换至 Serverless 控制台,查看执行结果。
在函数详情页面中选择日志查询页签,可以看到打印出的日志信息。如下:


3. 切换至 CKafka 控制台,查看数据转储及加工结果。

注意:说明:

注意:你可以根据自身的需求编写具体的数据加工处理方法。

赞 (0)
上一篇 4天前
下一篇 4天前