日志服务 创建加工任务

这篇会为你介绍如何创建加工任务。

一、前提条件

·已开通日志服务，创建源日志主题、并成功采集到日志数据。

·已 创建目标日志主题。建议目标日志主题为空主题，便于加工好的数据写入。

·确保当前操作账号拥有配置数据加工任务的权限，请参见 CLS 访问策略模板。

二、操作步骤

2. 单击新建。配置基本信息：

前置数据加工非前置数据加工

前置数据加工的价值：

前置数据加工的使用场景：

日志采集至 CLS，需要先进行数据加工（过滤、结构化），再写入日志主题。例如：日志主题名为"test"，使用 LogListener 采集了数据，现需将 loglevel="Error"的日志写入"test"，其余的日志不上报，那么可以创建一个前置数据加工任务"my_transform"来完成。

前置数据加工

注意：说明：

配置项：

非前置数据加工主要用于日志分发的场景：

·分发至固定日志主题的使用场景。

用于分发的目标日志主题确定的场景。示例：将源日志主题中的 loglevel= warning 日志输出到名称为 WARNING 的日志主题，将 loglevel=error 日志输出到名称为 ERROR 的日志主题，将 loglevel=info 的日志输出到名称为 INFO 的日志主题。请参见 log_output 函数。

·分发至动态日志主题的使用场景。

用于分发目标日志主题较多或者无法确定的场景。示例：你的日志中有一个名为"AppName "的 Key (字段)， 这个字段由于业务的原因，会随着时间不断的新增 Value，而你需要按照"AppName"来分发日志，适合使用此选项。请参见 log_auto_output 函数。

配置项：

分发至固定日志主题分发至动态日志主题

3. 配置完成后单击下一步。

4. 编辑/调试加工语句。在页面左下方，你可以看到原始日志和测试数据两个标签，页面右下方是加工结果。支持通过对比原始/测试数据和加工结果，来调试你的加工语句。

·原始日志：系统会自动加载原始日志数据，默认100条。

·测试数据：系统随机加载的原始数据，可能无法满足你的调试需求，那么你可在原始数据页签，单击加入测试数据，将原始日志加入到测试数据中，然后在测试数据页签，修改这些数据，使其满足你的调试需求。

你可选择语句模式或交互模式来编写加工语句。

语句模式交互模式

·方法一：使用 AI 生成加工语句（推荐）

单击原始日志右上角的 AI 图标，可将该原始日志加入到日志服务 AI 助手的对话框，然后用自然语言描述你的加工需求，例如“保留 Loglevel=Error 的日志”，“对该日志进行结构化”，然后单击发送图标，AI 助手会给出加工的语句，你可复制该语句到加工语句编辑框。如果 AI 给出的语句不准确，你可通过多轮对话来获取准确的加工语句，举例说明如下。

原始日志中的待加工的日志：

{ "content": "[2021-11-24 11:11:08,232][328495eb-b562-478f-9d5d-3bf7e][INFO] curl -H 'Host: ' http://abc.com:8080/pc/api -d {\\"version\\": \\"1.0\\",\\"user\\": \\"CGW\\",\\"password\\": \\"123\\"}"}

和 AI 多轮对话：

加工结果：

{"level":"INFO","password":"123","requestid":"328495eb-b562-478f-9d5d-3bf7e","time":"2021-11-24 11:11:08,232","user":"CGW","version":"1.0"}

·方法二：手动编写语句

请参见 数据加工实战案例 或者 函数总览。

你可在编辑加工语句页面切换至交互模式。

·添加可视化函数：单击，选中你需要添加的可视化函数大类、可视化函数名称。

·调试可视化函数：单击可视化函数右上角的▶️。

·删除可视化函数：单击可视化函数右上角的 X。

·编辑可视化函数：单击可视化函数右上角的 。

当前支持的可视化函数如下：

详细函数使用案例，请参见 可视化函数。

完成 DSL 加工语句的编写后，单击页面左上角执行预览或者断点调试（交互模式下为可视化函数右上角的▶️），运行和调试 DSL 函数。运行结果会在右侧展示，你可以根据运行结果，调整 DSL 语句，直到满足你的需求。

5. 单击确定，提交数据加工任务。