Elasticsearch Service 管道管理

Logstash 通过管道来实现数据的采集处理,它包含必选的 input 和 output 插件,以及可选的 filter 插件,并支持多管道并行运行,目前支持并行的上限为10个。这里说明如何通过配置文件管理管道,包括创建管道、修改管道、复制管道和删除管道。
。

相关产品
Elasticsearch Service 产品页,含版本规格、价格与购买入口。

一、创建管道

1. 登录 Elasticsearch Service 控制台,在左侧导航栏单击 Logstash 实例,进入 Logstash 实例列表页。

2. 在实例列表页,单击实例 ID/名称进入实例基本信息页,然后进入管道管理页签,单击新建管道。

3. 进入新建管道页面,单击引用模板进入选择模板页面。

4. 在选择模板页面,勾选默认提供的 input 和 output 模板,然后单击引用将模板引入到 Config 配置中。

5. Config 配置
用户需根据实际需要修改 Config 配置。

input { …}filter { …}output { …}

·参数说明

参数 说明
input 输入数据源配置。Logstash 支持的输入数据源类型,可参见 Input plugins
filter 对数据进行过滤或者预处理的配置。Logstash 支持的 filter 插件类型,可参见 Filter plugins
output 输出数据源配置。Logstash 支持的输出数据源类型,可参见 Output plugins

管道配置详情可参考 配置文件结构。

·修改参数配置

参数 说明 默认值
管道 ID pipeline.id,管道的唯一标识 –
管道工作线程 pipeline.workers,管道的工作线程数量,也是并行执行管道的 filter 和 output 的工作线程数量 实例单节点的 CPU 核数
管道批处理大小 pipeline.batch.size,每个批次处理的最大事件数量 125
管道批处理延迟 pipeline.batch.delay,当管道批处理大小不满足时,每个批次最大的等待时间,单位为毫秒 50ms
队列类型 queue.type,用于事件缓冲的排队模型,可选值为 memory(基于内存的内列)或者 persisted(基于磁盘的持久化队列) memory
队列最大字节数 queue.max_bytes,当选择 persisted 队列类型时,队列中可存放的最大字节数量,需确保该值小于实例单节点的磁盘容量 1024MB
队列检查点写入数 queue.checkpoint.acks,当选择 persisted 队列类型时,在强制执行检查点时已写入的最大的事件数量,若设置为0,则表示无限制 1024

6. 单击保存或者保存并部署,即可新建管道。新建的管道需要保存并部署才能生效。

·单击保存:保存管道信息到 Logstash 并触发实例变更,配置不会生效。保存后返回管道管理页,可在管道列表中选择操作 > 部署,触发实例自动加载管道配置并生效。

·单击保存并部署:保存并且部署后,触发实例自动加载管道配置并生效。

二、修改管道

修改管道后,需要保存并部署才能生效,此操作会触发实例自动加载管道配置并生效。

1. 在管道列表中,单击要修改的管道 ID,可以进入管道修改页。

2. 在管道修改页,单击修改,修改管道的Config 配置和参数配置。

3. 单击保存并部署,待实例自动加载管道配置后完成管道修改。

三、复制管道

复制管道后,需要保存并部署才能生效,此操作会触发实例自动加载管道配置并生效。

1. 在管道列表中,找到需要复制的管道,在操作列中单击复制。

2. 在复制管道页,修改管道 ID。

3. 单击保存并部署,待实例自动加载管道配置后完成管道修改。

四、删除管道

1. 在管道列表中,找到需要删除的管道,在操作列中单击删除。

2. 在删除管道对话框中,单击确定删除管道。

赞 (0)
上一篇 4天前
下一篇 4天前