日志服务从 Elasticsearch 导入数据

一、前提条件

·已有可用的自建 ES 集群或腾讯云 ES 集群。

·ES 需要为 6.x 以上版本。

·已创建日志集和日志主题。具体操作请参见日志集和日志主题。

·所配置的 ES 账号必须具备以下权限：

·monitor：用于查看版本信息，获取索引是否存在以及索引数量。

·create_doc：用于 scroll 使用。

二、步骤1：选择日志主题

创建新的日志主题使用现有的日志主题如果你想选择新的日志主题，可执行如下操作：1. 登录日志服务控制台。2. 在左侧导航栏中，选择概览，进入概览页面。3. 在快速接入 > 数据导入中，找到并单击 ES 数据导入，进入采集配置流程。4. 在创建日志主题页面，根据实际需求，输入日志主题名称，配置日志保存时间等信息，单击下一步。如果你想选择现有的日志主题，可执行如下操作：1. 登录日志服务控制台。2. 在左侧导航栏中，选择日志主题，选择需要投递的日志主题，单击日志主题名称，进入日志主题管理页面。3. 选择采集配置页签，在 ES 数据导入栏单击新增。

三、步骤2：配置 ES 集群基本信息

1. 访问方式：支持选择通过内网地址或公网地址访问你的 ES 集群。

2. 基于选择的访问方式，请参见如下说明配置对应参数：

公网访问内网访问

参数	是否必填	说明
公网访问地址	是	Elasticsearch 集群的服务地址，填写 IP 或者域名
ES 端口	是	Elasticsearch 集群访问端口，一般为 9200
用户名	否	Elasticsearch 用户名。仅在 Elasticsearch 集群开启用户认证时需要设置。
密码	否	Elasticsearch 用户密码。仅在 Elasticsearch 集群开启用户认证时需要设置。

参数	是否必填	说明
网络服务类型	是	若访问方式为通过内网地址访问，需指定目标 ES 集群的网络服务类型：CVMCLB
所属网络	是	当网络服务类型选择为 CVM 或 CLB 时，需选择 CVM 或 CLB 所在的 VPC 实例。
内网访问地址	是	Elasticsearch 集群的服务地址，填写 IP 或者域名。
ES 端口	是	Elasticsearch 集群访问端口，一般为 9200。
用户名	否	Elasticsearch 用户名。仅在 Elasticsearch 集群开启用户认证时需要设置。
密码	否	Elasticsearch 用户密码。仅在 Elasticsearch 集群开启用户认证时需要设置。

3. 完成集群配置后，可点击校验连通性。若提示成功则表示能够访问 ES 集群。

四、步骤3：配置 ES 集群导入规则

1. 配置导入规则。

具体配置内容见下方的表格。

参数	说明
导入规则	导入配置的名称。
索引列表	待导入的索引，多个索引之间使用英文逗号（,）隔开，例如 index1,index2,index3…. 最大支持200个索引。
ES 查询语句	用于过滤数据的查询语句，符合查询条件的数据才会导入到日志服务中。指定为 * 或置空表示导入时不过滤数据。查询语句必须符合 Elasticsearch 的 query_string 格式，详细信息请参见 Query string query。
导入模式	支持选择导入历史数据和导入新增数据导入历史数据：数据导入完成后，任务就会完成。导入新增数据：导入任务会一直运行。如果选择导入新增数据，必须指定时间字段。
日志时间来源	支持选择日志采集时间和指定日志字段。日志采集时间：日志导入到 CLS 的时间作为日志的时间戳指定日志字段：指定日志中代表时间的字段名，该字段的值将会用作日志的时间戳。注意：使用采集时间作为时间字段场景下，ES 集群需开启对_id 字段的排序。
日志时间字段	日志时间来源为指定日志字段时才需要填写该内容，指定日志中代表时间的字段名，该字段的值将会用作日志的时间戳。注意：指定的时间字段类型需要为 keyword 类型，指定为 text/nested/object/binary 不支持排序会导致数据导入失败。
时间解析格式	确认了日志中的时间字段，需进一步指定时间格式，用于解析时间字段的值。详情请参见配置时间格式。
时间字段时区	确认了日志中的时间字段与格式，需选择以下两种不同的时区标准：UTC （协调世界时）GMT （格林威治标准时间）
导入时间范围	指定需导入的日志的时间范围。只有设置了时间字段后，此配置才有效。
起始时间	只有当导入模式为导入新增数据，才会有该选项。指定导入数据的起始时间
数据最大延迟	用于指定数据产生到写入 ES 的最大延迟时间。默认600s，最大3600s。仅导入模式为自动导入新增数据后，此配置才有效。如果设置的值比真实延迟小，将导致有些数据无法从 ES 导入到日志服务。
检查新数据周期	检查 ES 中新增数据的周期，默认值为300s，最小值60s。

2. 配置好内容后，单击预览可查看基于当前配置的数据导入结果。如果预览到的数据不符合预期，请修改配置后重试。

如你需要对采集到的 CLS 日志进一步处理，如结构化、脱敏、过滤，然后再写入日志主题，你可单击页面下方的数据加工，添加数据加工，最后配置索引。

注意：说明：

五、步骤4：检查索引配置

在索引配置页面，设置如下信息，配置详情请参见索引配置。

注意：检索必须开启索引配置，否则无法检索。

六、步骤5：查看 ES 导入任务

完成 ES 导入任务后，你可在日志主题详情页的采集配置页签中找到所有已创建的 ES 导入任务。

七、步骤6：检索分析日志

完成 ES 导入任务后，即可开始使用日志的检索与分析，以及更高阶的仪表盘告警等功能了。

·检索分析

·监控告警

·仪表盘

·数据加工

八、元数据字段

字段	描述
__TAG__.es_url	日志来源的 ES 集群的 URL 地址。
__TAG__.es_index	日志来源的索引信息。

其中日志所属的 ES 文档 ID（_id 字段），不作为元数据字段，作为日志字段在日志中呈现。

九、规格与限制

限制	描述
单条日志大小	支持导入的单条日志最大为1M。超过限制的部分会丢弃。
导入任务数量	1个主题支持最多100个 ES 导入任务。
导入索引数量	1个任务最大支持200个 ES 索引的导入。

日志服务 从 Elasticsearch 导入数据