日志服务 索引配置

一、功能介绍

索引配置的核心是对原始日志进行“分词”，以快速且便捷地根据特定的检索条件检索日志。同时在索引配置中还可以针对特定的字段“开启统计”，便于使用 SQL 对日志进行统计分析。

检索一个较长的日志时，通常只使用其中一部分内容进行检索。例如：需要检索出包含 sample 的如下完整日志：

10.20.20.10;[2018-07-16 13:12:57];GET /online/sample HTTP/1.1;200

由于日志全文很长，除 sample 外还有很多其他内容，其与检索条件并不是直接相等，因此不能直接使用 sample 作为检索条件来检索该日志。为满足该检索需求，需要将日志全文切分为多个片段，每个片段称之为一个“词”，而这个过程称之为“分词”。

例如：按符号对上述示例日志进行切分，只要出现了@&()='",;:<>[]{}/ \\n\\t\\r\\\\范围内的符号，就切分日志，将得到如下的词：

检索条件为 sample 时，上述分词后的日志包含 sample，即认为符合检索条件。

检索条件本身也会进行分词，例如下2种检索条件：

·检索条件 A："/online/sample"

·双引号表示日志需同时存在这两个词，且两个词顺序严格一致才符合检索条件。

·上述示例日志同时包含 online 和 sample，且词的顺序与检索条件一致，符合该检索条件。

·检索条件 B："/online/login"

上述示例日志不包含 login，不符合该检索条件。

日志服务包含以下两类索引：

二、全文索引

三、键值索引

注意：说明：

注意：已开启全文索引时，键值索引不产生任何额外索引流量/存储费用，建议你尽量多地为字段开启键值索引，以获得更好的检索分析体验。

为满足最基本的日志检索要求，日志服务针对 日志 中部分内置保留字段自动创建了键值索引，但不会产生索引流量，不会增加费用，具体如下：

四、自动配置

开启自动配置开关后，将自动把日志内的字段添加到键值索引中，包括日志中新增的字段。

添加字段时，将根据字段值自动判断字段类型，将字段类型设置为 text、long 或 double，并使用如下配置。如果以下配置不满足使用需求（例如字段类型不正确），可在添加后的字段上手动修改。

注意：说明：

注意：日志字段名称仅支持字母、数字、下划线和-./@，且不能以下划线开头，不符合该规则的字段不会添加到键值索引中。

日志字段为 json 字符串时，默认不会解析 json。如需将 json 中的子级字段添加至键值索引，请手动添加其中的任意子级字段，后续将自动把该子级字段的同层级字段添加到键值索引中。也可将字段类型修改为 json，将自动把当前 json 字段及其子级（一层）字段添加到键值索引中。

注意：说明：

注意：json 类型目前仅部分用户或日志主题支持，如需使用请 联系我们 开启功能白名单。

例如原始日志共三个字段：

key1:textValuekey2:123key3:{"ip":"123.123.123.132","url":"class/132.html","detail":{"status_code":"500","id":13}}

自动添加的键值索引为：

如果手动将字段 key3 修改为 key3.ip，将自动把 ip 同级的字段 url 及 detail 添加到键值索引中：

五、高级设置

为满足部分特殊使用场景，索引配置提供如下高级设置。实际使用过程中，建议你采用推荐配置。通过控制台新建索引配置时，也会默认采用推荐配置。

六、编辑索引配置

1. 登录 日志服务控制台。

2. 在左侧导航栏中，单击日志主题，进入日志主题列表页。

3. 单击需要配置索引的日志主题 ID/名称，进入日志主题管理页。

4. 选择索引配置然后单击编辑，进入编辑索引配置页面，配置项说明请参见 全文索引 及 键值索引。

注意：说明：

注意：

七、导入索引配置

1. 登录 日志服务控制台。

2. 在左侧导航栏中，单击日志主题，进入日志主题列表页。

3. 单击需要配置索引的日志主题 ID/名称，进入日志主题管理页。

4. 选择索引配置页签，单击导入配置规则。

5. 在对话框中，选择需要导入的日志主题索引配置，单击确定，将选中的日志主题的索引配置填写至当前日志主题的索引配置中。

6. 确认无误后，单击确定，即可保存当前日志主题的索引配置。

八、费用说明

开启索引后会产生索引流量及索引存储费用，请参见 计费概述。如需降低相关费用，请参见 节省产品使用成本。

九、规格与限制

索引的规格与限制，请参见 规格与限制。

十、创建索引出现异常是什么意思？__RAWLOG__及__INDEX_STATUS__是什么？

日志创建索引过程中，如果原始日志格式异常或索引配置与原始日志不匹配，可能会导致日志创建索引异常，此时 CLS 为了确保日志不丢失，会将原始日志存储在__RAWLOG__中，作为兜底的异常处理方式。__INDEX_STATUS__则为创建索引异常的原因。

·__RAWLOG__仅支持全文检索（需开启全文索引），不支持键值检索、键值索引和统计分析。

·__INDEX_STATUS__支持全文检索及键值检索，使用__INDEX_STATUS__:*可以查询所有索引创建异常的日志。

注意：说明：

注意：产生异常的日志，开启全文索引后，仍按照原始日志全文计算索引流量、索引存储及对应费用，不产生额外费用。

创建索引异常包含两类情况：

1. 日志中所有的字段均未按照索引配置成功创建索引，此时日志中仅具备__RAWLOG__字段，只能使用全文检索。

2. 日志中部分字段未成功创建索引，部分字段成功创建索引，此时日志中既具备__RAWLOG__字段，又具备创建索引成功的部分字段。

在索引配置-高级设置中还可以将异常部分的字段存储在指定字段中（默认为 RAWLOG_FAIL_PART，支持配置键值索引及统计分析）。

CLS 会不断优化索引配置对原始日志的兼容性，尽量避免日志出现上述异常情况。随着产品迭代升级，具体的异常处理规则可能会发生变化。