日志服务 检索分析相关

这篇列出了腾讯云日志服务中日志主题和指标主题的检索分析规格限制,包括索引字段数量、查询并发、超时时间等关键参数。 日志主题索引:单个主题最多300个字段,字段层级不超10层,索引配置仅对新数据生效。 日志主题查询:支持15并发,单次查询超时55秒,结果最多返回1000条原始日志或100万条分析结果。 指标主题查询:支持15并发,单次查询超时55秒,涉及time series不超20万。

相关产品
日志服务 产品页,含版本规格、价格与购买入口。

一、日志主题

日志主题检索分析规格限制如下表:

分类 限制项 说明
索引 字段数量 单个日志主题键值索引最多可添加300个字段(含 元数据字段)。
 字段名称 支持除*\\",外的所有英文字母、符号及数字,不能以_开头(__CONTENT__字段例外)。不允许同时包含 JSON 父子级字段,例如a及a.b。
 字段层级 为多层级 JSON 配置键值索引时,Key 的层级不能超过10层,例如 a.b.c.d.e.f.g.h.j.k。
 分词符 仅支持英文符号、\\n\\t\\r及转义符\\。
 字段长度 检索限制:每个字段仅前1MB的日志参与检索,超出部分无法执行检索。统计限制:开启统计后,每个字段仅前32766个字节参与 SQL 运算,超出部分无法执行 SQL。超出上述限制的日志字段,仍会完整存储,可查看或下载,只是超出部分无法检索或统计。
 分词长度 分词后,单个词仅前10000个字符参与检索,超出部分无法执行检索,但仍会完整存储日志。
 数值字段精度及范围 long 类型字段支持数据范围为-1E15 ~ 1E15,超出该范围的数据可能会丢失精度或不支持检索。double 类型字段支持数据范围为-1.79E+308 ~ +1.79E+308,如果浮点数编码位数超过64位,会造成精度丢失。超长数值字段索引配置建议:如果不需要通过数值范围比较来检索该字段,可将该字段存储为 text 类型。如果需要通过数值范围比较来检索该字段,可将该字段存储为 double 类型,可能会丢失部分精度。
 生效机制 索引配置仅针对新采集的数据生效,索引规则编辑后仅对新写入的日志生效,已有数据不会更新。如需更新已有数据,需重建索引。
 修改索引配置 创建、修改及删除索引配置时,单个用户最大同时拥有10个执行中的任务,超出后需等待之前的任务执行完毕,单个任务执行一般不超过1分钟。
 重建索引 单个日志主题同时仅允许运行一个重建索引任务,单个日志主题最多同时拥有10个重建索引任务记录,需删除不再需要的任务记录后才能新建索引任务。同一时间范围内的日志,仅允许重建一次索引,需删除之前的任务记录后才能再次重建。所选时间范围对应日志写流量不能超出5TB。重建索引时间范围以日志时间为准,日志上传时间与重建索引时间范围有超过1小时的偏差时(例如16:00上传了一条02:00的日志到 CLS,重建00:00~12:00的日志索引)不会被重建且后续无法进行检索。新上报一条日志到已经被重建的日志时间范围时,也不会被重建且后续无法进行检索。
查询 语句长度 检索分析语句最长支持12000字符。
 查询并发 单个日志主题支持15并发,包括检索及分析。
 模糊检索 不支持前缀模糊检索,例如通过*rror检索 error。
 短语检索 短语检索中的通配符仅能匹配到符合条件的128个词,返回包含这128个词的所有日志,指定的词越精确,查询结果越精确。
 逻辑分组嵌套深度 CQL 语法规则下使用括号对检索条件进行逻辑分组时,最多可嵌套10层,Lucene 语法规则无该限制。例如(level:ERROR AND pid:1234) AND service:test为2层嵌套,可正常执行检索;而下面的语句为11层嵌套,执行检索将会报错status:"499" AND ("0.000" AND (request_length:"528" AND ("https" AND (url:"/api" AND (version:"HTTP/1.1" AND ("2021" AND ("0" AND (upstream_addr:"169.254.128.14" AND (method:"GET" AND (remote_addr:"114.86.92.100"))))))))))。
 内存占用量(分析) 统计分析每次所占用的服务端内存不能超过3GB。通常在使用 group by、distinct()、count(distinct()) 时可能触发该限制,是由于被统计的字段在通过 group by 或 distinct() 去重后值过多导致的。建议优化查询语句,使用值更少的字段对数据进行分组统计;或使用 approx_distinct() 替代 count(distinct())。
 查询结果 查询结果为原始日志时,单次最大返回1000条原始日志。
  查询结果为统计分析结果时,单次默认返回100条结果,使用 SQL LIMIT 语法 单次可最大返回100万条结果。
  查询结果返回数据包最大49MB,使用 API 时可启用 gzip 压缩(Header Accept-Encoding:gzip)。
 超时时间 单次查询超时时间为55秒,包括检索及分析。
 查询延迟 从日志上报到可被检索分析的延迟小于1分钟。
下载 日志条数 单次下载日志条数最多为5000万条。
 任务数量 单个日志主题最多2个任务处于“文件生成中”状态,其它未完成的任务处于“等待中”状态,排队等待执行。单个日志主题最多同时存在1000个任务,包含处于“文件已生成”状态的已完成的任务。
 文件保存时长 生成的日志文件仅保留3天。
关联外部数据 数量限制 单个日志主题最多可关联20个外部数据。
 查询超时 查询外部数据库时,超时时间为50秒。
 MySQL 版本 兼容 MySQL 5.7、8.0及更高版本。MySQL 5.6未经过完整兼容性测试,需实际试验证SQL 语句执行是否正常。
 CSV 文件大小 不能超过50MB,不支持压缩。

二、指标主题

指标主题检索分析规格限制如下表:

限制项 说明
查询并发 单个指标主题支持15并发。
查询数据量 单次查询涉及 time series 不超过20万,查询结果中单个 time series 最大1.1万个时间点。
超时时间 单次查询超时时间为55秒,包括检索及分析。
赞 (0)
上一篇 5天前
下一篇 5天前