Elasticsearch Service 弹性 MapReduce 日志接入

这篇说说在腾讯云ES Serverless日志分析中创建项目空间并完成弹性MapReduce(EMR)日志接入的操作步骤,包括前提条件、控制台登录、创建项目空间及EMR日志的数据源与索引设置。 前提条件:需已注册腾讯云账号,子账号需具备ES读写权限。 创建项目空间:在控制台新建空间,输入名称并确认。 EMR日志接入:选择地域、VPC及集群,设置日志类型、采集策略,并配置索引字段映射与存储时长。

相关产品
Elasticsearch Service 产品页,含版本规格、价格与购买入口。

一、前提条件

·已创建腾讯云账号,创建账号可参考 注册腾讯云。

·如使用子账号登录,请确保该账号具备 ES 的读写权限。

二、登录控制台

1. 登录 ES 控制台。

2. 在左侧导航栏 Serverless 模式下选择日志分析。

三、创建项目空间

1. 单击新建空间。

2. 输入项目空间名称,支持1 – 20个中文、英文、数字、下划线或分隔符"-"。

3. 单击确认,校验无误即可成功创建项目空间。

注意:在 ES Serverless 日志分析中,你可仅 创建索引,后续通过 API 进行数据写入或者在对应索引的“数据接入”Tab 页进行 CVM 或 TKE 等数据源接入。你也可在创建索引时同时进行数据接入,完成一站式的 CVM 日志接入、TKE 日志接入、弹性 MapReduce(EMR)日志接入。以下为你介绍一站式的 EMR 日志接入操作。

四、弹性 MapReduce(EMR)日志接入

1. 在 ES Serverless 日志分析首页选择弹性 MapReduce,进入 EMR 日志接入页面。

2. 进入数据源设置页面,对数据源进行设置,设置完成后,单击下一步。

·所在地域:选择 EMR 集群所在的地域,如从某个项目空间详情页进入该页面,默认与项目空间所在的地域一致。

·私有网络 VPC:EMR 集群所在的 VPC。

·EMR 集群:需采集日志的 EMR 集群。

·日志类型:你可对采集指定组件的运行日志,如集群中存在 YARN 组件时,支持采集任务日志。

·采集策略:支持全量采集与增量采集,如选择为增量采集,仅采集数据接入完成后产生的日志。

3. 进入索引设置页面,对索引进行设置。

·所在地域:项目空间所在地域,默认与EMR集群保持一致。

·所属项目空间:你可将同一个业务的索引都归属到某个项目空间下以便于管理。

·索引名称:长度为1 – 100,支持小写字母,数字, -, _, ;, @, &, =, !, ', %, $, ., +, (, )。

·字段映射

·动态生成:默认开启,开启后将自动解析写入的数据,生成索引的字段设置。

·输入样例自动配置:关闭动态生成后,你可以通过输入样例自动配置来生成索引的字段映射,在输入框内输入一段 JSON 格式的数据样例,确定后平台将自动为你进行校验,校验无误后,相关字段将映射到字段映射的表格中。

字段映射将原始数据按字段(即 key:value)分别切分为多个分词进行索引构建,检索时基于该映射进行检索。具体如下:

参数项 功能描述
字段名称 写入的数据中的字段名称
字段类型 字段的数据类型,界面支持“text、date、boolean、keyword、long、double、integer、ip、geo_point”9种类型,更多字段类型可在 JSON 编辑模式中支持,具体可参考 说明
包含中文 字段中包含中文且需要对中文进行检索时可开启该功能。开启后,将默认对该 text 字段使用 ik_max_word 分词器
开启索引 启用后,会对该字段构建索引用于检索
开启统计 启用后,可以对字段值做统计分析,会增加索引存储

·时间字段
时间字段指在实际数据中类型为 date 的字段,索引创建成功后该字段不可更改。

注意:时间字段默认打开开启索引与开启统计,且不可关闭。

·数据存储时长:

你可设置数据的存储时长,默认选择存储30天,同时也支持设置为永久保存。

赞 (0)
上一篇 5天前
下一篇 5天前