一、注意事项
·数据导出至 ES 功能涉及 COS 数据检索接口,相关的限制说明请参见 Select 概述。
·若你此前在对象存储控制台上为存储桶添加了数据导出至 ES 规则,可以在 云函数控制台 上看到你所创建的数据导出至 ES 函数,请不要删除或修改该数据导出至 ES 函数,否则可能导致你的规则不生效。
·当前数据导出至 ES 功能仅支持 COS 与 SCF 均相同的地域,部分地域(例如重庆地域)不支持使用,具体以 COS、SCF 控制台上显示的地域为准。
·对象存储数据导出至 ES 功能依赖于云函数服务,云函数服务为用户提供了 免费额度,超出免费额度的部分需要按照 云函数产品定价 收费。
二、操作步骤
1. 登录 对象存储控制台。
2. 在左侧导航中,单击应用集成 > 数据导出,找到数据导出至 ES。
3. 单击配置规则,进入规则配置页面。
4. 单击添加函数。
注意:如果你尚未开通云函数服务,请前往 云函数控制台 开通云函数服务,按照提示完成服务授权即可。
5. 在弹出的窗口中,配置如下信息:
·函数名前缀:作为函数的唯一标识名称,创建后不可修改。你可以在 云函数控制台 上查看该函数。
·场景选择:选择你希望导出的日志来源,推荐使用 COS 日志文件导出。
·源存储桶:日志所保存的存储桶名称,如果选择 COS 日志文件导出,需要先开启 COS 日志存储功能。
·日志存储状态:使用此功能需要存储桶开启日志存储功能,按照提示完成开启即可。开启后,将显示投递存储桶和日志投递前缀。
·SCF 授权:数据导出至 ES 需要授权云函数从你的存储桶中读取日志文件。因此需要添加此授权。
6. 单击填写预设参数,进行数据导出至 ES 配置,配置项说明如下:
·服务版本:ES 的版本,支持7.x 和6.x。
·访问方式:你的 ES 的访问方式。如果选择 VPC 内网访问,需要填写对应的 VPC 。
·访问地址:你的 ES 的访问地址,必须以http://或https://开头。
·索引名称:你创建的 ES 检索索引。
·鉴权配置:你的 ES 鉴权方式,如果是腾讯云 ES,目前仅支持需鉴权,你需要填写对应的用户名称和用户密码。
·速率上限:导出至 ES 的速率上限。
7. 如果你希望做一些个性化的日志数据提取,请单击上一步进行配置,通常情况,建议直接单击确认,完成函数的添加。
你可以对新创建的函数进行如下操作:
·单击日志,查看数据导出至 ES 的历史运行情况。当数据导出至 ES 出现报错时,你还可以通过单击日志,快速跳转到云函数控制台查看日志错误详情。
·单击详情,查看当前函数的详细配置。
·单击更多 > 编辑,修改数据导出至 ES 规则。
·单击更多 > 触发,可以选择存储桶内已有的一份日志直接触发导出至 ES。
·单击更多 > 删除,删除不使用的数据导出至 ES 规则。