注意:当配置日志采集到 COS 时,发生 COS 限频、限流、底层节点故障迁移等极端场景,有小概率导致日志上报到 COS 失败,如果对日志完整性要求较高,建议选择 CLS。
一、集群绑定 CLS
在集群详情页面,可以设置集群绑定的 CLS 日志集和日志主题,并且可以绑定多个,最多绑定3个 CLS 日志主题。
二、创建日志集和日志主题
用户可以在 Oceanus 控制台新建专属的日志集和日志主题,创建的日志主题都会带有"Oceanus_"前缀;在选择日志集时,可以新建,也可以选择现有的日志集。
流计算 Oceanus 创建的日志主题有特殊的系统设置,不建议用于其他产品。
三、选择现有日志主题
用户在绑定 Oceanus 集群的日志主题时,可以选择现有的日志主题,但只能选择在 Oceanus 控制台新建的日志主题。
四、新建日志主题
用户在绑定 Oceanus 集群的日志主题时,可以选择新建日志主题。
五、集群设置默认运行日志采集方式
为节省作业参数配置时间,可以为集群设置默认的作业采集方式,设置默认采集方式后,下一次新建作业会使用默认配置中的日志集和日志主题。
如果集群没有绑定日志服务 CLS,则会默认采集到对象存储 COS 中。
六、作业设置运行日志采集方式
当用户选择运行日志采集方式为 CLS 时,由于在 Oceanus 集群可以设置绑定多个 CLS 日志主题,在新建作业时,作业参数配置需要选择作业运行日志具体上报到哪一个日志主题,当然也可以设置默认采集方式。
当用户选择运行日志采集方式为 COS 时,作业日志会默认放到用户创建集群时绑定的 COS 中,日志在 COS 中存放的路径为 job-running-log/ 。
七、作业设置运行日志级别
在作业参数页面,支持配置当前作业日志级别,目前可选的级别有:DEBUG , INFO , WARN , ERROR ; 作业配置日志级别之后,作业日志会按照配置的级别输出,如果不支持选择日志级别,可以 提交工单 申请升级。
八、作业设置类日志级别
在作业参数页面,支持配置当前作业类日志级别,目前可选的级别有:TRACE , DEBUG , INFO , WARN , ERROR 。
作业配置类日志级别之后,作业日志会按照配置的级别输出,如果不支持配置类日志级别,可以 提交工单 申请升级。
编辑日志采集级别:
九、批量修改作业日志级别
如果你需要批量修改多个作业的日志采集级别的话,可以在作业管理页面的批量选项下拉列表中点击批量修改日志级别按钮。然后选择日志级别(目前可选的级别有:DEBUG , INFO , WARN , ERROR)后点击确定按钮即可完成批量配置,作业日志会按照配置的级别输出,如果不支持选择日志级别,可以 提交工单 申请升级。
批量修改日志级别: