日志服务 COS 访问日志分析

对象存储(Cloud Object Storage,COS)访问日志记录了用户对 COS 资源的访问信息,包括上传对象(PUT)、删除对象(DELETE)、访问对象(GET)等。通过分析访问日志,用户可以提供审计回溯,如删除资源记录,同时也可以提供资源热门相关的资源统计等能力。

相关产品
日志服务 产品页,含版本规格、价格与购买入口。

一、前提条件

已将 COS 日志采集至日志服务(Cloud Log Service,CLS),详情请参见 导入 COS 数据。

如果你当前暂未启用上述功能,还可以使用日志服务免费提供的 Demo 日志主题来体验该功能,操作步骤详见 使用 Demo 日志快速体验 CLS。

二、日志字段说明

字段序号 名称 含义 示例
1 eventVersion 记录版本 1.0
2 bucketName 存储桶名称 examplebucket-1250000000
3 qcsRegion 请求地域 ap-beijing
4 eventTime 事件时间(请求结束时间,UTC 0时 时间戳) 2018-12-01T11:02:33Z
5 eventSource 用户访问的域名 examplebucket-1250000000.cos.ap-guangzhou.myqcloud.com
6 eventName 事件名称 UploadPart
7 remoteIp 来源 IP 192.168.0.1
8 userSecretKeyId 用户访问 KeyId AKID********************************
9 reservedField 保留字段 保留字段,显示为-
10 reqBytesSent 请求字节数(Bytes) 83886080
11 deltaDataSize 请求对存储量的改变(Bytes) 808
12 reqPath 请求的文件路径 /folder/text.txt
13 reqMethod 请求方法 put
14 userAgent 用户 UA cos-go-sdk-v5.2.9
15 resHttpCode HTTP 返回码 404
16 resErrorCode 错误码 NoSuchKey
17 resErrorMsg 错误信息 The specified key does not exist.
18 resBytesSent 返回字节数(Bytes) 197
19 resTotalTime 请求总耗时(毫秒,等于响应末字节的时间-请求首字节的时间) 4295
20 logSourceType 日志源类型 USER(用户访问请求),CDN(CDN 回源请求)
21 storageClass 存储类型 STANDARD,STANDARD_IA,ARCHIVE
22 accountId 存储桶所有者 ID 100000000001
23 resTurnAroundTime 请求服务端耗时(毫秒,等于响应首字节的时间-请求末字节的时间) 4295
24 requester 访问者 主账号 ID:子账号 ID,如果是匿名访问则显示-。
25 requestId 请求 ID NWQ1ZjY4MTBfMjZiMjU4NjRfOWI1N180NDBiYTY=
26 objectSize 对象大小(Bytes) 808,如果你使用分块上传,objectSize 字段只会在完成上传的时候显示,各个分块上传期间该字段显示-
27 versionId 对象版本 ID 随机字符串
28 targetStorageClass 目标存储类型,发起复制操作的请求会记录该字段 STANDARD,STANDARD_IA,ARCHIVE
29 referer 请求的 HTTP referer *.example.com或者111.111.111.1
30 requestUri 请求 URI "GET /fdgfdgsf%20/%E6%B5%AE%E7%82%B9%E6%95%B0 HTTP/1.1"

三、预置仪表盘

CLS 已将常用的 COS 日志分析方式预置为仪表盘,你可通过该 仪表盘 快速了解当前 COS 请求状态。

在仪表盘右上角单击编辑仪表盘可基于预置仪表盘进行编辑。

四、需求场景

某个对象文件访问不了,定位原因:


五、解决方案

进入 COS 访问日志检索页面,输入对象名称作为关键词检索日志。

json-log2019-05-09_00645d9a-1118-4d69-8411-cfd57ede9ea1_000

通过时间柱状图,得知近1天有14条日志记录。点击左侧字段名称,打开快速分析,可进一步对这14条日志按 resHttpCode 字段进行统计分析。


通过快速分析得知,6条非200的请求信息,其中5条 resHttpCode 为403的日志信息和一条 resHttpCode 为204的日志信息,单击日志数,即可检索这两个 httpcode 的日志。

由日志可以得知,5条错误码为 Access Denied 的日志均为访问对象失败日志,通过 resHttpCode 为204的日志发现,用户1000******在8月24日20点16分,通过 COS 控制台执行了删除 object 操作,导致对象访问失败。

赞 (0)
上一篇 5天前
下一篇 5天前