日志服务 Flowlog 网络流日志分析

网络流日志(Flow Logs,FL) 提供全时、全流、非侵入的流量采集服务,可将采集的网络流量进行实时的存储、分析,适用于故障排查、合规审计、架构优化、安全检测等场景,让你的云上网络更加稳定、安全和智能。

相关产品
日志服务 产品页,含版本规格、价格与购买入口。

你可以创建指定采集范围(例如弹性网卡、NAT 网关、云联网跨地域流量)的网络流日志,来采集该范围内传入/传出的流量。

一、前提条件

已将网络流日志采集至日志服务(Cloud Log Service,CLS),详见 操作详情。

如果你当前暂未将网络流日志采集至日志服务,还可以使用日志服务免费提供的Demo日志主题来体验该功能,操作步骤详见 使用 Demo 日志快速体验 CLS。

二、日志字段说明

云联网跨地域流量的网络流日志其他类型的网络流日志

流日志将记录特定捕获窗口中,按“五元组 + 流量源地域 + 流量目的地域”规则过滤的网络流,即只有在捕获窗口中符合规则的网络流日志,才能记录为云联网跨地域流量的网络流日志记录。

五元组 + 流量源地域 + 流量目的地域

·五元组即源 IP 地址、源端口、目的 IP 地址、目的端口和传输层协议这五个量组成的一个集合。

·流量源地域指云联网跨地域流量发出的地域。

·流量目的地域指云联网跨地域流量到达的地域。

捕获窗口

·即一段持续时间,在这段时间内流日志服务会聚合数据,然后再发布流日志记录。捕获窗口大约为1分钟,推送时间约为5分钟。

字段 数据类型 说明
version text 流日志版本。
region-id text 记录日志的地域。
ccn-id text 云联网唯一标识,如需确定云联网的信息请 联系我们。
srcaddr text 源 IP。
dstaddr text 目标 IP。
srcport text 流量的源端口。该字段仅对 UDP/TCP 协议生效,当流量为其他协议时,该字段显示为“-”。
dstport long 流量的目标端口。该字段仅对 UDP/TCP 协议生效,当流量为其他协议时,该字段显示为“-”。
protocol long 流量的 IANA 协议编号。更多信息,请转到分配的 Internet 协议 编号。
srcregionid text 流量源地域。
dstregionid text 流量目的地域。
packets long 捕获窗口中传输的数据包的数量。当“log-status”为“NODATA”时,该字段显示为“-”。
bytes long 捕获窗口中传输的字节数。当“log-status”为“NODATA”时,该字段显示为“-”。
start long 当前捕获窗口收到第一个报文的时间戳,如果在捕获窗口内没有报文,则显示为该捕获窗口的起始时间,采用 Unix 秒的格式。
end long 当前捕获窗口收到最后一个报文的时间戳,如果在捕获窗口内没有报文,则显示为该捕获窗口的结束时间,采用 Unix 秒的格式。
action text 与流量关联的操作:ACCEPT:通过云联网正常转发的跨地域流量。REJECT:因限速被阻止转发的跨地域流量。
log-status text 流日志的日志记录状态:OK:表示数据正常记录到指定目标。NODATA:表示捕获窗口中没有传入或传出网络流量,此时“packets”和“bytes”字段会显示为“-1”。

流日志将记录特定捕获窗口中,按五元组规则过滤的网络流。

五元组

即源 IP 地址、源端口、目的 IP 地址、目的端口和传输层协议这五个量组成的一个集合。

捕获窗口
即一段持续时间,在这段时间内流日志服务会聚合数据,然后再发布流日志记录。捕获窗口大约为5分钟,推送时间约为5分钟。流日志记录是以空格分隔的字符串,采用以下格式,字段无固定顺序:
version account-id interface-id srcaddr dstaddr srcport dstport protocol packets bytes start end action log-status

字段 说明
version 流日志版本。
account-id 流日志的账户 AppID。
instance-id 弹性网卡所属实例 ID。
interface-id 弹性网卡 ID。
region-id 地域 ID。
az-id 可用区 ID。
vpc-id 私有网络 ID。
subnet-id 子网 ID。
direction 流量访问方向(云服务器访问外部为 out,外部访问云服务器为 in)。
cross-region 若为跨地域上报,此处为实际采集地域,非跨地域上报,显示为0。
srcaddr 源 IP。
dstaddr 目标 IP。
srcport 流量的源端口。当流量为 ICMP 协议时,该字段表示 ICMP 的 id。
dstport 流量的目标端口。当流量为 ICMP 协议时,该字段表示 ICMP 的 type(高8bit)+code(低8bit)组合。
protocol 流量的 IANA 协议编号。更多信息,请转到分配的 Internet 协议 编号。
packets 捕获窗口中传输的数据包的数量。
bytes 捕获窗口中传输的字节数。
start 捕获窗口启动的时间,采用 Unix 秒的格式。
end 捕获窗口结束的时间,采用 Unix 秒的格式。
action 与流量关联的操作:ACCEPT:安全组或网络 ACL 允许记录的流量。REJECT:安全组或网络 ACL 未允许记录的流量。
log-status 流日志的日志记录状态:OK:表示数据正常记录到指定目标。NODATA:表示捕获窗口中没有传入或传出网络流量,此时“packets”和“bytes”字段会显示为“-1”。SKIPDATA:表示捕获窗口中跳过了一些流日志记录。可能是内部容量限制或内部错误引起的。

三、预置仪表盘

CLS 已将常用的云联网及弹性网卡流日志统计预置为仪表盘,你可通过这些仪表盘快速了解当前网络状态。

·云联网:https://console.cloud.tencent.com/cls/dashboard/d?templateId=flow-log-ccn-analysis-dashboard

·弹性网卡:https://console.cloud.tencent.com/cls/dashboard/d?templateId=flow-log-eni-analysis-dashboard

在仪表盘右上角单击编辑仪表盘可基于预置仪表盘进行编辑。

构建更适用你的专属仪表盘。

四、配置告警

例如为云联网中国香港-硅谷线路配置了带宽上限100Mbps,需监控当前带宽使用情况,连续10分钟带宽大于等于95Mbps 时触发告警,以便在必要时对带宽上限进行调整。

1. 进入创建告警策略页面,操作步骤详见 配置告警策略。

2. 在执行语句中输入以下语句,时间范围选择1分钟,统计近1分钟内的中国香港-硅谷线路带宽使用情况。该执行语句的结果中 bandwidth 即为1分钟带宽,单位为 Mbps。

log-status:OK AND srcregionid:ap-hongkong AND dstregionid:na-siliconvalley | select sum(bytes)/60.00*8/1000/1000 as bandwidth

3. 触发条件如下,即带宽大于等于95Mbps 时,满足告警条件。

$1.bandwidth > 95

4. 执行周期:固定频率,每1分钟执行一次。

5. 告警通知-告警频率:持续10个周期满足触发条件则始终触发告警,即连续10分钟带宽大于等于95Mbps 时触发告警。

针对预置仪表盘中的图表,还可以单击右上角的“添加到监控告警”将该图表中的指标添加到告警策略中。

赞 (0)
上一篇 5天前
下一篇 5天前