对象存储 使用 COS 存储云产品日志

一、简介

使用 COS 存储云产品日志，可以帮你解决以下问题：

·持久存储：COS 提供稳定持久的存储服务，你可以以极低的成本将你的日志存放到 COS 实现持久化存储。当你的业务需要基于日志进行分析或者决策时，你可以通过 COS 随时随地获取任意时间段的日志。

·数据检索：COS 提供 Select 功能，你可以使用该功能对存储在 COS 上的日志进行简单的检索和抽取工作。你能够结合日志的字段，帮助你检索所需的信息，减少数据下载流量。

·数据分析：你可以使用 Sparkling 产品对存储在 COS 上的日志进行分析，你可以选择一个或者多个日志文件，利用 Sparkling 分析日志，根据分析结果进行决策。

二、日志投递方式

你可以通过两种方式将腾讯云产品的日志存储在 COS 上：

·使用云产品自带的日志投递功能：例如对象存储 COS、操作审计 CA 等产品，可直接将日志投递到 COS。

·使用日志服务 CLS 的投递功能：将投递到 CLS 的云产品日志，通过 CLS 投递到 COS 上进行持久化存储。

目前腾讯云产品对这两种方式的支持情况如下：

三、直接投递日志到 COS

以下腾讯云产品拥有直接投递日志到 COS 的能力，你可以按照对应的产品文档指引，配置日志投递规则，将日志投递到 COS 。

注意：消息队列支持投递该产品上产生的消息数据，如果你需要获取创建 CKafka 实例等行为日志，可以选择投递操作审计产品的日志。

四、通过日志服务（CLS）投递日志到 COS

以下腾讯云产品支持投递日志到日志服务 CLS 中，以便用户进行检索分析。日志服务同时提供了投递到 COS 的产品能力，方便用户持久化存储日志。对于支持投递日志到 CLS 的产品，你也可以通过在 CLS 处开启投递日志到 COS 的方式，将数据持久化存储以降低你的存储成本，方便进一步离线分析。当前支持直接投递日志到 CLS 的产品如下：

CLS 投递到 COS 支持如下三种方式投递：

·通过分隔符格式投递：可以将数据按照分隔符格式投递到 COS，详情请参见 分隔符格式投递。

·通过 JSON 格式投递：可以将数据按照 JSON 格式投递到 COS，详情请参见 JSON 格式投递。

·通过原文格式投递：可以将数据按照原文格式进行投递，支持单行全文、多行全文投递，部分支持 CSV 格式投递，详情请参见 原文格式投递。

通过 CLS 投递日志到 COS，你需要执行的操作如下：

1. 根据你业务需要选择对应的产品，按照上述提供的产品日志投递文档链接指引，配置日志集和日志主题，将你业务产生的数据对接到 CLS 中。

2. 此后，根据你业务需要，选择合适的格式将数据投递到 COS 上。在将日志投递到 COS 时，我们建议你按照产品名称作为路径前缀以作为不同产品日志的区分。例如 TKE 的日志，你可以命名为TKE_tkeid_log/timestamp。

3. 配置好投递规则后，你还可以额外在 SCF 产品下配置文件上传的事件通知，当日志数据投递到 COS 后，你可以根据事件通知执行下一步操作，详情请参见 事件通知。

五、下载日志到本地进行离线分析

如果你需要下载日志数据到本地，可以通过控制台、SDK、API 或者工具等多种方式进行下载，以下为各下载方式的使用文档说明，你可以参照下述文档，将代码中涉及到文件路径的部分替换为你日志存储路径，即可下载日志数据到本地：

六、使用 COS Select 对日志进行分析

你也可以通过 COS Select 功能直接检索和分析存储在 COS 上的日志文件，前提是日志文件以 CSV 或者 JSON 格式存储。通过 COS Select 功能，你可以筛选出你所需要的日志字段，这将很大程度降低 COS 传输的日志数据量，以减小你的使用成本，同时提高你的数据获取效率。如需详细了解 COS Select 功能，请参见 Select 概述。

目前你可以通过控制台或者 API 的方式使用 COS Select 功能：