yun
-
日志服务 资源函数
这篇说说腾讯云日志服务CLS数据加工中res_local和res_rds_mysql两个函数。res_local用于拉取高级配置的环境变量;res_rds_mysql用于从云MySQL拉取数据,支持全量与增量拉取,常与t_table_map实现维度表关联,并给出性能、费用及数据安全说明。 res_local函数:通过指定参数从高级配置中获取环境变量值,支持设置默认值和输出格式。 res_rds_mysql函数:从My。
-
日志服务 消费 Demo-多语言 SDK
这篇说说使用 Python、Java、Go SDK 通过 Kafka 协议消费腾讯云 CLS 日志,包括单个/多个消费者示例及配置注意事项。 Python SDK:推荐 Python 3.9+,使用 kafka-python 客户端,需配置主题、消费组、服务地址及 SASL 认证。 Java SDK:使用 kafka-clients 2.5.0,jaas.config 中密码后需加分号,配置示例包含完整消费者参数。 。
-
日志服务 消费 Demo-第三方软件
使用 Filebeat、 Logstash、Flume 消费日志,以及通过 HTTP 方式将你消费的日志发送至 SIEM(Splunk、Devo)。
-
日志服务 消费 Demo-流处理
这篇说说使用 Flink 和腾讯云 Oceanus 消费 CLS 日志的两种方式,包括通过 Oceanus SQL 作业和原生 Flink 注册 Kafka 表,均需配置 SASL 认证与消费组信息。 Oceanus 消费:在 Oceanus 控制台新建 SQL 作业,编写含 SASL 认证的 Kafka 表 SQL 语句。 Flink 消费:开启 CLS 日志的 Kafka 消费协议,在 Flink SQL 中注册。
-
日志服务 跨主题关联分析
这篇说说腾讯云日志服务跨主题关联分析功能,通过SQL语句(JOIN、UNION等)关联多个日志主题进行统计分析,需主题为标准存储且用户有查询权限,最多同时关联5个主题。 【语法规则】:表名为主题ID,需用双引号包裹,默认沿用查询时间范围,检索条件仅对当前主题生效。 【示例】:以订单和支付服务日志为例,展示通过JOIN按请求ID关联查询各服务耗时。
-
日志服务 从 Elasticsearch 导入数据
这篇将介绍如何将 Elasticsearch 中的数据导入至日志服务,包括历史数据的一次性导入和新增数据的持续导入,以便实现后续的查询分析、投递消费等操作。
-
日志服务 消费参数说明
以下消费者参数支持自定义配置,但我们建议优先使用默认值。如需调整,请务必谨慎评估影响,避免因配置不当引发消费异常或性能问题。
-
日志服务 投递 Splunk
这篇说说腾讯云日志服务(CLS)将日志数据投递至Splunk的配置方法,涵盖前提条件、基本配置与目标配置步骤,支持内网/公网及跨账号投递。 – 前提条件:需开通CLS、采集日志,Splunk侧配置HEC获取Token和URL,并确保网络连通。 – 基本配置:设置投递任务名称、数据格式(原始日志/JSON)、日志预过滤等。 – 目标配置:配置网络访问(内网/公网)、Splunk HEC地址、Token及跨账号角色ARN。
-
日志服务 K8s 指标采集
这篇将介绍如何将自建 K8s 和 TKE 集群(包含 TKE 标准集群和 TKE Serverless 集群)的指标采集至 CLS。
-
日志服务 自定义消费
自定义消费是 CLS 自研的 SDK,旨在高效地从云端获取并处理日志数据。核心机制在于利用消费组进行协作,通过服务端自动管理的负载均衡原理,在消费者数量或日志分区发生变化时动态分配任务,从而确保数据处理的连续性与无重复性。是一个高可靠且可扩展的日志实时消费框架。