一、前提条件
·请确保 A 账号具有相应的 Kafka 协议消费权限。
·请确保 B 账号具有 Kafka 数据订阅权限。
二、操作步骤
1. 登录 CLS 控制台,在日志主题管理页中,找到需要被迁移或同步的 a 日志主题,单击 a 日志主题的名称进入日志主题详情页。
2. 在日志主题详情页中,找到并单击 Kafka 协议消费页签:
3. 将 Kafka 协议消费当前状态开启,并按照下图配置 Kafka 协议消费(数据范围根据你实际业务场景决定)。
4. 完成配置后单击确定,你会看到该日志主题作为 Kafka 消费端的 Kafka Topic ID,Kafka 服务域名。将 Kafka Topic ID 与 Kafka 服务域名记录下来。
注意:若 a 日志主题与 b 日志主题地域不同,请记录外网域名;若地域相同,建议记录内网域名。
5. 查看 a 日志主题所在的日志集,并记录下日志集 ID。
6. 前往 API 密钥管理,查看 A 账号的密钥 ID 与密钥 KEY,并记录下来。
7. 登录 B 账号,找到需要迁移或同步的 b 日志主题,单击 b 日志主题的名称进入日志主题详情页。
8. 在日志主题详情页中,选择采集配置页签,单击 Kafka 数据订阅配置右侧的新增:
9. 在集群配置步骤,按照下表内容进行配置:
| 参数 | 配置填写说明 |
| Kafka 集群类型 | 选择自建 Kafka。 |
| 访问方式 | 选择公网访问,并请根据实际场景填写内网地址或外网地址。公网服务地址填写逻辑如下:若 a 日志主题和 b 日志主题不同地域,请使用外网地址。若 a 主题和 b 主题同地域,建议使用内网地址。 |
| 服务地址 | a 日志主题消费端的 Kafka 服务域名(内网访问填写内网域名,外网访问填写外网域名)。 |
| 是否需要鉴权 | 目标 Kafka 集群是否需要鉴权才能访问。 |
| 协议类型 | 选择 sasl_plaintext。 |
| 认证机制 | 选择 PLAIN。 |
| 用户名 | 填入 a 日志主题的日志集 ID。 |
| 密码 | 填入 A 账号密钥 ID#A 账号密钥 KEY。 |
| Kafka Topic 列表 | 填入 a 日志主题消费端的 Kafka Topic ID。 |
| 消费组 | 为空。 |
| 起始位置 | 选择最晚。 |
10. 完成集群配置后,可单击预览查看是否成功消费到 a 日志主题的日志。
11. 单击下一步,按需配置订阅规则,索引配置。详情可参见 配置 Kafka 数据订阅任务。
12. 完成 b 日志主题的 Kafka 数据订阅任务创建后,即可使用以下日志检索分析、仪表盘、监控告警等功能。
·检索分析
·监控告警
·仪表盘
·数据加工