数据开发治理平台 WeData 新建事件推送

从零开始配置 WeData 事件推送的完整流程,覆盖 EventBridge 前置准备、WeData 推送通道创建、EventBridge 事件规则与投递目标配置三个环节。

相关产品
数据开发治理平台 WeData 产品页,含版本规格、价格与购买入口。

新建事件推送

关于事件推送功能的整体介绍,请参见 事件推送概述。

一、前提条件

·已开通 WeData 服务并创建项目。

·已开通腾讯云 事件总线 EventBridge 服务,并完成 EB_QCSRole 服务角色授权(首次进入 EventBridge 控制台 时按引导授权即可)。

·已在目标地域创建自定义事件集(具体支持地域请以 WeData 控制台可选地域为准)。

·拥有 WeData 项目管理员角色。

·项目内首次新建推送通道时,需完成 WeData 侧的 CAM 服务授权(页面会引导完成)。

·拥有腾讯云 EventBridge 的操作权限(QcloudEBFullAccess 或等效权限)。子账号如果访问 EventBridge 时出现权限报错,请联系主账号在 CAM 中为该子账号添加对应策略。

·已根据下游目标类型开通对应的腾讯云服务(如需要投递到 CKafka 则需已开通消息队列 CKafka)。

推荐操作顺序:先在 EventBridge 控制台完成开通并创建事件集,再回到 WeData 新建推送通道。因为 WeData 侧新建通道时需要选择一个已存在的事件集,所以 EventBridge 侧的准备是天然的前置步骤。详细步骤见下方第一部分:EventBridge 前置准备。

二、整体流程

事件推送的端到端配置和运行流程如下:

全流程一共 7 步,前置准备和后 2 步在 EventBridge 完成,中间 4 步在 WeData 完成:

步骤 操作位置 操作内容
开通 EventBridge 并准备事件集 EventBridge 首次使用时授权 EB_QCSRole 服务角色,并在目标地域创建自定义事件集
WeData 服务授权 WeData CAM 授权 WeData 调用 EventBridge PutEvents API(仅项目内首次)
新建推送通道 WeData 填写通道信息、绑定 EventBridge 事件集
配置事件过滤 WeData 选择事件类型和过滤范围
测试推送 WeData 验证 WeData 与 EventBridge 的连通性
创建事件规则 EventBridge 配置事件模式匹配
配置投递目标 EventBridge 选择下游目标(CKafka/SCF/CLS 等)

三、第一部分:EventBridge 前置准备

事件推送依赖腾讯云 EventBridge 作为事件承接与路由基础设施,因此在配置推送通道前,请先在 EventBridge 侧完成开通和事件集准备。这一步是首次使用时必须完成的,后续无需重复。

四、开通 EventBridge 服务

1. 主账号登录腾讯云,进入 事件总线 EventBridge 控制台。

2. 首次进入时,页面会引导授权 EB_QCSRole 服务角色,单击同意授权即可完成开通。

3. 授权页面会展示具体的服务角色策略(用于事件总线服务在授权范围内访问其他云资源),策略名称以 CAM 授权页面实际展示为准。

EB_QCSRole 是腾讯云通用的服务角色授权,任何腾讯云产品首次使用 EventBridge 时都会触发,不属于 WeData 定制流程。授权只需执行一次,主账号下的所有子账号和项目均可使用。

五、创建自定义事件集

事件集是 EventBridge 中承载事件的容器。WeData 推送通道需要绑定一个已存在的自定义事件集。

1. 在 EventBridge 控制台,切换到目标地域(具体支持地域请以 WeData 控制台可选地域为准)。

2. 单击 自定义事件集 区域的 新建事件集。

3. 填写事件集名称和描述,保存即可。

事件集使用建议:

·事件集地域建议与 WeData 项目所在地域保持一致,避免跨地域网络延迟。

·一个事件集可以被多条 WeData 推送通道绑定,也可以被多个业务系统共用。建议按"业务方"或"下游系统"维度规划事件集,例如为 BI 系统单独创建一个事件集。

·事件集配置好后,才能在 WeData 新建推送通道时被选中。

六、子账号访问 EventBridge 的权限说明

如果使用子账号操作 EventBridge,需要该子账号已被主账号在 CAM 访问管理 中授予 QcloudEBFullAccess 或等效策略,否则将无法查看和管理事件集。如遇权限相关提示,请联系主账号管理员为子账号补充授权。

八、进入事件推送

1. 登录 数据开发治理平台 WeData 控制台。

2. 在左侧导航栏选择项目管理,找到目标项目并单击进入。

3. 在项目内左侧导航栏选择事件推送(位于调度日历下方)。

进入后默认展示推送通道 Tab 的通道列表页。页面顶部还提供推送日志 Tab,用于查看本项目所有通道的投递日志(请参见 管理事件推送 > 查看推送日志)。

九、步骤 1:完成 WeData 侧的 CAM 服务授权(仅首次)

项目内首次单击 新建推送通道 时,系统会弹窗引导授权 WeData 调用 EventBridge 的 PutEvents API:

1. 单击弹窗中的前往授权,跳转到 CAM 访问管理页面。

2. 在 CAM 页面确认服务角色信息,单击同意授权。

3. 授权成功后关闭 CAM 页面,返回 WeData 继续新建通道。

注意:说明:

注意:授权说明:

十、步骤 2:填写通道基本信息

在通道列表页单击新建推送通道进入新建页面,填写以下基本信息:

配置项 是否必填 说明
通道名称 是 长度 1~60 字符,同一项目内不可重名(具体字符集限制以控制台校验提示为准)
描述 否 通道用途说明,最多 200 字符
负责人 是 该通道的负责人,默认为当前操作用户,支持修改
地域 是 EventBridge 事件集所在地域,默认与 WeData 项目同地域
事件集 是 选择已有的 EventBridge 自定义事件集;如果尚未创建,可单击 新建事件集 快速创建。下拉列表按所选地域过滤

关于事件集:事件集是 EventBridge 中承载事件的容器。同一个事件集可以被多条 WeData 推送通道绑定,也可以被多个业务系统共用。建议按"业务方"或"下游系统"维度规划事件集,例如为 BI 系统单独创建一个事件集。

十一、步骤 3:配置事件过滤

在 事件过滤配置 区域,选择需要推送的事件类型和过滤范围:

配置项 是否必填 说明
推送事件类型 是 根据项目调度模式动态展示可选项:任务调度项目展示 5 种任务实例事件(开始运行、执行成功、执行失败、等待资源、等待上游);工作流调度项目展示 3 种工作流实例事件(开始运行、执行成功、执行失败)。支持全选/取消全选。
过滤范围 是 任务调度项目可选 全部任务 / 指定任务;工作流调度项目可选 全部工作流 / 指定工作流。选择"指定"时弹出多选选择器,支持按名称搜索。默认 全部。

为什么在 WeData 侧做过滤:在源头减少推送到 EventBridge 的无效事件,可以降低 EventBridge 费用和事件集负载。如果你需要更精细的过滤(如按任务类型、按业务日期),可以在 EventBridge 的事件规则中通过 JSON 事件模式实现,详见下方第三部分:在 EventBridge 中配置事件规则与目标。

十二、步骤 4:保存通道

配置完成后单击页面底部保存,系统会依次执行以下校验:

校验项 校验逻辑 提示信息
通道名称唯一性 同一项目内通道名称不可重复 通道名称已存在,请修改
通道数量上限 同一项目内通道数不超过 10 条 已达项目通道数上限(10 条)
同事件集事件类型重叠 当前通道绑定的事件集,若项目内已有其他通道绑定了同一事件集,则校验两者的推送事件类型是否存在交集;若存在交集,还会进一步校验过滤范围是否有重叠 与通道「{通道名}」存在重复推送风险:事件类型「{重叠类型}」的过滤范围存在重叠,可能导致同一事件被重复推送到事件集

过滤范围重叠判定细则(当两条通道绑定同一事件集且事件类型有交集时):

通道 A 过滤范围 通道 B 过滤范围 判定结果
全部任务 全部任务 重叠 —— 完全重复
全部任务 指定任务 重叠 —— 全部任务已包含指定任务
指定任务 指定任务 取两者指定任务的交集,若交集非空则重叠,否则不重叠

重复推送校验是非阻断的:校验不通过时以警告弹窗形式提示,你确认后仍可保存。这样既提醒你注意重复推送风险,又不限制需要重复推送的特殊场景。

保存成功后跳转回列表页,通道默认状态为 已开启。

十三、步骤 5:测试推送(推荐)

新建完成后,建议立即执行一次测试推送,以验证 WeData → EventBridge 的连通性:

1. 在通道列表页,找到新建的通道,单击操作列的测试。

2. 系统会向绑定的事件集发送一条 wedata:test.connectivity 测试事件。

3. 等待几秒后,弹窗展示测试结果:

·测试成功:弹窗显示 EventBridge 返回的事件 ID,同时提供两个入口 —— 单击事件 ID 可跳转到 EventBridge 事件追踪页面查看详情;单击 前往配置 可直接跳转到 EventBridge 控制台绑定事件集的页面,继续下一步配置事件规则和投递目标。

·测试失败:弹窗显示失败原因(如 授权已过期、事件集不存在 等),请根据提示排查后重试。

测试事件的完整字段说明请参见 事件推送概述 > 测试事件的 data 字段。

测试推送不会消耗任何任务调度资源,可随时执行。测试事件在 EventBridge 侧也会被计入正常事件量。

十四、第三部分:在 EventBridge 中配置事件规则与目标

在 WeData 侧完成推送通道配置后,事件会被发送到 EventBridge 事件集。要让事件真正流转到你的下游系统(BI、CKafka、SCF 等),还需要在 EventBridge 侧配置事件规则(决定哪些事件被路由)和投递目标(决定事件送到哪里)。

本部分介绍典型的 EventBridge 配置操作和事件模式示例。EventBridge 的完整能力请参考 腾讯云 EventBridge 产品文档。

十五、整体思路

WeData → EventBridge → 下游 的完整链路,各环节职责如下:

WeData 侧过滤 vs EventBridge 侧过滤:

过滤位置 能力 适用场景
WeData 推送通道 按事件类型、按任务/工作流范围过滤 源头减量,降低 EventBridge 费用和事件集负载
EventBridge 事件规则 按事件模式(JSON pattern)精细过滤,支持精确/前缀/后缀/包含/除外匹配 按业务字段(如任务类型、项目 ID)路由到不同下游

十六、步骤 6:进入 EventBridge 控制台

测试推送成功后,可通过以下任一入口进入 EventBridge 控制台配置事件规则:

1. 推荐:在测试推送成功的结果弹窗中,单击前往配置,页面自动跳转到 EventBridge 控制台绑定事件集的页面,可直接进入下一步创建事件规则。

2. 在通道列表页或详情页,单击目标通道绑定的事件集名称,页面自动跳转到 EventBridge 控制台该事件集页面。

3. 手动登录 腾讯云 EventBridge 控制台 → 左侧选择 事件集 → 选择对应地域 → 找到目标事件集。

十七、步骤 7:创建事件规则

在事件集详情页,切换到事件规则 Tab,单击新建事件规则:

1. 填写规则基本信息(规则名称、描述)。

2. 配置 事件模式(JSON 格式),决定哪些事件被该规则匹配。

3. 单击 下一步 配置投递目标(见步骤 8)。

十八、典型事件模式示例

注意:说明:

注意:事件的 source 固定为 wedata.cloud.tencent,type 格式为 wedata:{事件编码}。若需要基于 data 内的业务字段(如 taskType、projectId 等)过滤,各字段的具体取值请以 事件推送概述 > 事件内容说明 中的定义为准,必要时可在推送日志或 EventBridge 事件追踪中确认。

示例 1:仅匹配任务执行成功事件

{ "source": ["wedata.cloud.tencent"], "type": ["wedata:task.instance.succeeded"]}

示例 2:匹配所有失败事件(任务 + 工作流)

{ "source": ["wedata.cloud.tencent"], "type": [ "wedata:task.instance.failed", "wedata:workflow.instance.failed" ]}

示例 3:匹配指定项目的所有事件(前缀匹配)

{ "source": ["wedata.cloud.tencent"], "type": ["wedata:project"], "data": { "projectId": ["proj_001"] }}

示例 4:匹配指定任务的成功事件

{ "source": ["wedata.cloud.tencent"], "type": ["wedata:task.instance.succeeded"], "data": { "taskName": ["ods_order_sync", "dim_user_daily"] }}

事件模式语法要点:

·[] 内多个值为 OR 关系(满足任一即匹配)。

·不同 KEY 之间为 AND 关系(必须同时满足)。

·支持 {"prefix": "xxx"}、{"suffix": "xxx"}、{"anything-but": […]} 等高级匹配。

完整语法请参考 EventBridge 事件模式。

十九、步骤 8:配置投递目标

在事件规则的第二步,为规则添加投递目标。单条规则最多可配置 10 个投递目标。

20、支持的目标类型

以下为常见的下游投递目标示例,完整目标类型请以 EventBridge 控制台可选项和产品文档为准。

目标类型 典型场景 说明
CKafka 数据管道、跨平台编排 事件写入 Kafka Topic,由下游消费者订阅
SCF 云函数 自定义逻辑处理、HTTP Webhook 转发 用云函数实现事件解析和转发到 HTTP 端点、企业微信、钉钉等
日志推送 事件审计、长期存储 事件写入日志服务,用于审计和历史查询(补齐推送日志页面近 7 天查询范围的限制)
消息推送 短信 / 邮件 / 电话告警 直接触发短信、邮件、语音电话通知

21、配置流程(以 CKafka 为例)

·在 事件目标 区域,单击 添加。

·触发方式 选择 消息队列(CKafka)。

·依次选择地域、CKafka 实例、CKafka Topic 和投递格式。CKafka 实例需已开通,并与事件集处于同一地域。

22、常用投递目标推荐

·BI 系统触发刷新:使用 SCF 云函数 → 云函数内调用 BI 系统的 HTTP API 刷新报表缓存。

·任务失败告警:使用消息推送 → 直接向任务负责人发送短信/邮件;或用 SCF → 企业微信/钉钉群机器人。

·事件长期审计:使用 CLS 日志 → 保留 30 天/90 天/自定义时长,可用 SQL 检索。

·跨平台数据编排:使用 CKafka → 自研调度系统作为消费者订阅事件,触发下游任务链。

23、步骤 9:验证事件规则

规则配置完成后,可以通过以下方式验证是否正常工作:

1. 通过 WeData 测试推送验证:在 WeData 推送通道的测试推送会发送 wedata:test.connectivity 事件。若规则模式中包含 wedata:test.connectivity(或使用前缀 wedata: 匹配全部),可用于验证下游通路。

2. 触发一次真实任务:在 WeData 中运行一个匹配规则的任务,观察下游目标是否收到事件。

3. 查看事件追踪:在 EventBridge 控制台切换到 事件追踪 Tab,查看事件的匹配情况和投递结果。

24、配额和限制

EventBridge 侧的关键配额:

·单事件集最多绑定 10 条事件规则。

·单条事件规则最多配置 10 个投递目标。

·事件规则 JSON 事件模式长度、事件内容最大长度等其他配额,请参考 EventBridge 使用限制。

以上配额由 EventBridge 侧维护,最新数值以产品文档为准。

26、保存通道时提示"通道名称已存在"?

同一项目内通道名称不能重复。请修改通道名称,或先删除已有的同名通道。

27、保存通道时提示"重复推送风险"?

说明项目内已有其他通道向同一个事件集推送相同事件类型且过滤范围有重叠。你可以:

·接受风险:单击弹窗中的仍然保存,允许重复推送(某些跨系统场景可能需要)。

·调整配置:修改事件类型、过滤范围或事件集,避免重叠。

28、测试推送失败,提示"授权已过期"?

主账号对 EventBridge 的 CAM 授权可能被撤销或过期。请重新执行步骤 1:完成 WeData 侧的 CAM 服务授权中的授权流程。

29、通道数达到 10 条上限,如何处理?

首先建议合并使用场景相同的通道(同一事件集下的通道可以合并推送事件类型)。

30、一个 WeData 事件想同时推送到多个下游系统?

有两种方式:

·方式 1(推荐):一条事件规则配置多个投递目标,一次匹配触发多个目标。

·方式 2:创建多条事件规则,每条规则匹配相同的事件模式但配置不同的目标。

31、事件模式支持哪些高级匹配?

除了精确匹配,事件模式还支持:

·{"prefix": "xxx"} 前缀匹配

·{"suffix": "xxx"} 后缀匹配

·{"anything-but": ["xxx"]} 除外匹配

·{"exists": true} 字段存在性匹配

·{"numeric": [">", 100]} 数值比较

完整用法见 EventBridge 事件模式。

32、相关文档

·事件推送概述

·管理事件推送:管理已创建的推送通道、查看推送日志并排查失败原因

·EventBridge 事件模式

·EventBridge 事件目标

·成员与角色管理:了解项目管理员角色的权限范围

赞 (0)
上一篇 4天前
下一篇 4天前