数据开发治理平台 WeData
-
数据开发治理平台 WeData 产品架构
腾讯云数据开发治理平台 WeData 产品解决方案和产品架构如下图所示WeData 整体架构由运营管理体系和开发运营工具构成。
-
数据开发治理平台 WeData 敏感数据识别
支持管理员通过已创建的敏感数据识别规则针对数据表进行敏感数据识别任务的创建与管理,识别规则命中后会给对应数据表字段进行分类分级打标。1. 登录腾讯云后进入 WeData 控制台,选择项目并进入 数据安全 > 分类分级任务 页面 ,单击新建任务按钮,即可新建任务。
-
数据开发治理平台 WeData 告警订阅
告警订阅为每个同步任务提供基于不同指标及告警阈值的创建任务告警规则,一个任务支持关联多个不同告警级别、不同告警规则的告警监控。实时运维界面支持从任务记录列表,单击任务名称 > 告警订阅,即可进入告警订阅界面。
-
数据开发治理平台 WeData BigQuery 数据源
如果你配置离线任务时,使用脚本模式的方式进行配置,需要在任务脚本中,按照脚本的统一格式要求编写脚本中的 reader 参数。”job”: { “content”: [ { “reader”: { “parameter”: { “databaseName”: “source_database”, //源数据库 “credential”: { //bigquery数据源配置信息 “token_uri”: “”, “pr。
-
数据开发治理平台 WeData 任务延迟解决方案
如果发现任务延迟较大,可通过以下步骤进行自助排查和解决。第一步:确定任务是否存在异常查看作业的关键事件。首先选择最近一段时间,查看作业运行失败/快照失败等事件,如果存在作业失败,可以展开查看失败原因,需要查看更多信息,则可以复制异常事件的关键字到下一步查看详细日志信息。如没有运行失败/快照失败等异常事件,则跳转到第三步。第二步:确定异常事件或者其他异常日志在运行日志页面,首选选择时间段,查看是否有相关 ERROR/。
-
数据开发治理平台 WeData 调度依赖
调度依赖分为任务间依赖、任务自依赖、工作流自依赖和依赖下游四种模式。任务间依赖表示不同的任务之间建立的依赖关系;任务自依赖表示同一任务的不同实例间互相依赖;工作流自依赖表示当前任务依赖本工作流上个周期的所有任务;依赖下游表示在特殊场景下某任务需要依赖下游任务的其他实例。下面将针对这四种模式进行介绍和说明。
-
数据开发治理平台 WeData 产品功能
这篇说说腾讯云WeData数据开发治理平台的核心功能,包括项目管理、数据集成、数据开发及数据治理(元数据、资产、质量、安全、服务等),旨在实现高效数据同步与统一治理。 数据集成:支持离线与实时同步,覆盖30+异构数据源,提供字段级转换与监控告警。 数据开发:提供在线代码开发、编排调度与发布运维,支持多种任务类型与CI/CD流程。 数据治理:涵盖元数据管理、资产发现、质量稽核与安全管控,通过语义建模统一指标口径。
-
数据开发治理平台 WeData 动态脱敏
支持用户级的数据动态脱敏策略配置,该脱敏策略目前只针对 WeData 平台,适用范围。
-
数据开发治理平台 WeData 操作历史
在操作历史中查看实时运维页面非查询类的所有页面操作,实时运维界面支持从任务记录列表,单击任务名称 > 操作历史,即可进入操作历史界面。
-
数据开发治理平台 WeData TDengine 数据源
这篇说说腾讯云TDengine离线单表读取与写入节点的配置参数(数据来源/去向、库、表类型、子表、筛选条件等),支持TAOS-RS连接及3.1.1.0/3.1.1.35版本,并提供数据类型转换映射和脚本Demo。 读取节点:支持选择普通表或超级表,超级表可指定子表,默认拉取全部子表。 写入节点:支持批量提交大小设置,超级表仅可选一张子表写入。 数据类型:读取时TINYINT等转为LONG,写入时LONG可转为TIME。