数据开发治理平台 WeData

  • 数据开发治理平台 WeData 实时同步实践教程

    如果只涉及实时同步,不涉及离线同步,可以只购买实时资源包。目前仅支持16C64G一个规格。1个16C64G的资源包推荐配置8个整库迁移/分库分表任务(一个整库任务推荐最少使用2CU,大概支持50张表 ),16个单表同步任务(一个单表任务推荐最少使用1CU)。资源包的数量取决于不同种类的任务数,例如:如果需要建64个整库迁移,则至少需要64/8=6个实时资源包;如果需要建16个整库迁移,32个单表任务,则至少需要16/。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 使用 Git 进行代码管理和团队协作

    在团队开发过程中,通常使用 GitLab、GitHub、Bitbucket 等工具进行代码和流程管理。在 WeData Studio 中,通过创建 Git 文件夹,可以与远程 Git 仓库建立连接,从而实现高效的团队协作。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 产品架构

    腾讯云数据开发治理平台 WeData 产品解决方案和产品架构如下图所示WeData 整体架构由运营管理体系和开发运营工具构成。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 敏感数据识别

    支持管理员通过已创建的敏感数据识别规则针对数据表进行敏感数据识别任务的创建与管理,识别规则命中后会给对应数据表字段进行分类分级打标。1. 登录腾讯云后进入 WeData 控制台,选择项目并进入 数据安全 > 分类分级任务 页面 ,单击新建任务按钮,即可新建任务。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 告警订阅

    告警订阅为每个同步任务提供基于不同指标及告警阈值的创建任务告警规则,一个任务支持关联多个不同告警级别、不同告警规则的告警监控。实时运维界面支持从任务记录列表,单击任务名称 > 告警订阅,即可进入告警订阅界面。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData BigQuery 数据源

    如果你配置离线任务时,使用脚本模式的方式进行配置,需要在任务脚本中,按照脚本的统一格式要求编写脚本中的 reader 参数。”job”: { “content”: [ { “reader”: { “parameter”: { “databaseName”: “source_database”, //源数据库 “credential”: { //bigquery数据源配置信息 “token_uri”: “”, “pr。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 任务延迟解决方案

    如果发现任务延迟较大,可通过以下步骤进行自助排查和解决。第一步:确定任务是否存在异常查看作业的关键事件。首先选择最近一段时间,查看作业运行失败/快照失败等事件,如果存在作业失败,可以展开查看失败原因,需要查看更多信息,则可以复制异常事件的关键字到下一步查看详细日志信息。如没有运行失败/快照失败等异常事件,则跳转到第三步。第二步:确定异常事件或者其他异常日志在运行日志页面,首选选择时间段,查看是否有相关 ERROR/。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 调度依赖

    调度依赖分为任务间依赖、任务自依赖、工作流自依赖和依赖下游四种模式。任务间依赖表示不同的任务之间建立的依赖关系;任务自依赖表示同一任务的不同实例间互相依赖;工作流自依赖表示当前任务依赖本工作流上个周期的所有任务;依赖下游表示在特殊场景下某任务需要依赖下游任务的其他实例。下面将针对这四种模式进行介绍和说明。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 产品功能

    这篇说说腾讯云WeData数据开发治理平台的核心功能,包括项目管理、数据集成、数据开发及数据治理(元数据、资产、质量、安全、服务等),旨在实现高效数据同步与统一治理。 数据集成:支持离线与实时同步,覆盖30+异构数据源,提供字段级转换与监控告警。 数据开发:提供在线代码开发、编排调度与发布运维,支持多种任务类型与CI/CD流程。 数据治理:涵盖元数据管理、资产发现、质量稽核与安全管控,通过语义建模统一指标口径。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 动态脱敏

    支持用户级的数据动态脱敏策略配置,该脱敏策略目前只针对 WeData 平台,适用范围。

    腾讯云产品 6天前