数据开发治理平台 WeData

  • 数据开发治理平台 WeData 告警订阅

    告警订阅为每个同步任务提供基于不同指标及告警阈值的创建任务告警规则,一个任务支持关联多个不同告警级别、不同告警规则的告警监控。实时运维界面支持从任务记录列表,单击任务名称 > 告警订阅,即可进入告警订阅界面。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData BigQuery 数据源

    如果你配置离线任务时,使用脚本模式的方式进行配置,需要在任务脚本中,按照脚本的统一格式要求编写脚本中的 reader 参数。”job”: { “content”: [ { “reader”: { “parameter”: { “databaseName”: “source_database”, //源数据库 “credential”: { //bigquery数据源配置信息 “token_uri”: “”, “pr。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 任务延迟解决方案

    如果发现任务延迟较大,可通过以下步骤进行自助排查和解决。第一步:确定任务是否存在异常查看作业的关键事件。首先选择最近一段时间,查看作业运行失败/快照失败等事件,如果存在作业失败,可以展开查看失败原因,需要查看更多信息,则可以复制异常事件的关键字到下一步查看详细日志信息。如没有运行失败/快照失败等异常事件,则跳转到第三步。第二步:确定异常事件或者其他异常日志在运行日志页面,首选选择时间段,查看是否有相关 ERROR/。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 调度依赖

    调度依赖分为任务间依赖、任务自依赖、工作流自依赖和依赖下游四种模式。任务间依赖表示不同的任务之间建立的依赖关系;任务自依赖表示同一任务的不同实例间互相依赖;工作流自依赖表示当前任务依赖本工作流上个周期的所有任务;依赖下游表示在特殊场景下某任务需要依赖下游任务的其他实例。下面将针对这四种模式进行介绍和说明。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 产品功能

    这篇说说腾讯云WeData数据开发治理平台的核心功能,包括项目管理、数据集成、数据开发及数据治理(元数据、资产、质量、安全、服务等),旨在实现高效数据同步与统一治理。 数据集成:支持离线与实时同步,覆盖30+异构数据源,提供字段级转换与监控告警。 数据开发:提供在线代码开发、编排调度与发布运维,支持多种任务类型与CI/CD流程。 数据治理:涵盖元数据管理、资产发现、质量稽核与安全管控,通过语义建模统一指标口径。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 动态脱敏

    支持用户级的数据动态脱敏策略配置,该脱敏策略目前只针对 WeData 平台,适用范围。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 操作历史

    在操作历史中查看实时运维页面非查询类的所有页面操作,实时运维界面支持从任务记录列表,单击任务名称 > 操作历史,即可进入操作历史界面。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData TDengine 数据源

    这篇说说腾讯云TDengine离线单表读取与写入节点的配置参数(数据来源/去向、库、表类型、子表、筛选条件等),支持TAOS-RS连接及3.1.1.0/3.1.1.35版本,并提供数据类型转换映射和脚本Demo。 读取节点:支持选择普通表或超级表,超级表可指定子表,默认拉取全部子表。 写入节点:支持批量提交大小设置,超级表仅可选一张子表写入。 数据类型:读取时TINYINT等转为LONG,写入时LONG可转为TIME。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 任务调优解决方案

    一般情况下用户不需要自行设置高级参数,但如果任务出现读取较慢或异常时可尝试通过高级参数进行优化。这篇档主要覆盖以下常。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 工作流调度告警

    这篇说说腾讯云WeData告警监控功能,包括告警规则的新建、配置(监控对象、告警条件、通知方式)及告警信息的查看与确认,帮助用户实时监控工作流和任务状态。 告警规则:支持工作流与任务两类监控对象,可配置失败、超时等条件及多通道通知。 告警信息:记录所有触发告警,支持按时间、原因筛选及确认操作。

    腾讯云产品 6天前