数据开发治理平台 WeData

  • 数据开发治理平台 WeData 整库同步任务配置

    整库迁移支持来源端的数据及结构监控,可将源端所有库表或多个库表的全量或增量数据实时同步至目标端,同时支持目标端自动建表、字段变更同步等特性。支持的链路。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData MySQL + gh-ost 实时同步至 Kafka

    MySQL 环境准备:数据集成 MySQL 环境准备与数据库配置。2. 如果 MySQL 是腾讯云的 CDB,在 gh-ost 执行命令的参数里面需要添加–aliyun-rds 。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 整库同步支持的数据源

    一个整库同步任务中支持同步1张表或多张表的数据到目标端。任务提交运行后支持根据源端表结构自动创建目标表,源表的数量和目标表的数量是一对一的关系。任务运行期间源表若发生 Schema 变更可以自动同步到目标表。由于整库迁移任务一个任务可支持同步多表数据,所以占用源端链接较少,所需的同步资源整体较少,建议优先使用整库同步任务。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 实时同步常见问题

    com.github.shyiko.mysql.binlog.network.ServerException: A slave with the same server_uuid/server_id as this slave has connected to the master。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 单个任务创建

    1. 本页面展示从数据集成页面创建的所有离线同步任务。2. 如果只需要单独一次性运行或周期运行离线同步任务,可在数据集成配置调度并提交任务到数据集成的运维中心。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 数据服务告警功能说明

    WeData 平台的数据服务模块支持对 API 调用进行监控告警,通过定义告警规则、收集监控数据、分析监控数据和发送告警通知等步骤,可以实现 API 告警功能。API 告警功能的常见特性包括灵活的告警规则定义、多种告警通知方式、历史告警记录查询、告警屏蔽和自定义告警通知模板等。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 转换节点配置(离线同步任务配置与运维)

    离线同步支持输入、输出和转换三种类型的数据节点,这篇将重点说明各读、写及转换节点配置及底层数据类型映射。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 公共模块

    在购买页面上,需要选择两个地域。上面的地域代表资源地域,下面的项目地域将决定你购买的是哪个地域的 WeData。通常,如果出现了这种情况,很可能是由于项目地域的选择有误。可以以在订单中确认所选择的地域是否正确。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 安全模式

    用户可以选择在安全模式或非安全模式下使用数据开发治理平台 WeData。
    安全模式下,腾讯云 WeData 打通 ranger 权限策略体系,实现责任到人、数据粒度到表的权限管控能力,并提供权限申请和审批通道,安全开放数据访问控制能力。从事前审批、事中拦截、事后审计全流程、全方位保障用户数据安全,构建安全屏障。但如果用户选择不开启安全模式,则无法享受上述数据安全服务。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 时间参数说明

    对于周期性运行的离线任务而言,系统支持通过使用时间参数自动获取周期任务实例的数据时间。时间参数使用 ${…} 进行自定义,支持例如 ${yyyyMMdd}、${yyyy-MM-dd}、${HH:mm:ss} 和 ${yyyyMMddHHmmss} 等。其中,yyyy 表示4位的年份,yy 表示2位的年份,MM 表示月,dd 表示天,HH 表示小时,mm 表示分钟,ss 表示秒。各部分之间支持灵活组合。

    腾讯云产品 6天前