yun
-
数据开发治理平台 WeData 资源组列表
进入 WeData 控制台,单击执行资源组进入资源组列表页面。页面包括调度资源组、集成资源组、数据服务资源组、流计算资源组、数据安全资源的管理功能,列表展示了当前主账号下所有购买的资源组及状态信息,列表内详细参数及说明如下。
-
数据开发治理平台 WeData 集成资源组配置
进入 数据开发治理平台 WeData 控制台,单击执行资源组 > 集成资源组,进入资源组列表页面。资源组列表展示了当前主账号下所有购买的资源组及状态信息,列表内详细参数及说明如下。
-
数据开发治理平台 WeData 资源组网络配置
这篇说明为腾讯云WeData执行资源组配置公网与私有网络的操作步骤,通过NAT网关和Private DNS实现资源组访问公网及数据源连通。 公网配置:通过NAT网关和路由表为资源组VPC绑定公网访问。 私有网络配置:通过Private DNS解析域名,在WeData资源组中配置DNS并测试连通性。
-
数据开发治理平台 WeData 使用相关
进入腾讯云 EMR 控制台,选择集群对应所在的地域及 ID。进入集群详情页 > 基本信息 > 实例信息页面,查看集群网络信息。
。 -
数据开发治理平台 WeData 数仓分层配置
数据仓库(数仓)分层是指在数据仓库架构中,将数据按照不同的处理阶段和用途进行分层组织和存储的设计方法。这种分层结构有助于提高数据的管理效率、数据质量和数据分析的灵活性。以下是数据仓库分层常。
-
数据开发治理平台 WeData 支持的数据源与读写能力
数据集成包括离线与实时数据链路,目前支持关系型数据库、大数据存储、半结构化数据、NoSQL、消息队列等各类数据源。可以以根据各个模块对数据源的支持情况,选择对应的功能模块进行同步任务的配置。
-
数据开发治理平台 WeData 集成资源连通性与使用规划
使用数据集成同步任务之前,需要保证数据源网络(包括读端、写端)与数据集成资源组之间网络互通,且资源不可因为白名单限制等原因被拒绝访问,否则无法完成数据传输同步。
-
数据开发治理平台 WeData 集成资源组配置公网
这篇说说如何通过NAT网关为腾讯云资源组的VPC配置公网访问能力,核心步骤包括创建NAT网关、创建并绑定指向NAT网关的路由表、关联子网。 创建NAT网关:在私有网络控制台新建并购买NAT网关。 配置路由表:创建路由表,目的端填0.0.0.0/0,下一跳选择NAT网关。 关联子网:将路由表与需要公网访问的子网绑定。
-
数据开发治理平台 WeData 单表同步任务配置
实时单表同步通过 binlog 日志实时监控及同步源端数据。单表同步采用固定字段同步的方式,仅将在任务配置中指定映射关系的来源字段数据同步至目标端。单表任务支持画布、表单两种配置模式,覆盖 MySQL、Kafka、Mongo、SqlSever、Doris、DLC 等数据源。
-
数据开发治理平台 WeData 转换节点配置
字符串替换节点主要使用 Java 正则表达式对字符串字段的内容进行匹配与替换,本节点将在字段内容全部或部分匹配字符串时执行替换操作。
转换规则参数说明如下。