腾讯云产品
-
数据开发治理平台 WeData 批量任务创建
这篇说说腾讯云WeData批量创建周期性单表同步任务,支持30+数据源,通过配置读取/写入节点、映射关系、运行与调度设置,可高效完成多表同步。 条件与限制:需预先配置数据源、购买资源组并完成网络连通,数据库账号需具备读写权限。 数据节点配置:支持MySQL、Oracle、Hive等30+数据源,读取与写入端可分别配置库表匹配策略及前后置SQL。 映射与调度:支持数据库-数据库、文件-文件等四种链路映射,提供周期/一次。
-
数据开发治理平台 WeData 资产目录配置
资产目录基于租户全局进行管理,主要目标是对数据按照业务分类和主题进行分域管理,形成具有层级结构的业务标签。
-
数据开发治理平台 WeData 快速入门
这篇以使用 EMR 作为存算引擎,在 WeData 上建立编排工作流并使用 Hive SQL、ETL 等任务节点为例,介绍数据工程师如何使用任务开发、工作流设计与调度策略创建一个数据处理工作流程,帮助数据工程师快速了解数据开发模块的基本使用逻辑。
-
数据开发治理平台 WeData 动态脱敏
支持用户级的数据动态脱敏策略配置,该脱敏策略目前只针对 WeData 平台,适用范围。
-
数据开发治理平台 WeData TDengine 数据源
这篇说说腾讯云TDengine离线单表读取与写入节点的配置参数(数据来源/去向、库、表类型、子表、筛选条件等),支持TAOS-RS连接及3.1.1.0/3.1.1.35版本,并提供数据类型转换映射和脚本Demo。 读取节点:支持选择普通表或超级表,超级表可指定子表,默认拉取全部子表。 写入节点:支持批量提交大小设置,超级表仅可选一张子表写入。 数据类型:读取时TINYINT等转为LONG,写入时LONG可转为TIME。
-
数据开发治理平台 WeData 工作流调度告警
这篇说说腾讯云WeData告警监控功能,包括告警规则的新建、配置(监控对象、告警条件、通知方式)及告警信息的查看与确认,帮助用户实时监控工作流和任务状态。 告警规则:支持工作流与任务两类监控对象,可配置失败、超时等条件及多通道通知。 告警信息:记录所有触发告警,支持按时间、原因筛选及确认操作。
-
数据开发治理平台 WeData 实时运维
对于在完成配置并提交的实时任务,可以以进入实时运维内查看并操作对应的任务。可以以在实时运维内查看任务运行的基本运行状态、任务运行指标统计、运行日志、以及配置任务异常告警等。这篇列举实时同步任务的常。
-
数据开发治理平台 WeData 迁移助手
迁移助手支持导入和导出任务、项目参数、函数、事件、数据集成等对象,并抽象出通用的业务流程,便于快速复制业务。在开发与生产集群完全隔离的情况下,可以以通过自定义导出功能,实现类似于发布任务的操作。这里说明如何将任务从源项目导出并导入到目标项目。
-
数据开发治理平台 WeData 用户账号和权限管理
数据开发治理平台 WeData 基于 腾讯云 CAM 用户管理体系,支持用户使用主账号或子账号的方式通过 腾讯云控制台 登录,也支持基于 SAML 2.0和 OIDC 的 SSO(Single Sign On)单点登录。在 WeData 产品内部,拥有独立的基于 RBAC 的用户角色和权限控制体系,腾讯云账号需要同时授予 CAM 策略和 WeData 成员角色。
-
数据开发治理平台 WeData 单个任务创建(数据开发离线同步配置与运维)
单表同步采用固定字段同步的方式,仅将在任务配置中指定映射关系的来源字段数据同步至目标端。单表任务支持画布、表单、脚本三种配置模式,覆盖 MySQL、Hive、DLC、Doris 等数据源。