数据开发治理平台 WeData
-
数据开发治理平台 WeData 离线任务运维(离线同步运维)
1. 登录 数据开发治理平台 WeData 控制台。2. 单击左侧菜单中的项目列表,找到需要运维操作的目标项目。
-
数据开发治理平台 WeData S3 数据源
这篇说说腾讯云数据集成中S3离线单表读取与写入节点的配置,涵盖数据来源、同步方式、文件类型、分隔符、编码、压缩格式等参数说明及注意事项。 读取节点:支持全量/增量同步及TXT/ORC/PARQUET/CSV/JSON五种文件类型。 写入节点:支持overwrite/append/nonConflict三种写入模式,可生成标记完成文件。 通用限制:分隔符不支持${},snappy压缩仅支持hadoop-snappy和f。
-
数据开发治理平台 WeData 治理项配置
系统内置治理项默认开启,扫描检测数据时只扫描已开启的治理项对应的问题。本模块支持你按项目粒度灵活配置启用状态;同时,支持对治理项进行禁用操作,当特定治理项被禁用后,系统将停止检测该项目内治理项所定义的问题。
-
数据开发治理平台 WeData Hudi 数据源
Hudi 读取支持的字段类型及类型转换对应关系如下(在处理 Hudi 时,会将 Hudi 数据源的数据类型和数据处理引擎的数据类型做映射)。
-
数据开发治理平台 WeData 存算引擎配置
对存算引擎进行配置,包括 EMR 引擎配置、TCHouse-P 引擎配置、TCHouse-X 引擎配置和 DLC 引擎配置。
-
数据开发治理平台 WeData TDMQ Pulsar 数据源
这篇说说TDMQ-Pulsar离线单表写入节点的配置参数,包括数据去向、命名空间、Topic、序列化与压缩格式,并说明Pulsar消息最大5MB、压缩后支持20MB的限制。 序列化格式:支持JSON与CSV两种类型。 压缩格式:支持LZ4、ZLIB、ZSTD、SNAPPY四种,用于处理超5MB的消息体。
-
数据开发治理平台 WeData 实例运维(离线同步运维)
这篇说说WeData平台周期实例运维功能,包括实例列表查看、状态筛选及批量操作(重跑、终止、置成功),并说明实例详情页的执行日志、血缘与操作记录。 实例运维:支持批量重跑、终止、置成功,重跑可设置下游范围及忽略事件。 周期实例列表:可按任务名称、执行状态等筛选,查看运行状态、日志及上下游依赖。 实例详情页:提供执行日志、实例血缘及操作记录,支持图/列表模式查看上下游。
-
数据开发治理平台 WeData FileSystem 数据源
支持 SMB 共享文件系统:一种基于 SMB(Server Message Block,服务器消息块协议) 的网络文件共享机制。
-
数据开发治理平台 WeData 数据标准配置
WeData 提供了数据标准功能,数据标准(Data Standards) 是确保数据在采集、存储、处理和应用过程中的一致性、准确性和可用性而制定的统一规则和规范。它是数据治理的核心组成部分,旨在解决数据混乱、定义模糊、质量参差不齐等问题,从而提升数据价值并支撑业务决策。
-
数据开发治理平台 WeData 工作流权限管理
工作流权限用于在项目内对编排空间的文件夹、工作流及其下任务进行细粒度授权:可以指定哪些用户或角色能查看、运行或管理某个文件夹或工作流,未被授权的用户看不到对应内容。