yun
-
数据开发治理平台 WeData 使用 dlcutils 函数库和魔法命令
Studio Notebook 提供了 dlcutils 函数库、魔法命令等内置开发工具,帮助开发者实现 Notebook 参数化运行、对接 SSM 密钥管控、多语法切换等高阶用法。本篇文档举例说明几种内置开发工具的实践教程。
-
数据开发治理平台 WeData 同步任务数据对账能力
数据对账是指在不同数据源之间进行比对,确保数据的一致性和准确性。WeData 数据集成提供的数据对账能力,用于监控来源表与目标表的数据差异,及时发现数据一致性问题。目前离线同步和实时同步任务均支持数据对账,但支持的链路和对账功能上有些差异。
-
数据开发治理平台 WeData 离线同步至 COS(Parquet 文件)字段映射指南
这篇说说了将不同类型的数据库(包括Oracle、PostgreSQL、SQL Server、MySQL和BigQuery)同步至腾讯云对象存储(COS)的相关内容。各数据库同步: 分别阐述了Oracle、PostgreSQL、SQL Server、MySQL和BigQuery这几种数据库同步至COS的相关情况。
-
数据开发治理平台 WeData Azure Blob 数据源
这篇说说腾讯云数据集成中Azure Blob离线单表读取与写入节点的配置参数,涵盖文件路径、同步方式、文件类型、分隔符、编码、压缩格式等设置,并列出数据类型转换对应关系。 读取节点:支持数据同步与文件传输两种方式,文件类型包括TXT、ORC、PARQUET、CSV、JSON。 写入节点:支持overwrite、append、nonConflict三种写入模式,文件类型包括TXT、ORC、PARQUET、CSV。 数据。
-
数据开发治理平台 WeData S3 数据源
这篇说说腾讯云数据集成中S3离线单表读取与写入节点的配置,涵盖数据来源、同步方式、文件类型、分隔符、编码、压缩格式等参数说明及注意事项。 读取节点:支持全量/增量同步及TXT/ORC/PARQUET/CSV/JSON五种文件类型。 写入节点:支持overwrite/append/nonConflict三种写入模式,可生成标记完成文件。 通用限制:分隔符不支持${},snappy压缩仅支持hadoop-snappy和f。
-
数据开发治理平台 WeData FileSystem 数据源
支持 SMB 共享文件系统:一种基于 SMB(Server Message Block,服务器消息块协议) 的网络文件共享机制。
-
数据开发治理平台 WeData TiDB 数据源
TiDB 读取支持的字段类型及类型转换对应关系如下(在处理 TiDB 时,会将 TiDB 数据源的数据类型和数据处理引擎的数据类型做映射)。
-
数据开发治理平台 WeData 批量替换
1. 对于数据集成-离线集成模块下已经配置好的离线同步任务,如果需要批量替换任务中的数据库,可使用此功能。2. 对于功能上线前历史从数据集成-离线集成导入到数据开发-编排空间的任务,需要先在数据开发-编排空间重新保存任务才能执行替换操作。
-
数据开发治理平台 WeData 迁移助手
迁移助手支持导入和导出任务、项目参数、函数、事件、数据集成等对象,并抽象出通用的业务流程,便于快速复制业务。在开发与生产集群完全隔离的情况下,可以以通过自定义导出功能,实现类似于发布任务的操作。这里说明如何将任务从源项目导出并导入到目标项目。
-
数据开发治理平台 WeData Kyuubi 数据源配置
Kyuubi 数据源血缘解析依赖 Catalog 配置,当前 Kyuubi 数据源支持系统创建和自定义创建两种方式。