yun
-
数据开发治理平台 WeData Rest API 数据源
// 假设是get请求paramA=a¶mB=b{ “code”: “success”, “data”: { “id”: “100”, “name”: “name100” }}。
-
数据开发治理平台 WeData FTP 数据源
FTP Reader 实现了从远程 FTP 文件读取数据并转为数据同步协议的功能,远程 FTP 文件本身是无结构化数据存储。目前 FTP Reader 支持的功能如下所示。
-
数据开发治理平台 WeData SFTP 数据源
SFTP 实现了读取和写入 SFTP 双向通道的功能,远程 SFTP 文件本身是无结构化数据存储,数据处理引擎在读取和写入时自动转换为 Bytes 类型。
-
数据开发治理平台 WeData Redis 数据源
使用 Redis Writer 向 Redis 写入数据时,如果 Value 类型是 List,重跑同步任务的同步结果不是幂等的。因此,如果 Value 类型是 List ,重跑同步任务时,需要手动清空 Redis 上相应的数据。
-
数据开发治理平台 WeData Elasticsearch/腾讯云 Elasticsearch 数据源
腾讯云 Elasticsearch 数据源与 Elasticsearch 数据源配置方式相同,此处以 Elasticsearch 数据源为例进行讲解。
-
数据开发治理平台 WeData Mongo/腾讯云 Mongo 数据源
腾讯云 Mongo 数据源与 Mongo 数据源配置方式相同,此处以 Mongo 数据源为例进行讲解。
-
数据开发治理平台 WeData Kafka/CKafka 数据源
1. 支持 Kafka 2.4.x、2.7.x、2.8.x 版本。2. Kafka/CKafka 均可选择 Kafka 数据源,并按照 Kafka 步骤进行读写配置。
-
数据开发治理平台 WeData Impala 数据源
如果你配置离线任务时,使用脚本模式的方式进行配置,需要在任务脚本中,按照脚本的统一格式要求编写脚本中的 reader 参数和 writer 参数。
-
数据开发治理平台 WeData TDSQL-PostgreSQL 数据源
TDSQL-PostgreSQL 读取支持的数据类型及转换对应关系如下(在处理 TDSQL-PostgreSQL 时,会先将 TDSQL-PostgreSQL 数据源的数据类型和数据处理引擎的数据类型做映射)。
-
数据开发治理平台 WeData StarRocks 数据源(数据源列表)
如果你配置离线任务时,使用脚本模式的方式进行配置,需要在任务脚本中,按照脚本的统一格式要求编写脚本中的 reader 参数和 writer 参数。