yun
-
数据开发治理平台 WeData ClickHouse 数据源(数据源列表)
1. 支持使用 JDBC 连接 ClickHouse,且仅支持使用 JDBC Statement 读取数据。2. 支持筛选部分列、列换序等功能,可以以自行填写列。
-
数据开发治理平台 WeData Iceberg/EMR Iceberg 数据源
1. 需要连接 Hive Metastore 服务,请在数据源正确配置 Metastore Thrift 协议的 IP 和端口。如果是自定义 Iceberg 数据源,还需要上传 hive-site.xml、core-site.xml 和 hdfs-site.xml 。
-
数据开发治理平台 WeData HBase 数据源
这篇说说了腾讯云数据集成工具中HBase Reader与Writer的配置方法,支持HBase 2.2.x和2.3.x版本,涵盖读取模式、写入列规则、rowkey生成及数据类型转换等核心功能。 读取配置:支持横表和竖表两种读取模式,可指定RowKey范围、版本数及缓存大小。 写入配置:支持固定列和动态列写入,可自定义rowkey生成规则及时间戳版本。 数据类型:读取时将HBase类型映射为Long、Double等内部。
-
数据开发治理平台 WeData HDFS 数据源
这篇说说腾讯云数据集成中HDFS组件的离线读写能力,支持HDFS 2.x/3.x,涵盖TXT、ORC、PARQUET、CSV、JSON格式,并详细说明读取与写入的节点配置参数及数据类型转换规则。 – 离线读取:支持TXT、ORC、PARQUET、CSV、JSON格式,使用*和?通配符遍历文件,暂不支持单文件多线程并发读取。 – 离线写入:仅支持TXT、ORC、PARQUET、CSV格式,提供append、nonCon。
-
数据开发治理平台 WeData Kudu 数据源
1. Kudu reader 必须配置 upperBound 和 lowerBound,并发设置才有效。2. upperBound 和 lowerBound 在 Kudu reader 中为 long 型,因此只有时间类型或整型字段才支持被设置为 Bound。
-
数据开发治理平台 WeData TBase 数据源
TBase 写入支持的数据类型及转换对应关系如下(在处理 TBase 时,会先将 TBase 数据源的数据类型和数据处理引擎的数据类型做映射)。
-
数据开发治理平台 WeData GaussDB 数据源
GaussDB 读取支持的数据类型及转换对应关系如下(在处理 GaussDB 时,会先将 GaussDB 数据源的数据类型和数据处理引擎的数据类型做映射)。
-
数据开发治理平台 WeData GBase 数据源
如果你配置离线任务时,使用脚本模式的方式进行配置,需要在任务脚本中,按照脚本的统一格式要求编写脚本中的 reader 参数和 writer 参数。
-
数据开发治理平台 WeData Greenplum 数据源
这篇说说腾讯云数据集成中Greenplum离线单表读取与写入节点的配置参数、数据类型转换支持及脚本Demo,包括库、表、切割键、筛选条件等核心设置。 读取与写入配置:支持选择或手动输入库、Schema、表名,切割键建议使用主键或有索引列,写入时可设置是否清空表及批量提交大小。 数据类型转换:Long映射smallint/integer/bigint,Double映射decimal/double/real,String。
-
数据开发治理平台 WeData COS 数据源
建议在配置子账号授权数据的读写权限的同时,追加 QcloudCOSBucketConfigRead、QcloudCOSDataFullControl 两项策略权限。因为 Spark 在操作 COS 文件时部分情况下需要 headBucket 权限。