腾讯云产品
-
数据开发治理平台 WeData HDFS 数据源
这篇说说腾讯云数据集成中HDFS组件的离线读写能力,支持HDFS 2.x/3.x,涵盖TXT、ORC、PARQUET、CSV、JSON格式,并详细说明读取与写入的节点配置参数及数据类型转换规则。 – 离线读取:支持TXT、ORC、PARQUET、CSV、JSON格式,使用*和?通配符遍历文件,暂不支持单文件多线程并发读取。 – 离线写入:仅支持TXT、ORC、PARQUET、CSV格式,提供append、nonCon。
-
数据开发治理平台 WeData 数据安全资源组配置
数据安全资源组由三种不同类型组成,包括:敏感数据识别,动态脱敏,静态脱敏。可以以根据需要,自行选择采买需要的功能。
-
日志服务 通过 Kafka 数据订阅跨账号同步日志
在一些场景中, 我们可能需要将日志在不同账号的日志主题之间进行迁移与同步。这篇将介绍如何通过 Kafka 数据订阅功能实现将账号 A 的 a 日志主题中的日志同步至账号 B 的 b 日志主题。
-
数据开发治理平台 WeData Hive 数据源
数据集成提供 Hive 的实时写入能力,这里说明 Hive 实时数据同步当前能力支持情况。
-
数据开发治理平台 WeData Elasticsearch/腾讯云 Elasticsearch 数据源
腾讯云 Elasticsearch 数据源与 Elasticsearch 数据源配置方式相同,此处以 Elasticsearch 数据源为例进行讲解。
-
日志服务 任务监控和告警
1. 登录 日志服务控制台,选择左侧导航栏中的 日志主题。2. 在日志主题页面,单击需要使用 Kafka 协议消费的日志主题 ID/名称,进入日志主题管理页面。
-
数据开发治理平台 WeData DB2 数据源
1. DB2 Writer 通过数据同步框架获取 Reader 生成的协议数据,通过 insert into(当主键/唯一性索引冲突时,冲突的行会写不进去)语句,写入数据至 DB2。另外出于性能考虑采用了 PreparedStatement + Batch,并且设置了 rewriteBatchedStatements=true,将数据缓冲到线程上下面 Buffer 中,当 Buffer 累计到预定阈值时,才发起写入请。
-
数据开发治理平台 WeData 离线开发
通过前面步骤的学习,我们已经将所有的原始数据同步到了 EMR 集群的 Hive 表中。
-
数据开发治理平台 WeData MySQL 数据源
数据集成提供了 MySQL 的读取和写入能力,这里说明使用 MySQL 进行实时数据同步的前置环境配置以及当前能力支持情况。
-
数据开发治理平台 WeData Kudu 数据源
1. Kudu reader 必须配置 upperBound 和 lowerBound,并发设置才有效。2. upperBound 和 lowerBound 在 Kudu reader 中为 long 型,因此只有时间类型或整型字段才支持被设置为 Bound。