腾讯云产品
-
数据开发治理平台 WeData 准备工作(快速入门)
这篇详细说明使用WeData进行数据开发前的准备工作,包括注册腾讯云账号、准备网络环境、购买EMR引擎资源、创建WeData项目及准备MySQL业务数据,并给出具体操作步骤。 注册与网络:注册腾讯云账号并完成企业认证,新建私有网络并购买NAT网关。 引擎与项目:购买EMR集群及WeData专业版,在WeData中创建项目并绑定EMR引擎。 业务数据:购买MySQL实例并初始化订单表数据,在WeData中将MySQL添。
-
数据开发治理平台 WeData MySQL 实时同步至 Iceberg 指引
这篇档将手把手的指引你完成 MySQL 实时同步至 Iceberg 的流程操作,包括整库迁移和单表同步。大体的流程如下五、实时整库:MySQL 同步至 Iceberg 配置步骤。
-
数据开发治理平台 WeData Iceberg/EMR Iceberg 数据源
1. 需要连接 Hive Metastore 服务,请在数据源正确配置 Metastore Thrift 协议的 IP 和端口。如果是自定义 Iceberg 数据源,还需要上传 hive-site.xml、core-site.xml 和 hdfs-site.xml 。
-
数据开发治理平台 WeData 数据质量入门
1. 购买开通 WeData 产品2. 在 WeData 控制台,创建项目并绑定 EMR、DLC、TCHouse-P、TCHouse-D、Doris等数据源(这篇以 EMR 为例)。
-
日志服务 使用临时密钥访问 CLS
Web、iOS、Android 使用 CLS 时,通过固定密钥计算签名方式不能有效地控制权限,同时把永久密钥放到客户端代码中有极大的泄露风险。如若通过临时密钥方式,则可以方便、有效地解决权限控制问题。
例如,在申请临时密钥过程中,可以通过。 -
数据开发治理平台 WeData DLC 数据源
数据集成提供了 DLC 实时整库和单表写入能力,这里说明使用 DLC 进行实时数据同步的当前能力支持情况。
-
数据开发治理平台 WeData SFTP 数据源
SFTP 实现了读取和写入 SFTP 双向通道的功能,远程 SFTP 文件本身是无结构化数据存储,数据处理引擎在读取和写入时自动转换为 Bytes 类型。
-
日志服务 LogListener 安装指南(Windows 版)
LogListener 是腾讯云日志服务(Cloud Log Service,CLS)所提供的专用日志采集器,将它安装部署到服务器上,可快速采集日志到日志服务。
-
数据开发治理平台 WeData SQL Server 数据源(数据源列表)
SQL Server 读取支持的数据类型及转换对应关系如下(在处理 SQL Server 时,会先将 SQL Server 数据源的数据类型和数据处理引擎的数据类型做映射)。
-
数据开发治理平台 WeData 数据表结构设计
这篇通过电商销售场景,介绍腾讯云数据仓库从业务调研到数仓分层(ODS、DWD、DWS)的完整设计流程,并给出各层表的命名规范与字段示例,核心结论是合理分层与分区可提升查询性能并简化管理。 业务调研与表结构:基于订单、商品、城市、品类四张MySQL表,明确各表字段及关联关系。 数仓分层设计:按ODS(原始数据)、DWD(明细数据)、DWS(汇总数据)分层,并给出表命名规范。 Hive分区优势:分区能提高查询性能、优化管。