yun
-
数据开发治理平台 WeData TCHouse-P 数据源(数据源列表)
这篇说说腾讯云TCHouse-P 3.16.x版本的离线单表读取与写入节点配置,包括参数说明、数据类型转换及脚本Demo,支持通过切割键并发同步,写入支持append和upsert模式。 读取节点配置:需指定数据源、库、Schema、表、切割键及筛选条件,支持手动输入表名。 写入节点配置:支持清空表、选择写入模式(append/upsert)、设置批量提交大小及前后置SQL。 数据类型转换:读取时Long、Doubl。
-
数据开发治理平台 WeData 整体介绍
这篇档是腾讯云 WeData 的基础使用文档,目的是帮助你快速了解 WeData,并对业务数据加工全流程有一个基本的概念。这篇以订单数据同步分析场景为例,串联数据表结构设计、数据集成、数据开发、数据质量、数据服务等各模块功能,帮助你完成 WeData 全流程初体验。
-
数据开发治理平台 WeData 准备工作(快速入门)
这篇详细说明使用WeData进行数据开发前的准备工作,包括注册腾讯云账号、准备网络环境、购买EMR引擎资源、创建WeData项目及准备MySQL业务数据,并给出具体操作步骤。 注册与网络:注册腾讯云账号并完成企业认证,新建私有网络并购买NAT网关。 引擎与项目:购买EMR集群及WeData专业版,在WeData中创建项目并绑定EMR引擎。 业务数据:购买MySQL实例并初始化订单表数据,在WeData中将MySQL添。
-
数据开发治理平台 WeData 数据表结构设计
这篇通过电商销售场景,介绍腾讯云数据仓库从业务调研到数仓分层(ODS、DWD、DWS)的完整设计流程,并给出各层表的命名规范与字段示例,核心结论是合理分层与分区可提升查询性能并简化管理。 业务调研与表结构:基于订单、商品、城市、品类四张MySQL表,明确各表字段及关联关系。 数仓分层设计:按ODS(原始数据)、DWD(明细数据)、DWS(汇总数据)分层,并给出表命名规范。 Hive分区优势:分区能提高查询性能、优化管。
-
数据开发治理平台 WeData 数据集成
在你绑定存算引擎 EMR 后,系统将在10分钟内采集 EMR 集群中的 Hive 数据源。因此不需要你主动绑定 Hive 数据源。但是我们需要在 Hive 数据源中创建数据库,存储采集后的原始数据。
-
数据开发治理平台 WeData 离线开发
通过前面步骤的学习,我们已经将所有的原始数据同步到了 EMR 集群的 Hive 表中。
-
数据开发治理平台 WeData 数据质量
这篇说说腾讯云WeData数据质量监控功能,指导用户对数据表设置空值检测规则,当字段出现空值时自动触发告警并通知相关人员,防止脏数据传递。 空值检测任务:配置监控对象与执行策略,关联或新增“字段空值个数”规则,设置触发条件并配置告警订阅。 任务发布与运维:在监控列表开启/关闭任务,在运维管理查看执行状态与规则检测结果。
-
数据开发治理平台 WeData 调度参数
适用场景:已创建调度任务的开发者,在任务代码中使用系统参数实现动态时间取值。调度系统支持系统内置参数,帮助用户在代码中动态引用时间和任务上下面信息。系统内置参数分为时间参数和非时间参数,下面将详细介绍各参数的含义和使用方式。
-
数据开发治理平台 WeData 数据监控
API 监控功能是一种用于监视和分析应用程序接口性能的工具。它可以帮助开发人员识别和解决应用程序中的性能问题,从而提高应用程序的可靠性和可用性。这篇将介绍 API 监控功能的基本原理、功能和优势。 API 监控功能是一种重要的工具,它可以帮助开发人员及时发现和解决应用程序中的性能问题,提高应用程序的可靠性和可用性。在使用 API 监控功能时,需要根据实际需求和业务场景进行合理的监控配置。为了确保应用程序的正常运行,我。
-
数据开发治理平台 WeData 监控列表
这篇说明腾讯云数据质量模块中质量监控任务的配置与管理,支持在多种大数据引擎上按表级或字段级设置检测规则,并可通过多种方式触达用户。 新增任务:支持Hive、Spark等多引擎,可配置规则强弱与执行策略。 管理任务:支持按表查看监控列表,并可编辑、启停规则。