数据开发治理平台 WeData 数据表结构设计

一、源数据存储位置

通过调研商城系统的原有的技术架构，了解到数据存储在 MySQL 数据库。

此处假设使用腾讯云 MySQL 数据库。

二、目标业务场景分析

通过分析目标业务场景：各城市、各品类的销售情况，因此我们需要获取以下几张表：

·订单表：（此处先忽略订单明细等子表设计，假设订单表包含商品 ID、商品数量、商品价格、收货地址、下单时间等信息）。

·商品表：（此处先忽略 SKU 等子表设计，假设商品表包含商品 ID、商品品类等信息）。

·城市表：（假设地理位置编码表仅到城市级别，城市表包含：城市编码、城市名称）。

·商品品类表：（假设品类仅存在一级类目，类目表包含：品类编码、品类名称）。

三、实际结构

以下为调研到的订单表与商品表的实际结构：

四、1. 订单表（orders）

五、2. 商品表（products）

六、3. 城市表（cities）

七、商品品类表（categories）

八、结构设计

根据业务场景需要，下面按照最终业务输出，涉及数仓分层和数据表结构。

九、模型规范

模型规范可以帮助团队统一数据仓库设计规则，统一数据开发过程，更好地沉淀数据资产，为建设数据服务与数据集市打下基础。

在数仓模型规范设计过程中，会包含以下多个类目，如数据域、主体域等。

在此场景中，核心目的为数据集成与数据开发过程，因此在此教程中不做数据模型规范的详细教学。

以下为本场景的相关模型规范示例：

十、1. 数据引入层 ODS

将没有经过任何处理的原始数据导入到数据仓库。ODS 层的数据表结构与原始数据所在的数据系统中的表结构一致。

因此，我们需要根据原始数据创建4张hive表（此处不需要建表操作，后续教学中会有涉及），表结构与 MySQL 源数据表完全相同。

以下为四张表的命名：

·订单表：ods_order_order

·商品表：ods_product_product

·类目表：ods_product_category

·城市表：ods_order_city

注意：说明：

注意：建议命名格式为：ods_{数据域}_{自定义内容}。

十一、2. 公共维度层 DIM

此处重点介绍数据同步逻辑，暂时忽略维度层设计。

注意：说明：

注意：建议将维度表中的字段属性将冗余到明细数据表中。

十二、3. 明细数据层 DWD

构建最细颗粒度的明细数据表，在此表中可以适当冗余一些字段，减少明细数据表与维度表的关联。

·构建明细表：此处不需要建表操作，后续教学中会有涉及。

·商品销售情况明细表：dwd_trade_order_ordercreate_productsales。

注意：说明：

注意：建议命名格式为：dwd_{业务分类}_{数据域}_{业务过程}_{自定义内容}。

十三、补充说明：Hive 表分区

什么是分区

分区是一种重要的数据库优化技术，它通过将数据集划分为更小的、逻辑上独立的部分，来提高性能、简化管理、降低成本，并提高数据的可用性和安全性。

尤其在大数据场景下，对表设置分区尤其重要。

Hive 表分区存储的好处

对 Hive 进行分区存储的好处可体现以下多个方面：

因此，在创建 Hive 表时尽量在建立之初就规划好分区字段。

十四、4. 汇总数据层 DWS

构建可供业务使用粒度的汇总指标数据表。

·构建汇总表：此处不需要建表操作，后续教学中会有涉及。

·商品销售情况每日汇总表：dws_trade_order_productsales_1d。

·建议命名格式为：dws_{业务分类}_{数据域}_{自定义内容}_{时间周期}。

十五、5. 应用数据层 ADS

构建面向最终业务分析需求的指标表，由于此场景比较简单，此处暂时忽略。