这可能是全网最全的数据仓库建设方法论！

我要新鲜事2023-05-14 01:35:460阅

为了解决多数据源导致的口径不一致、数据无关联、数据质量差、缺少历史数据、开发效率低等问题，企业需要构建企业级数据仓库，对数据进行规整和高效利用。除此以外，由于直连业务系统支撑多方报表导致读写交叉性能降低，影响正常业务系统使用的问题也可解决。

构建企业级数据仓库的步骤分为调研、数仓设计、数仓实施和测试上线四个主要环节。

调研前期，需要明确本次项目在此阶段成功的要素，其次是划分责任矩阵，收集相关资料并制定合适的调研策略。与用户需求相关的信息应该足够的详细。最终要交付给最终用户项目计划及需求说明，需要的情况下需要制定灾备计划，以便数据仓库可以从事故中恢复。

调研责任矩阵

调研执行分为四步骤：

第一步对本次项目的目标，整体平台的范围和当前IT的技术架构进行调研与整理；第二步针对本期项目涉及业务部门进行单独访谈，明确指标，确认口径，梳理前端样式与功能并确定相应的数据标准；第三步可根据上一轮调研结果所设计的蓝图进行确认和修改并在数据侧对底层数据进行探源；最后将调研结果与方案蓝图进行最终的多方确认并审核签字。

这一阶段的交付物为系统蓝图框架与当前数据基础和质量情况表等，具体的执行过程见下图：

指标确认框架

数仓构建的核心工作是分层及建模，分层架构设计是为应用数据资源采集、存储、处理和交换提供建设性依据，而数据模型将决定数据仓库系统的增长性和性能，数仓一般分为 ODS（贴源层）层、DW 层（数据仓储层）、DM 层（数据集市层）三层架构，依据企业实际情况会有所调整，而数仓模型大多采用维度建模和范式建模。

数据分层：

每一个数据层都有它的作用域，在使用表的时候能更方便地定位和理解，因此需要针对数据进行分层建设，且数据分层也利于数据血缘追踪、屏蔽原始数据的异常，通过开发一些中间层，还可以起到减少重复开发的作用。

数仓通用技术框架

数仓建模的流程：

数仓模型的设计，按照概念模型（主题域模型）——逻辑模型——物理模型的流程进行，逻辑模型和物理模型通常采用维度建模的办法，以星型和雪花型模型来组织数据，维度建模的两个基本元素是事实表和维度表。而维度建模也分为确定业务主题、定义粒度、确定维度和确认事实表四个步骤。该阶段的交付物为针对数据源的概念模型、逻辑模型和物理模型。