数字化时代，数据仓库是什么？有什么用？-CSDN博客

在激烈的市场竞争和全新的数字经济共同作用下数字化转型成为了大多数企业的共识也是获取数字经济的最佳方式。在整个数据价值生产链路中数据仓库的主要作用就是中心化分发将原始数据与数据价值挖掘活动隔离。

所有的原始数据都会进入数据仓库再由数据仓库统一分发给下游的数据使用者。这样的结构实现了原始数据与数据分析工作的解耦让业务活动可以专注于生产也让数据价值挖掘可以专注于分析。

数据仓库架构

通常情况下为了把一个复杂的工作拆成了多个简单的工作一般将数据仓库架构分为三层即数据操作层、数据仓库层和应用数据层数据集市层。

1ODSOperation Data Store 数据准备区

数据仓库源头系统的数据表通常会原封不动的存储一份这称为ODS层也称为准备区。它们是后续数据仓库层加工数据的来源。ODS层数据的主要来源是业务数据库、埋点日志、其他数据源。

业务数据库可使用DataX、Sqoop等工具来抽取每天定时抽取一次在实时应用中可用Canal监听MySQL的 Binlog实时接入变更的数据。

埋点日志线上系统会打入各种日志这些日志一般以文件的形式保存可以用 Flume 定时抽取。

其他数据源从第三方购买的数据、或是网络爬虫抓取的数据。

2DWData Warehouse 数据仓库层

该层包含DWD、DWS、DIM层由ODS层数据加工而成主要是完成数据加工与整合建立一致性的维度构建可复用的面向分析和统计的明细事实表以及汇总公共粒度的指标。

DWDData Warehouse Detail 细节数据层是业务层与数据仓库的隔离层。以业务过程作为建模驱动基于每个具体的业务过程特点构建细粒度的明细层事实表。可以结合企业的数据使用特点将明细事实表的某些重要维度属性字段做适当冗余也即宽表化处理。

• 3DWSData Warehouse Service 服务数据层
  基于DWD的基础数据整合汇总成分析某一个主题域的服务数据。以分析的主题为建模驱动基于上层的应用和产品的指标需求构建公共粒度的汇总指标事实表。
• 4DIM公共维度层
  基于维度建模理念思想建立一致性维度。
• 5TMP层
• 临时层存放计算过程中临时产生的数据。
• 6ADSApplication Data Store 应用数据层

该层是基于DW层的数据整合汇总成主题域的服务数据用于提供后续的业务查询等。

数据中台、数据仓库、大数据平台、数据湖傻傻分不清楚

1 基础能力上的区别

数据平台提供的是计算和存储能力

数据仓库利用数据平台提供的计算和存储能力在一套方法论的指导下建设的一整套的数据表

数据中台包含了数据平台和数据仓库的所有内容将其打包并且以更加整合以及更加产品化的方式对外提供服务和价值

数据湖一个存储企业各种各样原始数据的大型仓库包括结构化和非结构化数据其中湖里的数据可供存取、处理、分析和传输

2 业务能力上的区别

数据平台为业务提供数据主要方式是提供数据集

数据仓库相对具体的功能概念是存储和管理一个或多个主题数据的集合为业务提供服务的方式主要是分析报表

数据中台企业级的逻辑概念体现企业数据产生价值的能力为业务提供服务的主要方式是数据API

数据湖数据仓库的数据来源

总的来说数据中台距离业务更近数据复用能力更强能为业务提供速度更快的服务数据中台在数据仓库和数据平台的基础上将数据生产为一个个数据API服务以更高效的方式提供给业务。数据中台可以建立在数据仓库和数据平台之上是加速企业从数据到业务价值的过程的中间层。