根据大数据平台架构中流入和流出的过程,可以把其分为三层——原始数据层、数据仓库、数据应用层。
1、原始数据层,也叫ODS(Operational Data Store)层,一般由基础日志数据、业务线上库和其他来源数据获得。数据仓库的数据来自对ODS层的数据经过ETL(抽取Extra,转化Transfer,装载Load)处理。
2、数据仓库的主要功能是以ODS层数据为基础,通过逻辑加工产出数据仓库主题表。数据仓库又细分为基础层、主题层和数据集市。 ODS层的特性较着重于查询,变动性大; 数据仓库通常为企业层级,用来解决及时性、临时性的问题 ; 数据集市则较偏向解决特定业务的问题,部分采用维度模型。
3、数据应用层主要用于处理消费数据仓库的数据。