的结构的右侧，我们增加了流式数据，将其添加成数据体系的一部分。这是因为当前的数据应用方向会越来越关注数据的时效性，越实时的数据价值度越高。
但是，由于流式数据集的采集、加工和管理的成本较高，一般都会按照需求驱动的方式建设；此外，考虑到成本因素，流式数据体系的结构更加扁平化，通常不会设计中间层。
下面来具体看下每一层的作用。
数据基础层主要完成的工作包括以下几点：
数据采集：把不同数据源的数据统一采集到一个平台上；
数据清洗，清洗不符合质量要求的数据，避免脏数据参与后续数据计算；
数据归类，建立数据目录，在基础层一般按照来源系统和业务域进行分类；
数据结构化，对于半结构化和非结构化的数据，进行结构化；
数据规范化，包括规范维度标识、统一计量单位等规范化操作。
数据中间层最为重要的目标就是把同一实体不同来源的数据打通起来，这是因为当前业务形态下，同一实体的数据可能分散在不同的系统和来源，且这些数据对同一实体的标识符可能不同。此外，数据中间层还可以从行为中抽象关系。从行为中抽象出来的基础关系，会是未来上层应用一个很重要的数据依赖。例如抽象出的兴趣、偏好、习惯等关系数据是推荐、个性化的基础生产资料。
在中间层，为了保证主题的完整性或提高数据的易用性，经常会进行适当的数据冗余。比如某一实事数据和两个主题相关但自身又没有成为独立主题，则会放在两个主题库中；为了提高单数据表的复用性和减少计算关联，通常会在事实表中冗余部分维度信息。
数据集市层是上下三层架构的最上层，通常是由需求场景驱动建设的，并且各集市间垂直构造。在数据集市层，我们可以深度挖掘数据价值。值得注意的是，数据集市层需要能够快速试错。
![]()
展开阅读全文
