欢迎来到Doc100.Net免费学习资源知识分享平台!
您的位置:首页 > 程序异常 >

数据仓库edw层数据调整集成的思考

更新时间: 2014-01-05 02:29:00 责任编辑: Author_N1

 

数据仓库EDW层数据整合集成的思考
比尔*门恩(Bill Inmon)给出了数据仓库这样一个定义,数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。今天单就数据仓库的集成整合特性进行思考,我想数据仓库的集成性大致主要体现在如下几个方面。
1、将企业相关IT系统经过面向主题的处理,本身就是一种集成
1.1、不同系统、不同业务逻辑的相关数据在各主题的统一
1.2、不同系统、相似业务逻辑的相关数据在同一主题内或主题之间的数据整合
2、统一的命名规范
2.1、表名、字段名、存储过程名以及用户名的统一规划命名
如:表名或字段名统一使用英文大写字母和固定的字段英文简称,如“LOAN_CONTRACT_NO”表示贷款合同编号;表名相同主题下具有相同的前缀;每一字段和表都要求有必要的注释等。
2.2、代码字段、标志字段统一添加后缀处理
如:为与其他键及属性字段区分,代码字段、标志字段统一添加“_CD”、“_FLAG”后缀。
2.3、相同字段在不同仓库表里统一用同一个列名及相应的注释
3、相同及相似字段的Domain处理
3.1对于相同字段在不同数据仓库表里,其字段类型用Domain统一处理
3.2对于有需要的可以处理为同一字段类型的不同字段,也使用Domain统一处理
4、公共代码及代码值的统一
4.1、公共代码及标志性字段,其字段数据类型、命名方式等的统一
4.2、公共代码及标志字段,相对于源系统其代码值的统一
如:标志可用“0”表示“否”,“1”表示“是”;对于来源于不同业务系统的具有相同业务含义的公共代码,其代码值需要进行统一,对外代表的是数据仓库的统一标准代码(当然,数据仓库的标准代码可能跟某一源系统的代码相同,其他系统的代码值经业务分析后向那一个源系统靠近和统一)。
对于代码值的整合,如果不想太费劲分析,那么就用“源系统编号||源系统代码值”生成数据仓库的代码值,这应该叫做公共代码值的轻度整合
5、业务含义相同,表结构有相同含义字段的表的整合
根据整合的程度或项目的实际需要,通常有如下整合方式:
5.1、采用主从表的设计方式,两表或多表都有的字段放在主表中(主要基本信息),从属修改信息分别放在各自的从表中
对于主表中的主键,要么采用复合主键,源主键和系统或表区别标志;要么采用唯一主键,“源主键||系统或表区别标志”生成新的主键。通常建议采用复合主键的方式。
5.2、进行两表的直接合并,共有信息和个性信息都放在一个表中
采用此种直接合并的方式,会出现大量空值,不利于系统存储和性能的提升;如果表字段的重合度在80%以下,不建议采用此方式。
5.3、虽然有相同的业务逻辑,但两源表的表结构及主键等却大相径庭
这种情况已经没有办法合并,所以索性就不合并,使用两个数据仓库里的表存放各自数据;不合并不代表不整合,其集成整合特性在其他方面依然有体现
6、各主题内总分模式表间关系
主要主题内都会有一个总表统筹主题内各表,他是该主题内的精神核心有时此表在模型中有,但并不物理化,所以称之为精神核心)。当然并非所有主题都具体这种总分架构,对于主要主题是都存在着的。
7、各主题间关联关系
各个主题间的连接关系通过主题间关系表进行关联。这些关系表,通常来源于源业务系统已经存在着的表间关系,并非数据仓库制造。
8、相关联表的相似属性集中存储
相关联的表的相似属性集中在同一张表中存储
,这样一是便于查找,再是使存储效率更好;此种情况还较多的用于进行历史拉链数据存储的情况。
如:协议状态历史,会存储贷款合同、贷款借据、授信合同等协议类型的状态相应属性值;为了数据存储效率高效,采用历史拉链表记录协议记录的全景信息,节省了空间且提高了数据的取数效率。
9、其他的一些处理
数据仓库最大的整合就是根据源系统的业务进行分析,在数据仓库中重新组织和存储数据。如,删除无用无效的列字段、过滤无意义的表或记录、数据关联代码转换、数据类型转换、源系统不同表进行组合与关联存储等。
数据仓库巨量数据产生,通常来自于两方面的原因:一是集成了企业内各业务系统,各系统数据的累加;二是存储了大量的时间序列流水数据。所以在仓库数据架构最优化的同时,我们在数据仓库处理的时候就必须进行有效的筛选和清洗,防止无用数据占用大量存储空间。
上一篇:上一篇
下一篇:下一篇

 

随机推荐程序问答结果

 

 

如对文章有任何疑问请提交到问题反馈,或者您对内容不满意,请您反馈给我们DOC100.NET论坛发贴求解。
DOC100.NET资源网,机器学习分类整理更新日期::2014-01-05 02:29:00
如需转载,请注明文章出处和来源网址:http://www.doc100.net/bugs/t/10324/
本文WWW.DOC100.NET DOC100.NET版权所有。