欢迎来到Doc100.Net免费学习资源知识分享平台!
您的位置:首页 > 程序异常 >

数据仓库现势

更新时间: 2014-01-05 02:28:55 责任编辑: Author_N1

 

数据仓库现状
有很久没有关着这个领域了,请大虾们说一说BI当前的现状?包括BI建设的新思路、工具与产品情况等。
--参考方法--
引用
数据仓库的概念自出现后,首先被应用于金融、电信、保险等传统数据处理密集的行业。国外许多大型的数据仓库在1996-1997年建立。随着工业竞争的加剧,数据仓库已成为营销的必备武器——一种通过更多地了解客户需求而保住客户的途径。

1 数据仓库研究现状

    OLAP(On—line Analytical Processing)是面向特定问题的联机数据访问和分析,它主要用于支持目标明确但比较复杂的查询分析操作。目前数据仓库数据存储的实现主要有三种模式:一是单纯的关系数据库存储即ROLAP(Relational OLAP);二是多维数据库存储即MOLAP(Multidimensional OLAP);三是关系数据库和多维数据库的混合型存储。第三种模式在国内已经开始广泛应用,但还存在存储效率低,访问权限难以控制等问题。

    目前,我国很多商业银行都尝试构建了应用于某一方面的数据仓库系统,数据仓库的构建几乎都足基于ROLAP来实现的,绝大多数是用Microsoft SQL Server完成的。对于汇总数据和历史数据的访问及访问速度的要求,还是有些欠缺。

2 一种高性能的技术——HOLAP

    根据OLAP的自身特点,它主要就是对用户请求的快速响应和交互式的操作,多维分析则是OLAP的核心所在。OLAP系统在具体实现时首要解决的是如何存储数据的问题。数据的存储有三种方式,即ROLAP、MOLAP和HOLAP(Hybrid OLAP),HOLAP是对他们的良好折中,它得益于ROLAP较大的可伸缩性和MOLAP的快速计算;MOLAP的在询性能很好,它可以很好地解决对于历史数据和汇总的查询问题,它的分析能力很好,这正是数据仓库应用系统所应有的特点,MOLAP多数用于存储那些历史的、聚合的数据;当要查询一些细节数据时,就要选择ROLAP这样才能满足需求,更好地完成查询分析任务。

3 改进后的存储模式

    在考虑到实际应用和用户需求的基础上,可以基于关系数据库和多维数据库共同来搭建企业级的数据仓库。实现的方法是把聚合的、历史的数据存储在多维上,明细数据存储在关系数据库中,各取所长,达到事半功倍的效果,基于这两种存储方式实现的即HOLAP。

    与之前的应用模式不同的是数据平台的数据仓库是用关系数据库和多维数据库共同组建的。关系数据库选择了由IBM DB2 UDB完成,多维数据库则选择了Essbase/DB2 OLAP Server来完成。数据展现平台用Java实现,基于MVC设计模式实现,并将该平台分为Web层、服务层和数据访问层。由于要访问不同的数据库系统,所以要区别对待,访问关系数据库数据则采用开源的Ibatis框架,将各种SQL语句存放在配置文件中进行统一维护通过JdbeDao访问关系数据库;对于多维数据库数据,DB2 OLAP Server的多维数据集访问的脚本语言的接口也提供了Java接口,由于数据展现平台是用Java开发的,所以我们可以直接访问多维数据库。但是在实践过程中证明,通过这种方式访问多维数据库的速度是相当的慢,之后尝试使用我们最熟悉的C,采用Java原生接口来实现对多维数据库的访问,它是通过Essbase/DB2 OLAP Server的C接口访问多维库的。使用C后效果则截然不同,如果将采用Java访问多维库的系统称为原有系统,将采用C访问多维库的系统称为改进系统。

4 结束语

    本文对于我国的数据仓库的应用模式提出了将历史的、聚合的数据存放在多维库中,将细爷数据存放在关系库中的存储方式,并采用C接口访问多维数据库,采用Ibatis框架访问关系库的改进方案。改进后更适合于对汇总数据及历史数据的查询,并提高了数据访问速度。

--参考方法--
学习,帮顶。
--参考方法--
刚开始学用SQL SERVER2008涉及这方面
--参考方法--
BI会越来越流行的。支持BI行业
--参考方法--
现在在做bi,可是还是一头雾水!有那位兄弟熟悉建模!有书推荐的话更好!
--参考方法--
先定下再说
--参考方法--
我想做超市后台数据的数据挖掘,想想大家请教一下,哪位可以帮忙,谢谢
上一篇:上一篇
下一篇:下一篇

 

随机推荐程序问答结果

 

 

如对文章有任何疑问请提交到问题反馈,或者您对内容不满意,请您反馈给我们DOC100.NET论坛发贴求解。
DOC100.NET资源网,机器学习分类整理更新日期::2014-01-05 02:28:55
如需转载,请注明文章出处和来源网址:http://www.doc100.net/bugs/t/10296/
本文WWW.DOC100.NET DOC100.NET版权所有。