欢迎来到Doc100.Net免费学习资源知识分享平台!
您的位置:首页 > 程序异常 >

小弟有个项目,大数据,现下风雨飘摇地坚持着

更新时间: 2014-01-05 02:14:29 责任编辑: Author_N1

 

小弟有个项目,大数据,现在风雨飘摇地坚持着
描述下项目:
     oralce为数据支撑,jdbc访问,网站形式展现,目前主要做查询操作。数据库中数据来自文件,文件按照规则解析后入库,成为最重要的基础表,目前已经存在近3000W条(查询效率低下所以对表已经分区)。通过计算基础表生成多张附表。
     现在新需求过来,增加实时接收数据,分析数据的功能。也就是对3000W数据量的基础表做插入,对其他附表也要重新计算。当前的查询基本都需要10秒多,慢的半分钟时间。接下来更改后我有点无从下手,对之后实时更新数据库期间对数据库查询这些效率影响问题无法想象。不知道hadoop能否用于这个项目
      
--参考方法--
hadoop是不适用支持OLTP的,也就是不好做实时更新
而且如果把数据存储在HIVE里面,查询的延迟也很高,通常也要十几秒朝上
3000W的数据还弄不上hadoop,而且hadoop也无法满足你的需求。
还是多在oracle调优上下功夫吧
上一篇:上一篇
下一篇:下一篇

 

随机推荐程序问答结果

 

 

如对文章有任何疑问请提交到问题反馈,或者您对内容不满意,请您反馈给我们DOC100.NET论坛发贴求解。
DOC100.NET资源网,机器学习分类整理更新日期::2014-01-05 02:14:29
如需转载,请注明文章出处和来源网址:http://www.doc100.net/bugs/t/7400/
本文WWW.DOC100.NET DOC100.NET版权所有。