欢迎来到Doc100.Net免费学习资源知识分享平台!
您的位置:首页 > 程序异常 >

求大数据量导出的解决方案,该如何解决

更新时间: 2014-01-05 01:58:03 责任编辑: Author_N1

 

求大数据量导出的解决方案
最近遇到一个问题,从一张6000w条数据的表(这张表已经做了分区,这是一个月的数据)中查询数据(项目用了hibernate),然后导出成Excel文件,已知查询最多的导出是1700w条,这个功能之前就做好了,做法是分批查询(一次30000)出数据后在本地生成Excel文件,查询完毕后再把这些文件打包成压缩文件返回到客户端,这个过程对于数据量很少的查询还勉强说得过去,但是对于少数用户数据量很大,1700w用了4小时,这是响应时间,页面早已经超时了。
反馈这个bug后让我改进,我的做法先是将查询改成多线程操作,一次多个分批查询然后把在本地生成临时文件的过程去掉,直接利用压缩流返回给客户端,这样是解决了响应超时的问题(响应时间还是很长,因为第一步会有个select count(*)的操作,这句sql执行很慢),但是导出还是很慢,因为分批查询是利用oracle的分页查询,越往后查询越慢,有的线程会遇到数据库连接(连接池)超时的问题,而导致数据不完整会缺少文件。
我只是一个刚毕业有3个月开发经验的程序员,就遇到这么棘手的问题,个人感觉这个功能需求提的就有点不太现实,想问有这方面经验的大神,这个问题有什么好的解决方法?
--参考方法--
对于数据规模太大的,做成任务。

用户点击导出,检查他的数据规模,超过50W的,提示其数据规模过大,可能需要 N 小时完成,请稍候再来查询和下载导出结果。如果用户点击确定,你就提示:“任务已进入队列,点击此连接查询导出进度。”

然后你要做两件事情:
1、给这个用户记录个标识,就是他已经启动某导出任务,不能再启动新的了(或者限制一个人最多同时启动几个导出任务);
2、后台有个调度程序,开始执行导出工作,并将生成的Excel放在某磁盘目录或存在数据库中;这个调度任务可以控制下最大同时并发的导出任务数,以避免任务太多拖垮系统。

另外需要开发界面查询导出进度以及下载导出结果。导出结果可以考虑一个最大保存周期,比如7天。
--参考方法--
引用:
谢谢你的指点,那再请问一下,对于利用oracle分页查询,数据量太大,越往后查越慢,有什么好的办法?


无。原因很简单,Oracle查询时,要根据你的条件对数据进行过滤和排序,假定你要取出 100W~101W 的数据,那么在没有完成对所有数据的过滤和所有数据的排序(注意不仅仅是100W,因为有排序)之前,Oracle无法知道100W~101W究竟会是哪些。



所以,除了7楼的办法外(7楼的办法涉及到更新字段和更新索引,其实性能也有限),另一种办法就是定位检索。也就是不做任何过滤与排序。

假如你所有的记录都有一个不间断顺序号,从1~100W,那么你可以直接让Oracle给你返回:
    Select * From 表 Where id > 99W And id <=100W
这个就是定位检索,Oracle直接根据索引找到id为99W的位置,然后顺序返回后面1W行,超高效率。

如果你的分页查找过程是连续的,也可以延伸该做法使其适应于非连续主键,记住上次一检索的最后一个ID大小即可:
    Select * From (Select *, rownum _rn_ From 表 Where id>上一次ID) Where _rn_ <= 10000


整个过程都时刻要关注两个问题:1、过滤(只能适应于Range型);2、排序(Never Do That)。
--参考方法--
引用:
整个过程都时刻要关注两个问题:1、过滤(只能适应于Range型);2、排序(Never Do That)。

如果我没理解错的话,第一个方法在实际环境不太适用,一般查询条件是不会用到主键的。第二个方法是个好主意,大神果然经验丰富。
第一次查询:select * from 表 where 需要的查询条件 and rownum < 100W order by 主键
以后的查询条件:select * from 表 where 需要的查询条件 and id > 上次的最后一个id and rownum < 100W order by id
上一篇:上一篇
下一篇:下一篇

 

随机推荐程序问答结果

 

 

如对文章有任何疑问请提交到问题反馈,或者您对内容不满意,请您反馈给我们DOC100.NET论坛发贴求解。
DOC100.NET资源网,机器学习分类整理更新日期::2014-01-05 01:58:03
如需转载,请注明文章出处和来源网址:http://www.doc100.net/bugs/t/3780/
本文WWW.DOC100.NET DOC100.NET版权所有。