欢迎来到Doc100.Net免费学习资源知识分享平台!
您的位置:首页 > 程序异常 >

大量数据的并发处理,该如何解决

更新时间: 2014-01-05 01:58:31 责任编辑: Author_N1

 

大量数据的并发处理
手里接个活真蒙了. 上家留下来的网站.
有2000个信息点 有可能同时并发上传GPRS坐标.或者其他数据. 文档上写的数据块大小是1KB(怎么可能这么小啊.)每5秒一次.24小时不间断接受.前后最少要保存两个月的数据以供分析.

二期上面要到5000个信息点. 降到8秒一次. 24小时不间断接受.前后最少要保存一年的数据以供分析.

求稳这种情况该做哪些处理. 缓存?NOSQL?Radis? hadoop? 怎么样才能把网站的响应时间降低到毫秒基本的.


--参考方法--
哇,实在是大数据量。
接受数据和保存数据分开就能降低到毫秒级吧……缓存应该是很理想的方法。
--参考方法--
楼上的很对,5000个信息点 8秒一次 ,也就是说每秒600多次,直接访问数据库是不显示的.正确的方式应该是建立一个中间层,把你需要保存到数据库的数据先放到中间层队列,然后批量更新到数据库...
--参考方法--
这样优先考虑 缓存, 再个可以考虑下 队列。
--参考方法--

消息队列貌似也不给力,这是我之前做过的一个项目,用的rabbitMQ,刚在自己电脑上做的测试,开2000个线程并发,而且是持续连接,每5s触发一次请求,开到10分钟以后请求等待达到了平均10s,但如果线程不是持续连接,开一次就关掉的话,请求平均时间在1s左右
--参考方法--
长连接传1K数据很快的,或许你客户端开的线程太多了。导致测试不准。服务器可以使用mina或者netty
--参考方法--
redis有队列支持,上传上来的数据存入redis,后台写一个程序,批量执行数据库操作,
性能还是不错的。
上一篇:上一篇
下一篇:下一篇

 

随机推荐程序问答结果

 

 

如对文章有任何疑问请提交到问题反馈,或者您对内容不满意,请您反馈给我们DOC100.NET论坛发贴求解。
DOC100.NET资源网,机器学习分类整理更新日期::2014-01-05 01:58:31
如需转载,请注明文章出处和来源网址:http://www.doc100.net/bugs/t/3931/
本文WWW.DOC100.NET DOC100.NET版权所有。