欢迎来到Doc100.Net免费学习资源知识分享平台!
您的位置:首页 > 程序异常 >

数据采集器的大数据量算法求教解决办法

更新时间: 2014-01-05 01:58:11 责任编辑: Author_N1

 

数据采集器的大数据量算法求教
项目中需要有200万个以上的数据采集器,这些数据采集器每8分钟会把采集到的数据提交出来,单次数据的量不大,大概在200个字节。但是因为并发数很大。不知道这样的要求,需要采用哪种技术或者架构来实现?
--参考方法--
今天刚好咨询一个有经验的前辈,他针对我的系统,建议我做缓存来处理这种大的并发数据,先将数据存在缓存里,然后单独开一个线程专门来处理缓存。
希望对你有帮助。
--参考方法--
200万个数据采集器,8分钟一次提交,也即每分钟大约要处理 25万次请求;每秒 TPS 为:4166

这个量级很高,恐怕要多服务器来处理。

如果网络比较有保障的话,可以考虑 UDP 协议(非可靠传输),但是会面临数据包丢失的风险。 

采集服务器可以将所接获数据包直接写到本地磁盘文件中,这样效率高又减少宕机导致数据大量丢失风险;然后再由专门服务器负责将各磁盘文件的批量导入到数据库中。
上一篇:上一篇
下一篇:下一篇

 

随机推荐程序问答结果

 

 

如对文章有任何疑问请提交到问题反馈,或者您对内容不满意,请您反馈给我们DOC100.NET论坛发贴求解。
DOC100.NET资源网,机器学习分类整理更新日期::2014-01-05 01:58:11
如需转载,请注明文章出处和来源网址:http://www.doc100.net/bugs/t/3821/
本文WWW.DOC100.NET DOC100.NET版权所有。