欢迎来到Doc100.Net免费学习资源知识分享平台!
您的位置:首页 > 程序异常 >

高分求海量数据库设计方案解决方案

更新时间: 2014-01-05 02:31:09 责任编辑: Author_N1

 

高分求海量数据库设计方案
海量数据设计问题
现有200个数据采集设备实时将数据上传到管理中心,大概每个设备一天的数据量为1000万条,需要在管理中心提供对数据的查询功能,请教在管理中心软件的数据库要如何设计才能保证能快速响应。

--参考方法--
这篇文章写得不错,可以看看,http://www.zhanghongze.com/blog/42001/%E6%B5%B7%E9%87%8F%E7%94%A8%E6%88%B7%E4%B8%8B%E7%9A%84%E6%95%B0%E6%8D%AE%E5%BA%93%E8%AE%BE%E8%AE%A1#comments
--参考方法--
创建索引
--参考方法--
是通讯行业的应用吗?

1、增加一层数据处理层,将数据转储到内存数据库
2、使用分区表进行数据分区。
3、原始记录不入库,直接存储为文件。
4、汇总数据和关键业务数据入库。
5、大容量数据导入必须用,同时考虑分布式的数据加载方式。
6、硬件架构上将日志单独一个存储,存储整列的Cache 4G以上。
7、如果资金允许,建议使用SSD闪存硬盘,比外挂整列的IO性能高3倍以上。由于容量不可能太大,可以考虑将当天数据保存在SSD硬盘。
8、是否需要汇总,做定时汇总。

核心:
分区(必要时分表与分区同时使用)、大容量入库(内存转储、内存解压、内存数据库)、硬件技术(磁盘阵列、SSD硬盘、日志存储)、定时汇总(建立多维度汇总(时间、分析对象)加快业务功能的执行)、分布式设计(数据加载)、文件代替数据库(不是所有数据都需要入库)

h
上一篇:上一篇
下一篇:下一篇

 

随机推荐程序问答结果

 

 

如对文章有任何疑问请提交到问题反馈,或者您对内容不满意,请您反馈给我们DOC100.NET论坛发贴求解。
DOC100.NET资源网,机器学习分类整理更新日期::2014-01-05 02:31:09
如需转载,请注明文章出处和来源网址:http://www.doc100.net/bugs/t/10844/
本文WWW.DOC100.NET DOC100.NET版权所有。