欢迎来到Doc100.Net免费学习资源知识分享平台!
您的位置:首页 > 程序异常 >

数据库海量数据处理有关问题

更新时间: 2014-01-05 02:30:22 责任编辑: Author_N1

 

数据库海量数据处理问题
使用MySql数据库,其中有一个表有百亿级别数据。每次操作都要从这些数据中找到最大的,并根据找到的行对数据表的一小部分数据进行更新操作。怎样设计,包括数据库和程序, 使得内存占用小,并且处理速度快。
--参考方法--
MySQL操作百亿的表真心累
确切的说大部分RDBMS玩百亿数据表都很麻烦
DBA的工作会进入patition+split+tran的死循环
--参考方法--
RDBMS处理无非4种方案
1、分区、分表、分库、读写分离
2、在DB上层构建数据代理层,DB改造为分布式
3、购买性能更高的硬件
4、花钱购买完整解决方案,比如甲骨文的ORACLE、SAP的HANA等
技术能力强的企业会用前两种方案
技术差的用后两种方案
当然,也可以把一些持久化的大数据迁移到NoSQL分布式系统上,比如HBASE,这种数据不会被修改,只提供查询、添加接口。
在线业务数据任然用RDBMS,减轻在线数据的总容量。
--参考方法--
百亿级的数据,实在恐怖,是百万数据量的一万倍。建议亲自往百度,搜狗等搜索引擎公司去咨询吧。
--参考方法--
哈哈,读写分离吧,历史数据归档,表分区,索引分区。
上一篇:上一篇
下一篇:下一篇

 

随机推荐程序问答结果

 

 

如对文章有任何疑问请提交到问题反馈,或者您对内容不满意,请您反馈给我们DOC100.NET论坛发贴求解。
DOC100.NET资源网,机器学习分类整理更新日期::2014-01-05 02:30:22
如需转载,请注明文章出处和来源网址:http://www.doc100.net/bugs/t/10607/
本文WWW.DOC100.NET DOC100.NET版权所有。