欢迎来到Doc100.Net免费学习资源知识分享平台!
您的位置:首页 > 程序异常 >

大数据量表索引太多,load花费时间太长如何优化啊

更新时间: 2014-01-05 02:23:14 责任编辑: Author_N1

 

大数据量表索引太多,load花费时间太长怎么优化啊?
有个1300万数据的表,28个字段,14个有索引,往里头load的时候,都得花十几分钟,在不减少索引个数的情况下,怎么才能减少load花费的时间啊?各位大神都有啥子诀窍啊?我们想在load前把索引去了,然后load完成后再加上索引,能不能提高效率啊?以前有没有试过类似操作啊?


--参考方法--
去掉索引,LOAD数据,增加索引
--参考方法--
索引多的话,有索引再LOAD数据,要频繁更新索引,索引越多,需要更新时间也越多,
你可以测试一下,关闭索引再导入,再建立索引的方法

--参考方法--
引用:
重建索引也要花很长时间,这两者相比能在时间上有大的差距吗?
差不多。


--参考方法--
如果联机要访问这个表的话,去掉索引会影响正常系统的运行,得不偿失啊。还有你这个表是有存量数据的吗?如果有有多大的数据量。如果只是空表来做load,而且联机不访问,那去掉索引load当然可以的。
--参考方法--
一般在LOAD数据时,都要在使用较少的时候,且建立索引时要锁表
--参考方法--
引用:
有300万存量,每天批量时候需要向其中load900万数据,跑批的时候是没有其它任务访问的。

这种情况,建议去掉索引,再LOAD,结束后建立索引
--参考方法--
甚至新建索引有可能比直接带索引load还要慢

呵呵,在MYSQL下也测试过,带索引load比去掉索引后LOAD再建立索引要快一些
--参考方法--
引用:
有个1300万数据的表,28个字段,14个有索引,往里头load的时候,都得花十几分钟,在不减少索引个数的情况下,怎么才能减少load花费的时间啊?各位大神都有啥子诀窍啊?我们想在load前把索引去了,然后load完成后再加上索引,能不能提高效率啊?以前有没有试过类似操作啊?


一次性LOAD用十多分钟时间不多呵!

如果是经常性的, 能做差异性LOAD吗? 例如1300万条已LOAD了, 以后只需LOAD新增或被修改的.

都不能的话, 那只能快换硬盘了.
上一篇:上一篇
下一篇:下一篇

 

随机推荐程序问答结果

 

 

如对文章有任何疑问请提交到问题反馈,或者您对内容不满意,请您反馈给我们DOC100.NET论坛发贴求解。
DOC100.NET资源网,机器学习分类整理更新日期::2014-01-05 02:23:14
如需转载,请注明文章出处和来源网址:http://www.doc100.net/bugs/t/9189/
本文WWW.DOC100.NET DOC100.NET版权所有。