欢迎来到Doc100.Net免费学习资源知识分享平台!
您的位置:首页 > 程序异常 >

800万条数据除开重复数据有没有好的建议

更新时间: 2014-01-05 02:11:05 责任编辑: Author_N1

 

800万条数据去除重复数据有没有好的建议?
最近新的项目需要销售数据,我将近3年的销售数据全部倒入  800w条,突然发现有2116条重复数据,Oracle 10G的数据库。一下是我的解决方案,不知道各位有没有更好的方案,要效率的
delete from table1  tt1 where tt1.column1 in(select max(t.rowid )from table1 t group by t.column1,t.column2,t.column3,t.column4having count(t.column1)>1 order by t.sys_storeno)

还没有执行  但是我感觉这种方法肯定执行起来很慢。我有想用procedure去做。各位还有别的什么好的方法吗?
ps:最好不要使用临时表去做  
--参考方法--
你可以为这个表 按时间、季度等 建分区,然后再处理
--参考方法--
select columns(重复列标识),count(*) from tables
group by columns(重复列标识)
having count(*)>1;
--参考方法--
"我有想用procedure去做"
PL/SQL在效率上肯定比SQL稍微低了点
在数据没有被你取出前,distinct剔重不行吗?基于你的3年销售数据的品质,1楼的方法其实可以考虑
上一篇:上一篇
下一篇:下一篇

 

随机推荐程序问答结果

 

 

如对文章有任何疑问请提交到问题反馈,或者您对内容不满意,请您反馈给我们DOC100.NET论坛发贴求解。
DOC100.NET资源网,机器学习分类整理更新日期::2014-01-05 02:11:05
如需转载,请注明文章出处和来源网址:http://www.doc100.net/bugs/t/6692/
本文WWW.DOC100.NET DOC100.NET版权所有。