欢迎来到Doc100.Net免费学习资源知识分享平台!
您的位置:首页 > 程序异常 >

kettle 的数据转移解决方法

更新时间: 2014-01-05 02:29:16 责任编辑: Author_N1

 

kettle 的数据转移
不知道应不应该发到这个区,如果有错误请帮忙转移。

我现在有两张表A和B,现在要实现A里的数据往B里实现增量转移。数据量大概在50万条左右。

条件1:B里有3个字段是A里没有的,并且不能为空,这三个字段需要用代码生成,然后插入。
条件2:A里的数据有可能每天都有添加、修改和删除,B里要实现同步。


kettle新手,看了两天的kettle文档,但是还是不知道如何下手,之前是用存储过程实现的,但是有点麻烦,所以想使用工具。

请各位帮忙给个方案,谢谢了!!!
--参考方法--
kettle本身没有实现触发器捕捉数据变化的机制,你如果需要实现这样的效果,需要在源数据那边做数据预处理,对源数据进行增、删、改的数据捕捉,然后与存储到临时表中。数据抽取对象再转换为这个临时表,按照时间戳来进行数据过滤,需要注意时间的格式。
--参考方法--
楼主针对的数据库有很多吗,如果只是纯oracle和sqlSERVER,可以考虑用数据库本身的CDC功能把要捕捉的表发布出来。

IBM有一款用于数据捕捉的通用CDC软件比较,如果有米可以考虑,呵呵
--参考方法--
在表里添加一个字段做为标识符,同步、修改时改变这个状态,当状态改变时对这些数据向b表进行新增或修改
上一篇:上一篇
下一篇:下一篇

 

随机推荐程序问答结果

 

 

如对文章有任何疑问请提交到问题反馈,或者您对内容不满意,请您反馈给我们DOC100.NET论坛发贴求解。
DOC100.NET资源网,机器学习分类整理更新日期::2014-01-05 02:29:16
如需转载,请注明文章出处和来源网址:http://www.doc100.net/bugs/t/10397/
本文WWW.DOC100.NET DOC100.NET版权所有。