欢迎来到Doc100.Net免费学习资源知识分享平台!
您的位置:首页 > 程序异常 >

这个情况正常吗?该怎么做

更新时间: 2014-01-05 02:28:36 责任编辑: Author_N1

 

这个情况正常吗?该如何做?
    小弟我现在在负责数据整合的工作,但是不涉及具体技术,主要是负责N家单位和公司之前的衔接协调工作,另外整合新业务数据之前进行数据结构和业务特点的分析,然后交给公司,由公司来完成数据抽取整合进库。
    
    目前数据类型有150种,数据量8T约25亿条,每个月的增加量约1亿条。

    这150种数据有些是直接读取数据库(源开放的视图),这个好办,据公司人员介绍写个存储过程就入库了。 

    可是,还有几十种数据是数据源单位手动从他们库导出的 csv文件,通过FTP给我们的,然后我们(公司的人和我都要做)再用OraLoader将FTP下载的文件手动导入库。
    
    手动导入很无聊,而且有时不小心还漏导入数据。
    有几个数据,今年还发生了几次结构的变化,把我和公司搞崩溃了。

    我问公司的人,他们好像没有一个数据抽取、清洗、转换、导入几个环节的支撑平台,这样的话,这个数据整合工作灵活性就不够,很难适应以后的变化要求。

    现在小弟我想问大家,这种数据量的整合抽取,有什么好的解决方案?我该如何完善这一块的工作,或要求公司做哪方面的改进工作?

    如果有现成的方案,欢迎赐给小弟。
   
    如果有好的建议,也可以。

    谢谢。


--参考方法--
使用DataStage是一种好的选择
--参考方法--
1.和上传文件的人做一些约定:比如在FTP服务器上保存的目录结构或文件名(一天一个目录或文件,命名中加上日期)
2.自己写脚本实现从FTP服务器将文件入库的操作,定时启动扫描需要加载日期的文件,到了就入库
3.做好元数据管理和任务监控。
上一篇:上一篇
下一篇:下一篇

 

随机推荐程序问答结果

 

 

如对文章有任何疑问请提交到问题反馈,或者您对内容不满意,请您反馈给我们DOC100.NET论坛发贴求解。
DOC100.NET资源网,机器学习分类整理更新日期::2014-01-05 02:28:36
如需转载,请注明文章出处和来源网址:http://www.doc100.net/bugs/t/10219/
本文WWW.DOC100.NET DOC100.NET版权所有。