欢迎来到Doc100.Net免费学习资源知识分享平台!
您的位置:首页 > 程序异常 >

抢救啊 抓取网页数据保存到本地数据库 有1万多页

更新时间: 2014-01-05 02:27:23 责任编辑: Author_N1

 

急救啊 抓取网页数据保存到本地数据库 有1万多页啊
http://app1.sfda.gov.cn/datasearch/face3/base.jsp?tableId=25&tableName=TABLE25&title=国产药品&bcId=124356560303886909015737447882

那位大侠能帮帮小弟 抓取这个网站上的药品信息并保存到本地数据库 最好能进入药品的下级目录 取得更多的数据内容  共1万多页  是在抱歉 图片上传不了
--参考方法--
共11062页 共165919条
平均每页花费3秒的话
取完这 1W 页的数据大约 9+小时
还没有计算中间掉线需要补数据的时间

要求高了一点

扫雷
--参考方法--

Clear
nTime = Seconds()
nDelayTime = 2  && 延时时间,如果你的网速慢,秒数酌情放大
Public oie, objTable, nPages
nStartPage = 1  && 起始页
nEndPage = 10  && 结束页

Create Cursor 国产药品 (序号 N (6), 产品名称 C(40), 批准文号 C(20), 生产单位 C(40), 药品本位码 C(70) )
oIE = Createobject("internetexplorer.application")
oIE.Visible = .F.
oIE.Navigate("http://app1.sfda.gov.cn/datasearch/face3/base.jsp?tableId=25&tableName=TABLE25&title=国产药品&bcId=124356560303886909015737447882")
=WaittingFor()

For I = nStartPage To nEndPage
    Wait Window "正在提取数据,预计耗时(秒):"  + Alltrim( Str((nEndPage - nStartPage + 1) * nDelayTime * 1.1 ) ) + Chr(13) + ;
        "现在正在提取:" + Alltrim( Str(I) ) + " of " + Alltrim( Str(nEndPage) ) + " 页" Nowait
    nPages = "javascript:devPage(" + Alltrim(Str(I)) + ")"
    oIE.Navigate(nPages)
    =WaittingFor()
    Do GetDates
Endfor

Wait Window "耗时(秒) : " + Alltrim(Str(Seconds() - nTime)) Timeout 3
oIE.Quit()
Go Top
Browse Last

Return


Function WaittingFor  && 延时
    tStartSecond = Seconds()
    Do While oIE.Busy=.T. Or oIE.ReadyState#4
上一篇:上一篇
下一篇:下一篇

 

随机推荐程序问答结果

 

 

如对文章有任何疑问请提交到问题反馈,或者您对内容不满意,请您反馈给我们DOC100.NET论坛发贴求解。
DOC100.NET资源网,机器学习分类整理更新日期::2014-01-05 02:27:23
如需转载,请注明文章出处和来源网址:http://www.doc100.net/bugs/t/10010/
本文WWW.DOC100.NET DOC100.NET版权所有。