欢迎来到Doc100.Net免费学习资源知识分享平台!
您的位置:首页 > 程序异常 >

采集大量信息时如何避免采集进程呢?哪位高手能给个思路?多谢.

更新时间: 2014-01-05 01:52:33 责任编辑: Author_N1

 

采集大量信息时如何处理采集进程呢?谁能给个思路?谢谢..
现在已经解决的是可以批量提交内容页地址让它循环采集并写入数据库. 

我的问题是如果一次性提交数百条内容页地址的话(采集完成时间起码要几分钟了),不过它也是一次性执行完成。这样好像不太合理。 

比如我把内容页地址放在一个数组中 url(), 
  
  for i=lbound(url) to ubound(url) 

  ...采集内容并写入数据库.. 

  next 

我想实现的是每次采集完一篇。就刷新一次,然后取得下一个采集地址.继续...(而不是像上面那种情况从头采到尾的.) 
这样的话应该如何处理?请各路大侠给个思路,谢谢!!!

--参考方法--
第一次,你可以获取所有的新闻列表,对吧,
把地址保存到一个match中,同时刷新一个num计数器,如num=0,num=1,,,,等,表明是第几条记录
上一篇:上一篇
下一篇:下一篇

 

随机推荐程序问答结果

 

 

如对文章有任何疑问请提交到问题反馈,或者您对内容不满意,请您反馈给我们DOC100.NET论坛发贴求解。
DOC100.NET资源网,机器学习分类整理更新日期::2014-01-05 01:52:33
如需转载,请注明文章出处和来源网址:http://www.doc100.net/bugs/t/2372/
本文WWW.DOC100.NET DOC100.NET版权所有。