欢迎来到Doc100.Net免费学习资源知识分享平台!
您的位置:首页 > 程序异常 >

不通过现有的搜索引擎,如何采集网址

更新时间: 2014-01-05 00:49:38 责任编辑: Author_N1

 

不通过现有的搜索引擎,怎么采集网址?
现在需要写个项目,需求每天都能够采集到十万左右不同的有效网站。
不通过现有的搜索引擎(原因是经常封IP),怎么采集网址?
搜索引擎是怎么一天找到几千万甚至几亿个网址的?

路过的大神们讨论下吧。了解这个技术的透露一下啊!
--参考方法--
有一种叫“爬虫”之类的技术,具体也没做过,搜索下看,应该有示例的。
除了收集网站(址),一般还有收集邮箱、手机、QQ、电话等
上一篇:上一篇
下一篇:下一篇

 

随机推荐程序问答结果

 

 

如对文章有任何疑问请提交到问题反馈,或者您对内容不满意,请您反馈给我们DOC100.NET论坛发贴求解。
DOC100.NET资源网,机器学习分类整理更新日期::2014-01-05 00:49:38
如需转载,请注明文章出处和来源网址:http://www.doc100.net/bugs/t/185/
本文WWW.DOC100.NET DOC100.NET版权所有。