欢迎来到Doc100.Net免费学习资源知识分享平台!
您的位置:首页 > 程序异常 >

robots.txt 设置有关问题

更新时间: 2014-01-05 00:49:54 责任编辑: Author_N1

 

robots.txt 设置问题
例如在robots.text设置如下:
User-agent: *
Allow: /new/
Allow: /channel/
Allow: /default.jsp
Allow: /list/
Disallow: /old/

网站根还有几个目录。
如:
/bbs/
/time/
/site/
那这三个目录会被百度,google收录访问么?
还有跟目录下的网页会被收录访问么?
--参考方法--
你只Disallow: /old/了old目录,没有Disallow的应该都可以访问到,
robots.txt的规则可以看
http://baike.baidu.com/view/9274458.htm
http://www.baidu.com/search/robots.html
上一篇:上一篇
下一篇:下一篇

 

随机推荐程序问答结果

 

 

如对文章有任何疑问请提交到问题反馈,或者您对内容不满意,请您反馈给我们DOC100.NET论坛发贴求解。
DOC100.NET资源网,机器学习分类整理更新日期::2014-01-05 00:49:54
如需转载,请注明文章出处和来源网址:http://www.doc100.net/bugs/t/269/
本文WWW.DOC100.NET DOC100.NET版权所有。