当前位置：首页 → 问答吧 → 济南网站优化关于修改robots.txt之后的生效时间

济南网站优化关于修改robots.txt之后的生效时间

时间：2010-12-21

来源：互联网

修改网站中的robots.txt之后多久才能生效呢？济南网站优化利用济南网站建设的网站测试了一下，在robots.txt中禁用了一个目录，可查网站日志蜘蛛还是在爬。那么修改robots.txt之后多久才能生效呢？

   济南网站优化认为因为站点不同，更新频也会略有不同，百度蜘蛛通常发现robots.txt修改后48小时生效。如果你的网站发现很久不生效等意外情况，可以通过 tousu.baidu.com 反馈给百度处理。

   据济南网站优化观察：Google蜘蛛会在发现robots.txt文件修改之后24小时内生效。

   仔细分析网站日志，也可以判断修改robots.txt之后的生效时间。例如：你修改robots.txt之后，蜘蛛爬行了修改后的文件，那在蜘蛛下次爬行时就会生效。

   另外还有一种情况：robots.txt里禁止的目录或者单个页面，有外链存在的话，蜘蛛还是会从其它网站来爬行该目录或者页面，直到robots.txt生效为止。

   如果需要完全禁止蜘蛛爬行，只需将此元标记置入网页的 <HEAD>  部分：

   <meta name=”robots” content=”noindex nofollow”>

   更详细的用法可以参考以下帮助资源：

   http://www.google.com/support/we ... wer.py?answer=93710

   http://www.baidu.com/search/robots.html

www.yoususeo.com
www.yilian199.com

作者: xunuo12love 发布时间: 2010-12-21

真的假的啊

作者: www.yktlm.com 发布时间: 2010-12-21

萨德斯涅~~~~~~~

作者: 那些人那些事发布时间: 2011-01-08