修改了robots2天了 为什么蜘蛛还在爬？多少实践生效
时间：2010-12-16
来源：互联网
12月14日 修改的robots 今天看了下日志 看先蜘蛛还在爬 ？ robots修改后不是 48小时内就可以生效吗？
作者: 不老少年 发布时间: 2010-12-16
首先检查robots的设置是否正确，
如果其他网站链接了你的obots.txt文件中设置的禁止收录的网页，那么这些网页仍然可能会出现在百度的搜索结果中，但您的网页上的内容不会被抓取、建入索引和显示，百度搜索结果中展示的仅是其他网站对您相关网页的描述。
如果其他网站链接了你的obots.txt文件中设置的禁止收录的网页，那么这些网页仍然可能会出现在百度的搜索结果中，但您的网页上的内容不会被抓取、建入索引和显示，百度搜索结果中展示的仅是其他网站对您相关网页的描述。
作者: 蔚蓝海岸 发布时间: 2010-12-16
Disallow: /bull/sg1.php
Disallow: /bull/sg2.php
我这样写 robots正确吧 想实现的效果 是 bull 文件夹下的 sg1 sg2 文件不被搜索引擎抓取
不知道这样写正确不
Disallow: /bull/sg2.php
我这样写 robots正确吧 想实现的效果 是 bull 文件夹下的 sg1 sg2 文件不被搜索引擎抓取
不知道这样写正确不
作者: 不老少年 发布时间: 2010-12-16
还要请教下，怎么看蜘蛛还爬不爬，抛开残留 看日志时间吗
113.12.255.148 - - [16/Dec/2010:00:23:42 +0800] "GET /bull/sg7.php?2MVBQPAZQ.html
这是我修改后的日志现实 显示还是在爬 这是不是说明 robots 没有起到效果
113.12.255.148 - - [16/Dec/2010:00:23:42 +0800] "GET /bull/sg7.php?2MVBQPAZQ.html
这是我修改后的日志现实 显示还是在爬 这是不是说明 robots 没有起到效果
作者: 不老少年 发布时间: 2010-12-16
是不是需要一段时间才可以删除 但是为什么 还在爬呢 应该禁止了啊 可能是还没有删除才对 ，有点迷茫
作者: 不老少年 发布时间: 2010-12-16
相关阅读 更多
热门阅读
-
office 2019专业增强版最新2021版激活秘钥/序列号/激活码推荐 附激活工具
阅读：74
-
如何安装mysql8.0
阅读：31
-
Word快速设置标题样式步骤详解
阅读：28
-
20+道必知必会的Vue面试题（附答案解析）
阅读：37
-
HTML如何制作表单
阅读：22
-
百词斩可以改天数吗？当然可以，4个步骤轻松修改天数！
阅读：31
-
ET文件格式和XLS格式文件之间如何转化？
阅读：24
-
react和vue的区别及优缺点是什么
阅读：121
-
支付宝人脸识别如何关闭?
阅读：21
-
腾讯微云怎么修改照片或视频备份路径?
阅读：28
