关于robots.txt的一个问题的探讨
时间:2011-01-06
来源:互联网
下面的robots 这样写:
User-agent:*
Disallow:/
Allow: /index.asp
Allow: /ShowPost.asp?ThreadID=
Allow: /ShowForum.asp?ForumID=
我只让抓取三个页面,其他的全部禁止,
但是我同时在该主机有一个子站bbs.111.cn
请问大家,如果按照上面的robots的设置会不会影响对bbs.111.cn下面页面的收录(当然该目录下面也可以设置robots文件)。
我是想让也收录bbs.111.cn下面的网页。
再具体点,站内的文件目录是这样的。
wwwroot目录下:
/index.asp
/showforum.asp
/showpost.asp
/robots.txt
/bbs.111.cn (由于用的是godaddy空间,这是一个独立的站,只是和111.cn在同一个共享IP主机里面)
/其他文件或站点
请问大家,如果按照上面robots.txt写法,bbs站会不会被搜索引擎屏蔽。
说明一下:不需要关心 www.111.cn/bbs.111.cn/这样的访问方式是否可以通,被搜索引擎屏蔽也没有关系。
作者: digital2005 发布时间: 2011-01-06
作者: modoukiss 发布时间: 2011-01-06
作者: digital2005 发布时间: 2011-01-06
作者: 对牛弹琴 发布时间: 2011-01-06
作者: digital2005 发布时间: 2011-01-06
作者: 戰鬥饅頭 发布时间: 2011-01-06
作者: uufer 发布时间: 2011-01-06
热门阅读
-
office 2019专业增强版最新2021版激活秘钥/序列号/激活码推荐 附激活工具
阅读:74
-
如何安装mysql8.0
阅读:31
-
Word快速设置标题样式步骤详解
阅读:28
-
20+道必知必会的Vue面试题(附答案解析)
阅读:37
-
HTML如何制作表单
阅读:22
-
百词斩可以改天数吗?当然可以,4个步骤轻松修改天数!
阅读:31
-
ET文件格式和XLS格式文件之间如何转化?
阅读:24
-
react和vue的区别及优缺点是什么
阅读:121
-
支付宝人脸识别如何关闭?
阅读:21
-
腾讯微云怎么修改照片或视频备份路径?
阅读:28