+ -
当前位置:首页 → 问答吧 → 关于robots.txt的一个问题的探讨

关于robots.txt的一个问题的探讨

时间:2011-01-06

来源:互联网

我一个网站例如: 111.cn
下面的robots 这样写:

User-agent:*
Disallow:/
Allow: /index.asp
Allow: /ShowPost.asp?ThreadID=
Allow: /ShowForum.asp?ForumID=

我只让抓取三个页面,其他的全部禁止,
但是我同时在该主机有一个子站bbs.111.cn
请问大家,如果按照上面的robots的设置会不会影响对bbs.111.cn下面页面的收录(当然该目录下面也可以设置robots文件)。
我是想让也收录bbs.111.cn下面的网页。

再具体点,站内的文件目录是这样的。
wwwroot目录下:
/index.asp
/showforum.asp
/showpost.asp
/robots.txt
/bbs.111.cn (由于用的是godaddy空间,这是一个独立的站,只是和111.cn在同一个共享IP主机里面)
/其他文件或站点

请问大家,如果按照上面robots.txt写法,bbs站会不会被搜索引擎屏蔽。

说明一下:不需要关心 www.111.cn/bbs.111.cn/这样的访问方式是否可以通,被搜索引擎屏蔽也没有关系。

作者: digital2005   发布时间: 2011-01-06

写错了

作者: modoukiss   发布时间: 2011-01-06

怎么没有人回答啊!希望大家多多关注。

作者: digital2005   发布时间: 2011-01-06

第一个写错了!

作者: 对牛弹琴   发布时间: 2011-01-06

错在什么地方?大家能给点提示吗?

作者: digital2005   发布时间: 2011-01-06

等高手指点,这个我也不是太会

作者: 戰鬥饅頭   发布时间: 2011-01-06

顶一个!!

作者: uufer   发布时间: 2011-01-06