robots下disallow禁止访问某目录的问题
时间：2011-01-08
来源：互联网
想在禁止蜘蛛抓取某目录下的所有文件 ，写成
User-agent: *
Disallow: /wenda/
和
User-agent: *
Disallow: /wenda
这两种写法有什么区别，请高手解释一下
User-agent: *
Disallow: /wenda/
和
User-agent: *
Disallow: /wenda
这两种写法有什么区别，请高手解释一下
作者: dream8cn 发布时间: 2011-01-08
"Disallow:/wenda"对/wenda.html 和/wenda/index.html都不允许搜索引擎访问，
而"Disallow:/wenda/"则允许robot访问/wenda.html，而不能访问/wenda/index.html。
而"Disallow:/wenda/"则允许robot访问/wenda.html，而不能访问/wenda/index.html。
作者: z85329 发布时间: 2011-01-08
楼上你回答是完全错的。我的理解是
Disallow: /wenda/ 是禁止访问wenda目录下所有文件
Disallow: /wenda 是禁止访问url中带wenda所有文件，包括wenda目录下的和其它的文件
我不敢确定是不是这样，所以问一下
Disallow: /wenda/ 是禁止访问wenda目录下所有文件
Disallow: /wenda 是禁止访问url中带wenda所有文件，包括wenda目录下的和其它的文件
我不敢确定是不是这样，所以问一下
作者: dream8cn 发布时间: 2011-01-08
意思不是一样的么~~~~~~你看清楚了。把index.html换成****.html就全面了。
作者: z85329 发布时间: 2011-01-08
相关阅读 更多
热门阅读
-
office 2019专业增强版最新2021版激活秘钥/序列号/激活码推荐 附激活工具
阅读：74
-
如何安装mysql8.0
阅读：31
-
Word快速设置标题样式步骤详解
阅读：28
-
20+道必知必会的Vue面试题（附答案解析）
阅读：37
-
HTML如何制作表单
阅读：22
-
百词斩可以改天数吗？当然可以，4个步骤轻松修改天数！
阅读：31
-
ET文件格式和XLS格式文件之间如何转化？
阅读：24
-
react和vue的区别及优缺点是什么
阅读：121
-
支付宝人脸识别如何关闭?
阅读：21
-
腾讯微云怎么修改照片或视频备份路径?
阅读：28
