robots.txt关于伪静态问题
时间：2010-12-20
来源：互联网
我的网站内页设置伪静态：
/jiudian-1/
/jiudian-2/
...类似这样的样式
在日志文件中，发现有
/jiudian-1 报404错误
请问，如何在robots.txt中
屏蔽/jiudian-1
但又要让蜘蛛抓得到/jiudian-1/
/jiudian-1/
/jiudian-2/
...类似这样的样式
在日志文件中，发现有
/jiudian-1 报404错误
请问，如何在robots.txt中
屏蔽/jiudian-1
但又要让蜘蛛抓得到/jiudian-1/
作者: 西门狂 发布时间: 2010-12-20
有高手吗
作者: 西门狂 发布时间: 2010-12-20
应该是disallow: /jiudian-1/
你看淘宝，百度仍然抓淘宝的首页
你看淘宝，百度仍然抓淘宝的首页
作者: fenyuhe 发布时间: 2010-12-20
引用:
原帖由 fenyuhe 于 2010-12-20 11:38 发表应该是disallow: /jiudian-1/
你看淘宝，百度仍然抓淘宝的首页
但不屏蔽/jiudian-1/
这两个地址，是不同的
作者: 西门狂 发布时间: 2010-12-20
相关阅读 更多
热门阅读
-
office 2019专业增强版最新2021版激活秘钥/序列号/激活码推荐 附激活工具
阅读：74
-
如何安装mysql8.0
阅读：31
-
Word快速设置标题样式步骤详解
阅读：28
-
20+道必知必会的Vue面试题（附答案解析）
阅读：37
-
HTML如何制作表单
阅读：22
-
百词斩可以改天数吗？当然可以，4个步骤轻松修改天数！
阅读：31
-
ET文件格式和XLS格式文件之间如何转化？
阅读：24
-
react和vue的区别及优缺点是什么
阅读：121
-
支付宝人脸识别如何关闭?
阅读：21
-
腾讯微云怎么修改照片或视频备份路径?
阅读：28
