禁止搜索引擎抓动态页面??
时间:2010-12-28
来源:互联网
我的网站开启了伪静态,但我查了下收录,google把静态和动态页面都抓取了,现在我只想让google抓取静态页面,在robots.txt里面怎么写规则??
昨天晚上十一点钟看到google还收录了90左右的页面,但今天上午查时看到只有60左右的页面收录,是什么原因??是因为抓取的动态和静态页面内容重复的原因吗??
在google的网站管理员里查到,网站内存在重复的元说明和重复的标题标记,这个问题如果禁止抓动态页面后,会解决吗??不能的话,要怎么解决??
小站的地址,希望有大侠能帮忙分析下,给个解决的方法,http://www.hyledlighting.com/
阻止google、百度等所有搜索引擎访问网站中所有带有?的动态网址页面-------这是在网上查到的,不知道是否正确?
User-agent: *
Disallow: /*?*
昨天晚上十一点钟看到google还收录了90左右的页面,但今天上午查时看到只有60左右的页面收录,是什么原因??是因为抓取的动态和静态页面内容重复的原因吗??
在google的网站管理员里查到,网站内存在重复的元说明和重复的标题标记,这个问题如果禁止抓动态页面后,会解决吗??不能的话,要怎么解决??
小站的地址,希望有大侠能帮忙分析下,给个解决的方法,http://www.hyledlighting.com/
阻止google、百度等所有搜索引擎访问网站中所有带有?的动态网址页面-------这是在网上查到的,不知道是否正确?
User-agent: *
Disallow: /*?*
作者: moldbase 发布时间: 2010-12-28
不知道哦
作者: wangruolun 发布时间: 2010-12-28
要禁止什么,像百度就是BUIDUsider这样的
作者: 126tea.com 发布时间: 2010-12-28
百度的禁止掉参考淘宝网,谷歌,就用谷歌管理员工具就可以
作者: lave 发布时间: 2010-12-28
网上查到
作者: 31440 发布时间: 2010-12-28
不知道哦 网上赚钱的好项目 大学生找兼职 电脑赚钱项目 网赚教程
阳痿怎么恢复 吃什么壮阳
阳痿怎么恢复 吃什么壮阳
作者: wanfen001 发布时间: 2010-12-28
相关阅读 更多
热门阅读
-
office 2019专业增强版最新2021版激活秘钥/序列号/激活码推荐 附激活工具
阅读:74
-
如何安装mysql8.0
阅读:31
-
Word快速设置标题样式步骤详解
阅读:28
-
20+道必知必会的Vue面试题(附答案解析)
阅读:37
-
HTML如何制作表单
阅读:22
-
百词斩可以改天数吗?当然可以,4个步骤轻松修改天数!
阅读:31
-
ET文件格式和XLS格式文件之间如何转化?
阅读:24
-
react和vue的区别及优缺点是什么
阅读:121
-
支付宝人脸识别如何关闭?
阅读:21
-
腾讯微云怎么修改照片或视频备份路径?
阅读:28