为什么网站日志中robots.txt的http状态码是404
时间:2010-12-17
来源:互联网
代码如下,2010-12-16 00:19:45 W3SVC6454084 58.30.240.114 GET /robots.txt - 80 - 220.181.125.71 - 404 0 2
2010-12-16 00:28:13 W3SVC6454084 58.30.240.114 GET /robots.txt - 80 - 220.181.7.26 Baiduspider+(+[url]http://www.baidu.com/search/spider.htm[/url]) 404 0 64
2010-12-16 01:45:34 W3SVC6454084 58.30.240.114 GET /robots.txt - 80 - 203.208.60.91 Mozilla/5.0+(compatible;+Googlebot/2.1;++[url]http://www.google.com/bot.html[/url]) 404 0 2
这个是怎么回事呢,只要出现robots.txt的地方都出现了 404
2010-12-16 00:28:13 W3SVC6454084 58.30.240.114 GET /robots.txt - 80 - 220.181.7.26 Baiduspider+(+[url]http://www.baidu.com/search/spider.htm[/url]) 404 0 64
2010-12-16 01:45:34 W3SVC6454084 58.30.240.114 GET /robots.txt - 80 - 203.208.60.91 Mozilla/5.0+(compatible;+Googlebot/2.1;++[url]http://www.google.com/bot.html[/url]) 404 0 2
这个是怎么回事呢,只要出现robots.txt的地方都出现了 404
作者: zzbzjxw 发布时间: 2010-12-17
额 来看看 也不大懂
作者: 爱购网减肥 发布时间: 2010-12-17
相关阅读 更多
热门阅读
-
office 2019专业增强版最新2021版激活秘钥/序列号/激活码推荐 附激活工具
阅读:74
-
如何安装mysql8.0
阅读:31
-
Word快速设置标题样式步骤详解
阅读:28
-
20+道必知必会的Vue面试题(附答案解析)
阅读:37
-
HTML如何制作表单
阅读:22
-
百词斩可以改天数吗?当然可以,4个步骤轻松修改天数!
阅读:31
-
ET文件格式和XLS格式文件之间如何转化?
阅读:24
-
react和vue的区别及优缺点是什么
阅读:121
-
支付宝人脸识别如何关闭?
阅读:21
-
腾讯微云怎么修改照片或视频备份路径?
阅读:28