php代码禁止搜索引擎蜘蛛

其实robots.txt也不是百分之百的可以阻止蜘蛛爬行你的网站，我自己结合某些资料写了一小段代码，貌似可以彻底解决这个问题，不对的地方请大家多多指教：
PHP code

if(preg_match("/(Googlebot|Msnbot|YodaoBot|Sosospider|baiduspider|google|baidu|yahoo|sogou|bing|coodir|soso|youdao|zhongsou|slurp|ia_archiver|scooter|spider|webcrawler|OutfoxBot)/i", $_SERVER['HTTP_USER_AGENT']))
{

    header('HTTP/1.1 403 Forbidden');
    exit;
}

LZ的思路我懂了 但是每个文件都包含这段文字还是主页包含就好了？

哦，忘记说一句，我的系统是单一入口，直接加入口文件中即可。多入口那没办法，只好各个入口文件头部都加了