关于robots.txt的提问（解答的好送威望）

我在一个网站上创建了一个二级栏目，但是会显示2个地址
如:
[url]www.xx2323x.com/lanmu/sanjilanmu/[/url]
[url]www.xx2323x.com/lanmu/sanjilanmu/index.html[/url]

如果现在我想要用robots.txt将ndex.html的屏蔽该怎么做呢？

注：[url]www.xx2323x.com/lanmu/[/url]一级栏目是不变的，二级栏目是会变的
也就是说我会创建很多个二级栏目
而且每个栏目都会出现[url]www.xx2323x.com/lanmu/sanjilanmu/index.html[/url]页面！

恩。这样的情况，建议不要屏蔽。

你只要网站上，所以链接这个地址的url都采用第一个url就行。

这样蜘蛛就不会抓取到你的第二个地址了。

恩楼上有正解，但是不知道楼主屏蔽这个做什么

夫唯亲自回答  学习