日归档：2008 年 09 月 09 日

      Robots.txt作为一个存放于网站根目录下的文本，通常只有搜索引擎的爬虫程序才会光顾这个文件，用来辨别这个网站内容是否可以被全部或部分抓取。然而最近淘宝网站的Robots.txt引起了业内的普遍关注，因为淘宝的Robots.txt直接屏蔽了来之百度的搜索爬虫。