站长:不就是多了条斜杠吗,能有多大不同?
小编:很多新手站长搞不明白这其中的作用,其实作用区别很大的呦。
Disallow: /abc表示禁止蜘蛛索引网站根目录下所有以abc开头的文件夹和文件
举例:
/abc.html
/abcde.php
/abc/123.html
/abc/def/123.html
/abc/def/
/abcde/abc/
等文件均不可索引,也就是说只要在网站根目录下以abc开头就禁止蜘蛛索引
Disallow: /abc/表示禁止蜘蛛索引网站根目录的abc文件夹,以及abc文件夹下的文件
举例:
/abc/123.html
/abc/def/123.html
/abc/def/
不可被蜘蛛索引
简单一句话总结就是:一个属于针对,一个属于包含。
Disallow: /abc 禁止了根目录下所有以abc开头的文件夹和文件
Disallow: /abc/ 则只针对根目录下的abc文件夹以及abc文件夹下的子目录和文件
以下内容来自百度官方“百度搜索帮助中心-禁止搜索引擎收录的方法”