Robots文件是当搜索引擎在抓取和访问网站的时候所第一个访问的文件。我们在这个文件上可以设置搜索引擎。设置哪些页面可以被搜索引擎抓取,还有哪些页面不被搜索引擎抓取。
如果是个人网站,涉及到个人隐私的部分可以设置成不被搜索引擎所抓取。这样的话就不会在网站中搜索和检查到。如果是一般性的商业网站,我们会设置成所有的页面都会被抓取。 网站的页面通常情况下会分为静态页面和动态页面。对于搜索引擎,它更倾向于抓取静态页面。然而,我们现在的网站中大部分的页面都是动态的,所以我们为了让搜索引擎更好地抓取网站页面,我们可以将页面设置成伪静态。 最简单的一个方法就是让页面的链接以.html结尾。当然了,我只说了其中的一种,还是有很多伪静态的设置方法,大家可以自行挖掘。这样做的目的就是让我们网站更容易被搜索引擎抓取。设置网站地图的作用就是让用户和搜索引擎能够更直观、更清晰地找到我们网站中所相应的栏目、内容和分类。
我不建议大家使用第三种程序员编写工具,因为它涉及到网站的一些代码,不是很专业的人可能不会一下子弄明白的,而前两种工具是我们在后台就可以直接进行生成和设置的。