|
想必大家已经猜到了，就是网站地图。蜘蛛每到一个网站，首先检测有没有robots文件，如果有robots文件，则先检测robots文件的规定，哪些页面可以去，哪些页面不可以去。上节不是让大家把网站地图放在robots上面吗？这节蜘蛛就直接顺着地址来到了网站的地图页面。
一、 什么是网站地图？网站地图分为两种：一种是给蜘蛛看的XML地图，另一种是给用户看的MTML地图。 用户版的网站版的网站地图一般是一个网站总体导航的地图，比如QQ网站主域名下面的MAP页面，上面放置了大量的导航页供人们方便的在网站上面快速到达自己想要到达的版块。 针对搜索引擎的网站地图，即SEO从业人员最常讲到的网站地图是指一个XML文件，上面按指定的格式放置了一个网站主要页面的所有地址，帮助蜘蛛方便的爬取网站的每一个页面。 搜索引擎蜘蛛是非常喜欢网站地图的。 二、 网站地图怎么做？<priority>0.8</priority> <lastmod>2014-05-11</lastmod> <changefreq>daily</changefreq> </url> 第一个参数：<loc></loc>之间放置的是网页的地图 第二个参数：<priority></priority>单词词义为优化级，当然就是优化级了，优先级是从0.1-1.0之间的一个数字。页面越重要，你可以给它越高的数值。 第三个参数：<lastmod></lastmod>是指最后更新日期，你什么时候更新的就填放当天日期即可。 第四个参数：<daily></daily>相信懂英文意思的朋友也不需要我去解释了，字意就是每天嘛。这里是指网站更新频率，当然你也可以用always、hourly、daily、weekly、monthly、yearly、never
| 
