|
最新更新章节：2017-11-22 为了让百度搜索的重要合作伙伴——广大站长充分了解百度搜索引擎规则，并根据规则合理安全建设网站、优化网站，更好的获取搜索流量；百度搜索资源平台历时3个月，探访搜索内部各个技术部门，将百度搜索内部技术原理抽丝剥茧，化零为整，整理出《百度移动搜索建站优化白皮书》，希望与各位站长携手，为用户提供一个健康安全高效的搜索环境。 1 前言手机百度是一款有6亿用户在使用的手机搜索客户端，在中文用户信息获取上发挥了不可替代的作用；移动搜索引擎每日分发上亿流量给到优质安全网站，来满足用户的搜索需求；而对于广大的站长来说，优质安全的网站有助于在搜索引擎中获得良好的排序和展现，从而吸引更多用户，获得更多流量。 移动搜索引擎优化，指从建站开始到吸引用户，贯穿所有流程，为了让百度搜索的重要合作伙伴——广大站长充分了解百度搜索引擎规则，并根据规则合理安全建设网站、优化网站，更好的获取搜索流量；百度搜索资源平台历时3个月，探访搜索内部各个技术部门，将百度搜索内部技术原理抽丝剥茧，化零为整，整理出《百度移动搜索建站优化白皮书》，希望与各位站长携手，为用户提供一个健康安全高效的搜索环境。
2 网站建设2.1 域名选择网站域名选择，不仅能快速直观让用户了解网站定位，域名设置，更会影响搜索对网站的抓取情况。因此，选择简单好记且安全的域名，是网站搭建前期最重要的一步。 2.1.1 域名选择的注意事项网站搭建之初，对网站域名选择，建议域名独立，简单好记；独立移动站域名选择也遵循此规则。 网站域名选择中，主要有以下两点建议： √ 建议使用比较常见的域名后缀，如.com\.cn\.net等； √ 如果网站追求个性化使用罕见域名后缀，为了保证搜索效果，请来百度搜索资源平台（原百度站长平台）进行站点验证。 2.1.2 使用子域名或目录网站是否需要建立子域名，或是划分多级目录，可根据网站自身定位及网站内容量级决定。通常来说，综合类或内容量较多的网站，可将内容按照不同二级域明确划分；而如果网站内容较少，不建议网站开设过多的子域名。 举例来说，blog形式站点，有的网站给到每个blog作者单独的三级域，但如果作者发布频率较低，整个三级域都是更新频率很低的状态，过低的发布频率对搜索引擎来说是不友好的。 2.2 内容发布系统
内容发布系统，无论是网站自建还是使用第三方建站系统，百度都是支持的；所有发布系统，除遵循有条理、逻辑清晰建站，还要注意网站搭建的安全问题，避免网站安全隐患，才能更好的提升网站价值。 2.2.1 自建内容发布系统网站自建内容发布系统，注意事项包括： √ 主体内容清晰且能够很好的识别与分辨； √ 后台发布时间切勿自行设置，遵循发布时间与展示时间一致； √ 内容发布系统中各表单设置合理，如对tag标签的设置不宜过多、不宜罗列关键词； √ 分类划分明确，分类主题的文章对应发布到相应分类下； √ 题文相符，切勿挂羊头卖狗肉，欺骗搜索引擎流量，损伤用户体验； √ 段落清晰合理、字体大小适中、字体颜色切勿使用与背景色相近的颜色； √ 发布内容目录划分清晰，具体参考2.3章节中网站结构设置。 2.2.2 第三方发布系统使用第三方发布系统建站，需要站长关注以下注意事项： √ 模板主题不建议频繁更换； √ 类似wordpress等系统，不建议使用过多插件，会影响网页打开速度； √ URL伪静态的处理，命名规范、层级清晰； √ 开源建站系统存在较多安全隐患，使用过程中务必做一些安全上的设置和优化。 2.2.3 页面生成规范无论网站自建发布系统，还是网站使用第三方建站系统，网站页面的生成，都应注意以下几点： √ 网页结构清晰、各分类名称设置醒目； √ 导航、面包屑导航设置合理，机器可读、位置突出，用户能很好得知所访问页面在网站中的位置； √ 不存在遮挡主体内容的广告元素； √ 无三俗图文、音频元素； 注意网站搭建系统安全问题，杜绝网站安全隐患。 访问请求中的content-type需要根据对应的类型进行正确设置，图示如下：
2.3 网站结构合理设置网站结构，是网站被快速抓取、获得搜索流量的基础；因网站结构设置不合理，导致网站无法被快速识别抓取的事例在百度日常反馈中经常见到，且网站换域名也会对网站造成一定损失，故希望各位站长从建站之初重视网站结构设置，避免不必要的损失。 2.3.1 URL结构设置URL搭建是否有严格要求，请看以下几点注意事项： √ 在搭建网站结构、制作URL时，尽量避开非主流设计，追求简单美即可，越简单越平常，越好，例如URL中出现生僻字符，如不常见的“II”，会引起搜索引擎识别错误； √ URL长度要求去掉协议头http（s）://之后的URL长度不要超过256个字节； √ 谨慎使用#参数，有效的参数不能放在#后面；可能被截断导致网页抓取异常。 2.3.2 目录结构设置网站目录结构搭建是否合理，影响搜索引擎对网站的抓取情况，这里需要提到的是，网站目录结构无论是扁平化还是树形结构，一般都可以被搜索引擎发现，但有以下几点注意事项： √ 建议不同内容放在不同目录或子域下，域名划分在2.1.2网站域名划分章节中有详细提到； √ 不要使用孤岛链接，孤岛链接很难被搜索引擎快速发现；若网站已存在大量孤岛链接，建议使用搜索资源平台的链接提交工具向百度提交数据； √ 重要内容不建议放在深层目录，若该内容没有大量内链指向，搜索引擎很难判断该页面的重要程度。 以下是图片示例：
2.4 服务商/自建服务器选择服务商或者自建服务器，对网站搭建都是十分重要基础的一环；服务器安全和稳定将直接影响百度搜索引擎对网站的整体判断。 2.4.1 域名服务2.4.1.1 域名服务&域名部署关于域名服务和域名部署，有以下注意事项： √ 站长在域名部署中请仔细各环节问题，不要出现域名部署错误情况； √ 不建议网站进行泛解析，若网站爆发大规模泛解析，且影响恶劣，则会受到搜索策略打压； √ 尽量选择优质域名服务商。 2.4.2 服务器做网站还有非常重要的一环，就是服务器的选择，那服务器选择中，无论是虚拟主机、云主机还是独立的服务器，都应该注意以下四点： √ 中文网站不建议选择国外服务器； √ 服务器的稳定性非常重要，需要保持访问流畅，服务器是否稳定，可以使用百度搜索资源平台（原百度站长平台）抓取异常、抓取诊断工具进行检测维护。（服务器经常无法访问或者死机，对爬虫来讲都是致命伤害）； √ 服务器选择除了自身的稳定性外，实际上还要考虑网站的业务量，例如带宽、内存、CPU是否能够承受访问量，突发大流量情况下是否可以正常访问； √ 服务器主机设置，需要注意是否有禁止爬虫抓取的设置、或存在404错误信息设置，这些情况都会引起不必要的搜索引擎抓取判断异常，为网站带来不必要的损失。 2.4.2.1 虚拟主机总的来说，建议虚拟主机选购时候需要特别注意： √ 主机商是否存在限制搜索引擎访问的情况； √ 主机商的资质是否符合要求； √ 主机商的技术沉淀是否足够，建议选择品牌较大的主机商； √ 主机商托管的机房的物理条件和网络条件是否足够优秀； √ 主机商的技术和客服支持情况是否够好； √ 主机商是否会存在超容量的情况； √ 主机商是否存在违规接入高风险站点的问题或同一IP下是否会存在高风险站点的情况； √ 国内站点建议选购国内云主机建站。 2.4.2.2 独立主机独立主机为站点带来更加宽松的使用环境和个性软件的安装，因此独立主机需要站长拥有一定的技术力量来保证网站的正常运行和安全。 我们对于站长选购和托管独立主机的建议是： √ 注意虚拟主机是否有将爬虫IP拉入黑名单，关于百度UA，可以参考3.1.2.1百度蜘蛛章节； √ 建议使用独立IP地址的主机； √ 建议使用规模较大机构的主机，在安全配置、稳定性上相对更好； √ 对IDC服务商的建设标准需要一定的考虑，例如防火、防盗、是否有UPS保证、室内温控、消防等； √ IDC服务商的服务质量和技术是否达标，是否24h值班，是否能够协助排查一些故障、免费重启重装系统等； √ IDC机房的资质是否齐全，存放站点是否有高风险站点或服务器存在。 2.4.3 安全服务2.4.3.1 HTTPS当前百度已实行全站化HTTPS安全加密服务，百度HTTPS安全加密已覆盖主流浏览器，旨在用户打造了一个更隐私化的互联网空间、加速了国内互联网的HTTPS化。同时也希望更多网站加入到HTTPS的队伍中来，为网络安全贡献一份力量。 HTTPS安全原理解析 HTTPS主要由有两部分组成：HTTP + SSL / TLS，也就是在HTTP上又加了一层处理加密信息的模块。服务端和客户端的信息传输都会通过TLS进行加密，所以传输的数据都是加密后的数据。 HTTS复杂的加密机制有效的加大了网站的安全性，加密机制与认证机制可以减少网站被劫持和假冒的风险，建议站长们可以通过做HTTPS改造来强化网站安全。 百度搜索资源平台为了更好的抓取识别HTTPS网站，2017年还推出了HTTPS认证工具，已经完成HTTPS改造的网站，可以在搜索资源平台-网站支持-HTTPS认证工具中提交网站的HTTPS数据，便于百度更好抓取识别网站。关于HTTPS认证工具详解，可以参考5.3.2HTTPS认证工具章节。 2.4.3.2 网站防止被黑对策网站被黑，通常表现为网站中出现大量非本网站发布的类似博彩内容，或网站页面直接跳转到博彩页面；以下是网站被黑后发布的内容： 内容非网站发布，内容中含大量博彩网站指向：
网站页面直接跳转到博彩网站：
网站被黑代表网站安全存在严重问题或漏洞，如何防范网站被黑，请参考以下： 首先，自查是否被黑 √ 被黑网站在数据上有一个特点，即索引量和从搜索引擎带来的流量在短时间内异常数据异常。所以，站长可以利用百度搜索资源平台（原百度站长平台）的索引量工具，观察站点索引量是否有异常；如果发现数据异常，再通过流量与关键词工具查看获得流量的关键词是否与网站有关、是否涉及博彩和色情； √ 通过Site语法查询站点，结合一些常见的色情、博彩类关键词效果更佳，有可能发现不属于站点的非法页面； √ 由于百度流量巨大，有些被黑行为仅针对百度带来的流量予以跳转，站长很难发现，所以在查看自己站点是否被黑时，一定要从百度搜索结果中点击站点页面，查看是否跳转到了其他站点； √ 站点内容在百度搜索结果中被提示存在风险； √ 后续可以请网站技术人员通过后台数据和程序进一步确认网站是否被黑。 其次，被黑之后如何处理 √ 确认网站被黑后，SEO人员除了要推动技术人员快速修正外，还需要做一些善后和预防的工作； √ 网站如有变更页面，变更页面建议使用链接提交工具向百度提交数据； √ 立即停止网站服务，避免用户继续受影响，防止继续影响其他站点； √ 如果同一主机提供商同期内有多个站点被黑，可以联系主机提供商，敦促对方做出应对； √ 清理已发现的被黑内容，将被黑页面设置为404死链，并通过百度搜索资源平台（原百度站长平台）死链提交工具进行提交。（我们发现有些站点采用了将被黑页面跳转至首页的做法，非常不可取。）； √ 排查出可能的被黑时间，和服务器上的文件修改时间相比对，处理掉黑客上传、修改过的文件；检查服务器中的用户管理设置，确认是否存在异常的变化；更改服务器的用户访问密码。注：可以从访问日志中，确定可能的被黑时间。不过黑客可能也修改服务器的访问日志； √ 做好安全工作，排查网站存在的漏洞，防止再次被黑。 网站自我防护的注意事项： √ 多种安全防护同步进行：适合中小型资讯网站； ● 网站程序勤打补丁：现在很多资讯类网站用的系统使用了内容管理系统（CMS），作为新闻发布系统，功能还算可以了，但是作为比较常见的内容管理系统（CMS），也有另一个问题，那就是漏洞比较大众化，因为源码是公开的，所以很容易被研究出漏洞，需要对网站程序及时进行漏洞修复。 √ 对服务器进行常规的安全防护； ● 在上班时间之外，对服务器上的网站权限做设置，禁止文件修改，后台文件隐藏或迁移到根目录之外。 ● 参考一些网站的安全设置，非限定的IP不能写入到数据库。 √ 不使用开源程序默认的robots文件； ● 下图是一个地级市的资讯类站点的robots文件，从robots文件中可以看出，该网站用的是织梦后台，那黑客就可以通过各种针对织梦攻击的软件进行操作了，也可以针对织梦网站的常见漏洞进行扫描和针对性攻击了。
2.4.4 网络服务2.4.4.1 CDN从搜索抓取机制上讲：百度蜘蛛对站点的抓取方式和普通用户访问一样，只要普通用户能访问到的内容，百度蜘蛛就能抓取到。不管是用什么技术，只要能保证用户能流畅的访问网站，对搜索引擎就没有影响。但有站长反馈使用CDN后出现网站抓取异常、甚至流量异常等问题，主要是两方面的因素： 一是部分CDN服务商硬件投入不够，经常出现不稳定情况，会导致大量的蜘蛛抓取失败，从而影响网站抓取效果，有的甚至影响了索引量数据；所以选择有实力的CDN服务商很重要； 二是缓存机制在网站出现死链、无法打开、被黑等情况的时候起到了推波助澜的作用。短时间内产生了一些不利快照，影响了排名。这种情况不用担心，及时清理源文件和CDN缓存，并在百度搜索资源平台（原百度站长平台）提交相关死链数据等方法进行挽回，是可以恢复的。 3 网站优化3.1 抓取友好性关于抓取的优先级，在此重点强调： √ 网站更新频率：经常更新高价值的站点，优先抓取； √ 受欢迎程度：用户体验好的站点，优先抓取； √ 优质入口：优质站点内链接，优先抓取； √ 历史的抓取效果越好，越优先抓取； √ 服务器稳定，优先抓取； √ 安全记录优质的网站，优先抓取； 顺畅稳定的抓取是网站获得搜索用户、搜索流量的重要前提，影响抓取的关键因素，站长可以通过本章节了解。 3.1.1 URL规范网站的URL如何设置，可参考2.3.1中的URL设置规范 3.1.1.1 参数URL中的参数放置，需遵循两个要点： √ 参数不能太复杂； √ 不要用无效参数，无效参数会导致页面识别问题，页面内容最终无法在搜索展示 另外，很多站长利用参数（对搜索引擎和页面内容而言参数无效）统计站点访问行为，这里强调下，尽量不要出现这种形式资源，例如： https://www.test.com/deal/w00tb7cyv.html?s=a67b0e875ae58a14e3fcc460422032d3
或者： http://nmtp.test.com/;NTESnmtpSI=029FF574C4739E1D0A45C9C90D656226.hzayq-nmt07.server.163.org-8010#/app/others/details?editId=&articleId=578543&articleType=0&from=sight
3.1.2 链接发现3.1.2.1 百度蜘蛛很多站长会咨询如何判断百度移动蜘蛛，这里推荐一种方法，只需两步，正确识别百度蜘蛛： 查看UA 如果UA都不对，可以直接判断非百度搜索的蜘蛛，目前对外公布过的UA是： 移动UA 1： Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+ http://www.baidu.com/ search/ spider.html) 移动UA 2： Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; + http://www.baidu.com/search/spider.html) PC UA 1： PC UA 2： 反查IP 站长可以通过DNS反查IP的方式判断某只蜘蛛是否来自百度搜索引擎。根据平台不同验证方法不同，如Linux/Windows/OS三种平台下的验证方法分别如下： 在Linux平台下，可以使用hostip命令反解IP来判断是否来自百度蜘蛛的抓取。百度蜘蛛的hostname以*.baidu.com格式命名，非*.baidu.com即为冒充。
这里需要再提出一点，建议使用DNS更换为8.8.8.8后进行nslookup反向解析，否则很容易出现无返回或返回错误的问题。 在Windows平台下，可以使用nslookup ip命令反解IP来判断是否来自百度蜘蛛的抓取。打开命令处理器输入nslookup xxx.xxx.xxx.xxx（IP地址）就能解析IP，来判断是否来自百度蜘蛛的抓取，百度蜘蛛的hostname以*.baidu.com格式命名，非*.baidu.com即为冒充。 在Mac OS平台下，网站可以使用dig命令反解IP来判断是否来自百度蜘蛛的抓取。打开命令处理器输入dig xxx.xxx.xxx.xxx（IP地址）就能解析IP，来判断是否来自百度蜘蛛的抓取，百度蜘蛛的hostname以*.baidu.com的格式命名，非*.baidu.com即为冒充。 3.1.2.2 普通收录普通收录工具是网站主动向百度搜索推送数据的工具，网站使用普通收录可缩短爬虫发现网站链接时间，目前普通收录工具支持四种方式提交： √ API推送：是最为快速的提交方式，建议将站点当天新产出链接立即通过此方式推送给百度，以保证新链接可以及时被百度抓取； √ Sitemap：网站可定期将网站链接放到Sitemap中，然后将Sitemap提交给百度。百度会周期性的抓取检查提交的Sitemap，对其中的链接进行处理，但抓取速度慢于主动推送； √ 手动提交：如果不想通过程序提交，那么可以采用此种方式，手动将链接提交给百度； √ 自动推送：是轻量级链接提交组件，将自动推送的JS代码放置在站点每一个页面源代码中，当页面被访问时，页面链接会自动推送给百度，有利于新页面更快被百度发现。 简单来说：建议有新闻属性站点，使用API推送进行数据提交；新验证平台站点，或内容无时效性要求站点，可以使用Sitemap将网站全部内容使用Sitemap提交；技术能力弱，或网站内容较少的站点，可使用手动提交方式进行数据提交；最后，还可以使用插件方式，自动推送方式给百度提交数据。 3.1.3 网页抓取3.1.3.1 访问速度关于移动页面的访问速度，百度搜索资源平台（原百度站长平台）已于2017年10月推出过闪电算法，针对页面首页的打开速度给予策略支持。闪电算法中指出，移动搜索页面首屏加载时间将影响搜索排名。移动网页首屏加载时间在2秒之内的，在移动搜索下将获得提升页面评价优待，获得流量倾斜；同时，在移动搜索页面首屏加载非常慢（3秒及以上）的网页将会被打压。 对于页面访问速度的提速，这里也给到几点建议： 资源加载： √ 将同类型资源在服务器端压缩合并，减少网络请求次数和资源体积； √ 引用通用资源，充分利用浏览器缓存； √ 使用CDN加速，将用户的请求定向到最合适的缓存服务器上； √ 非首屏图片类加载，将网络带宽留给首屏请求。 页面渲染： √ 将CSS样式写在头部样式表中，减少由CSS文件网络请求造成的渲染阻塞； √ 将JavaScript放到文档末尾，或使用异步方式加载，避免JS执行阻塞渲染； √ 对非文字元素（如图片，视频）指定宽高，避免浏览器重排重绘； 希望广大站长持续关注页面加载速度体验，视网站自身情况，参照建议自行优化页面，或使用通用的加速解决方案（如MIP），不断优化页面首屏加载时间。 3.1.3.2 返回码HTTP状态码是用以表示网页服务器HTTP响应状态的3位数字代码。各位站长在平时维护网站过程中，可能会在站长工具后台抓取异常里面或者服务器日志里看到各种各样的响应状态码，有些甚至会影响网站的SEO效果，例如重点强调网页404设置，百度搜索资源平台（原百度站长平台）中部分工具如死链提交，需要网站把内容死链后进行提交，这里要求设置必须是404。 下面为大家整理了一些常见的HTTP状态码： 301：（永久移动）请求的网页已被永久移动到新位置。服务器返回此响应（作为对GET或HEAD请求的响应）时，会自动将请求者转到新位置。 302：（临时移动）服务器目前正从不同位置的网页响应请求，但请求者应继续使用原有位置来进行以后的请求。此代码与响应GET和HEAD请求的301代码类似，会自动将请求者转到不同的位置。 这里强调301与302的区别： 301/302的关键区别在于：这个资源是否存在/有效； 301指资源还在，只是换了一个位置，返回的是新位置的内容； 302指资源暂时失效，返回的是一个临时的代替页（例如镜像资源、首页、404页面）上。注意如果永久失效应当使用404。 有时站长认为百度对302不友好，可能是误用了302处理仍然有效的资源； 400：（错误请求）服务器不理解请求的语法； 403：（已禁止）服务器已经理解请求，但是拒绝执行它； 404：（未找到）服务器找不到请求的网页； 这里不得不提的一点，很多站长想自定义404页面，需要做到确保蜘蛛访问时返回状态码为404，若因为404页面跳转时设置不当，返回了200状态码，则容易被搜索引擎认为网站上出现了大量重复页面，从而对网站评价造成影响； 500：（服务器内部错误）服务器遇到错误，无法完成请求； 502：（错误网关）服务器作为网关或代理，从上游服务器收到了无效的响应； 503：（服务不可用）目前无法使用服务器（由于超载或进行停机维护）。通常，这只是一种暂时的状态； 504：（网关超时）服务器作为网关或代理，未及时从上游服务器接收请求。 3.1.3.3 robotsrobots工具的详细工具使用说明，细节参考4.3.4robots工具章节，关于robots的使用，仅强调以下两点： √ 百度蜘蛛目前在robots里是不支持中文的，故网站robots文件编写不建议使用中文字符； 3.1.3.4 死链当网站死链数据累积过多，并且被展示到搜索结果页中，对网站本身的访问体验和用户转化都起到了负面影响。另一方面，百度检查死链的流程也会为网站带来额外负担，影响网站其他正常页面的抓取和索引。 百度搜索资源平台（原百度站长平台）推出死链提交工具，帮助网站提交死链数据，死链提交工具使用参考4.3.2死链提交工具。 什么是死链及死链的标准 页面已经无效，无法对用户提供任何有价值信息的页面就是死链接，比较常见死链形式共有3种，协议死链和内容死链是比较常见两种形式，除此之外还有跳转死链。 √ 协议死链：页面的TCP协议状态/HTTP协议状态明确表示的死链，常见的如404、403、503状态等； √ 内容死链：服务器返回状态是正常的，但内容已经变更为不存在、已删除或需要权限等与原内容无关的信息页面； √ 跳转死链：指页面内容已经失效，跳转到报错页，首页等行为。 3.1.4 访问稳定性访问稳定性主要有以下几个注意点： DNS解析 DNS是域名解析服务器，关于DNS，这里建议中文网站尽可能使用国内大型服务商提供的DNS服务，以保证站点的稳定解析。 分享一个DNS稳定性的示例： 搜索资源平台（原站长平台）曾收到多个站长反馈，称网站从百度网页搜索消失，site发现网站数据为0。 经追查发现这些网站都使用国外某品牌的DNS服务器 *.DOMAINCONTROL.COM，此系列DNS服务器存在稳定性问题，百度蜘蛛经常解析不到IP，在百度蜘蛛看来，网站是死站点。此前也发现过多起小DNS服务商屏蔽百度蜘蛛解析请求或者国外DNS服务器不稳定的案例。因此这里建议网站，谨慎选择DNS服务。 蜘蛛封禁 针对爬虫的封禁会导致爬虫认为网站不可正常访问，进而采取对应的措施。爬虫封禁其实分两种，一种就是传统的robots封禁，另一种是需要技术人员配合的IP封禁和UA封禁；而绝大多数情况下的封禁都是一些操作不当导致的误封禁，然后在搜索引擎上的反应就是爬虫不能正常访问。所以针对爬虫封禁的操作一定要慎重，即使因为访问压力问题要临时封禁，也要尽快做恢复处理。 服务器负载 抛开服务器硬件问题（不可避免），绝大多数引起服务器负载过高的情况是软件程序引起的，如程序有内存泄露，程序出core，不合理混布服务（其中一个服务消耗服务器资源过大引起服务器负载增大，影响了服务器对爬虫访问请求的响应。）对于提供服务的机器一定要注意服务器的负载，留足够的buffer保证服务器具有一定的抗压能力。 其他人为因素 人为操作不当引起访问异常的情况是经常见到的，针对这种情况需要严格的制度约束，不同站点情况不一样。需要保证每一次的升级或者操作要准确无误。 3.1.5 可访问链接总量3.1.5.1 资源可穷尽一般来说网站的内容页面是可穷尽的，万级别，百万级别甚至亿级别，但一定是可穷尽的。而现实中确实存在这样一些网站，爬虫针对这些网站进行抓取提链时会陷入”链接黑洞”；通俗的讲就是网站给爬虫呈现的链接不可穷尽；典型的是部分网站的搜索结果页，不同的query在不同anchor下的a标签链接不一样就导致了”链接黑洞”的产生，所以严禁URL的生成跟用户的访问行为或者搜索词等因素绑定。 3.2 页面解析页面解析，主要指网站页面被蜘蛛抓取，会对页面进行分析识别，称之为页面解析。页面解析对网站至关重要，网站内容被抓取是网站被发现的第一步，而页面解析，则是网站内容被识别出来的重要一环，页面解析效果直接影响搜索引擎对网站的评价。 3.2.1 页面元素3.2.1.1 页面标题关于网页标题，百度搜索于2017年9月推出清风算法，重点打击网站标题作弊，引导用户点击，损害用户体验的行为；清风算法重点打击的标题作弊情况有以下两种： √ 文不对题，网站标题与正文有明显不符合，误导搜索用户点击，对搜索用户造成伤害； √ 大量堆砌，网站标题中出现大量堆砌关键词的情况也十分不提倡， 关于网站TDK，有以下几种情况需要注意：（”T”代表页头中的title元素，”D”代表页头中的description元素，”K”代表页头中的keywords元素，简单指网站的标题、描述和摘要）；
√ 百度未承诺严格按照title和description的内容展示标题和摘要，尤其是摘要，会根据用户检索的关键词，自动匹配展示合适的摘要内容，让用户了解网页的主要内容，影响用户的行为决策； √ 站长会发现同一条链接的摘要在不同关键词下是变化的，可能不会完全符合站长预期，尤其是站长在检索框进行site语法操作时，可能会感觉摘要都比较差。但请不要担心，毕竟绝大多数普通网民不会这样操作。在此情况下出现不符合预期的摘要并不代表站点被惩罚； √ 还有一种情况，是网页中的HTML代码有误，导致百度无法解析出摘要，所以有时大家会看到某些结果的摘要是乱码（当然这种情况很少见），所以也请站长注意代码规范。 3.2.1.2 主体内容主体内容注意两个点，一个主体内容过长（通常网页源码长度不能超过128k），文章过长可能会引起抓取截断；另外一个是注意内容不能空短，空短内容也会被判断为无价值内容。 以下分析两个示例： 关于主体内容过长的示例分析： 某网站主体内容都是JS生成，针对用户访问，没有做优化；但是网站特针对爬虫抓取做了优化，直接将图片进行base64编码推送给百度，然而优化后发现内容没有被百度展示出来； 页面质量很好，还特意针对爬虫做了优化，为什么内容反而无法出现在百度搜索中； 分析主要有以下原因： √ 网站针对爬虫爬取做的优化，是直接将图片base64编码后放到HTML中，导致页面长度过长，网站页面长度达164k； √ 站点优化后将主体内容放于最后，图片却放于前面； √ 爬虫抓取内容后，页面内容过长被截断，已抓取部分无法识别到主体内容，最终导致页面被认定为空短而不建索引。 这样的情况给到以下建议： √ 如站点针对爬虫爬取做优化，建议网站源码长度在128k之内，不要过长； √ 针对爬虫爬取做优化，请将主体内容放于前方，避免抓取截断造成的内容抓取不全。 关于内容空短的示例分析： 某网站反馈网站内容未被建索引，分析发现，网站抓取没有问题，但被抓取到的页面，都提示需要输入验证码才能查看全部页面，这类页面被判断为空短页面，这类页面在抓取后，会被判定为垃圾内容。 而且当蜘蛛对一个网站抓取后发现大面积都是低值的空短页面时，爬虫会认为这个站点的整体价值比较低，那么在后面的抓取流量分布上会降低，导致针对该站点的页面更新会比较慢，进而抓取甚至建索引库也会比较慢。
为什么会出现网站内容空短这种情况，其中一个原因是网站内容未全部搭建完成，未对外开放，但已被蜘蛛爬取发现。针对这种情况，建议网站在邀请测试阶段使用robots封禁。 另外还会有些网站，设置用户查看权限，如需用户登陆才能查看全部内容，这样的行为对搜索引擎也极不友好，蜘蛛无法模拟用户登陆，仅能抓取网站已展示页面，可能会导致抓取页面为空短的现象。 这里再次强调，不要让爬虫给站点画上不优质的标签，对网站将产生很不好的影响。另外，移动端的H5页面，很多都是采用JS方式加载，其实是更容易产生空短，请各位站长注意。
3.2.1.3 网页发布时间关于网页发布时间，有以下几点建议： √ 网页内容尽可能加上产出时间，严格说是内容发布时间；且时间尽量全，时间格式为年-月-日 时:分:秒； 例：2017-08-12 10:23:06 √ 网页上切忌乱加时间，这样容易造成页面时间提取问题，或搜索引擎判断提取时间不可信，从而降低对网页的展现。 3.2.1.4 canonical标签canonical标签的目的 在PC互联网时代，canonical标签的作用主要是用来解决由于网址形式不同内容相同而造成的内容重复问题。而在移动时代，canonical标签被百度搜索赋予了更多的意义，在原来的作用基础上，又起到了相同内容的移动页和PC页之间的关联作用；让移动资源更容易继承PC资源的各种特征，从而快速生效移动网页数据。 canonical标签如何设置 在HTML代码的head里添加rel=”canonical”,不能添加多个，否则搜索引擎会认为是无效的canonical标签。另外需要注意href里的地址不能是死链，错误页或者被robots封禁的页面。 具体示例如下： 3.2.2 落地页体验为提升移动搜索整体用户体验，提升搜索满意度，百度搜索在2017年推出《百度移动搜索落地页体验白皮书——广告篇2.0》（以下简称广告白皮书）。广告白皮书对网站移动落地页页面广告内容、广告位置、大小等做了明确要求，从而充分保证搜索用户的浏览体验。 3.3 页面价值3.3.1 内容价值原创文章，要求是独立完成的创作，且没有歪曲、篡改他人创作或者抄袭、剽窃他人创作而产生的作品，对于改编、注释、整理他人已有创作而产生的作品要求有充分的点评、补充等增益信息。 建议原创文章在标题下方明确注明“来源：xxxx（本站站点名）”或“本站原创”之类字样，转载文章明确注明“来源：xxxx（转载来源站点名）”之类字样，不建议使用“admin”、“webmaster”、“佚名”等模糊的说法。 3.3.2 外链建设通常认为，外链是本站点对第三方站点页面的链接指向，是本站点对第三方站点页面内容的一种认可和推荐。 站点进行外链建设时，建议是有真实推荐意图，并且指向那些熟悉的、被认可的、内容相关的外部页面；不建议推荐与本站点页面内容无关的外链内容。也不建议乱推荐外链、交换外链互联、指向作弊站的行为（这些很可能被超链策略反向识别成垃圾作弊站点进行打压）。 最后，站长要及时发现和处理站点被黑的页面。页面被黑掉后，一般会被人为放入大量无关的，甚至作弊的外链在该页面上，其目的是要瓜分站点自身权重，并以此来提高外链目标站点影响力。建议站长发现后，及时向搜索资源平台（原站长平台）提交死链进行删除和屏蔽，不及时处理一定程度上会影响站点本身的权重。最好从技术上优化，提高站点安全壁垒，防范于未然。 3.3.3 内链建设内链，描述了站点的结构，一般起到页面内容组织和站内引导的作用；内链的重要意思是通过链接指向，告诉搜索引擎哪个页面最为重要。 内链组织的时候，建议结构清晰，不要过于冗杂，另外内链组织的版式建议保持一致，这样对搜索引擎超链分析比较友好。 与外链类似，建议站长善于使用nofollow标签，既对搜索引擎友好，又可避免因垃圾link影响到站点本身的权重。 3.3.4 anchoranchor描述：尽可能使用典型的，有真实意义的anchor。anchor描述要与超链接的页面内容大致相符，避免高频无意义anchor的使用，另外同一个URL的anchor描述种类不宜过多，anchor分布越稀疏会影响搜索排名。
| 
