造成百度蜘蛛抓取异常的常见原因有哪些？( 二 ) _ign

1）针对百度搜索refer的异常，网页针对来自百度的refer返回不同于正常内容的行业；
2）针对百度UA的异常，网页对百度UA返回不同于页面原内容的行为；
3）JS跳转异常：网页代码中加载了百度无法识别的js跳转代码，导致用户通过搜索进行网站页面后就发生了跳转行为；
4）网站抓取压力过大引起的偶然封禁，百度搜索会根据网站的规划、流量等情况，给网站设置一个合理的抓取压力。
如果网站抓取压力有异常情况，例如网站抓取压力出现失控的情况，这时web服务器会根据自身负荷能力启动临时性的封禁，例如向用户返回“Service Unavailable”，这里百度搜索会过段时间再来重新抓取网站链接，如果此时网站web服务器已恢复正常，则网站页面就会被成功抓取。