吸引蜘蛛抓取的影响因素


吸引蜘蛛抓取的影响因素

文章插图
1、网站和页面权重 。 质量高 , 资格老的网站被认为权重比较高 , 这种网站上的页面被爬行的深度也会比较高 , 所以会更多内页被收录 。
2、与首页点击距离 。 一般来说网站上权重最高的是首页 , 大部分外部链接是指向首页的 , 蜘蛛访问最频繁的也是首页 。 离首页点击距离近 , 页面权重越高 , 被蜘蛛爬行的机会也越大 。
3、导入链接 。 无论是外部链接还是同一个网站的内部链接 , 要被蜘蛛抓取 , 就必须有导入链接进入页面 , 否则蜘蛛根本没有机会知道页面的存在 。 高质量的导入链接也经常使页面上导出链接被爬行深度增加 。
【吸引蜘蛛抓取的影响因素】 4、页面更新度 。 蜘蛛每次爬行都会把页面数据储存起来 。 如果第二次爬行发现页面与第一次收录的完全一样 , 说明页面没有更新 , 蜘蛛也就没有必要经常抓取 。 如果页面内容经常更新 , 蜘蛛就会更加频繁地访问这种页面 , 页面上出现的新连接 , 也自然会被蜘蛛更块地跟踪 , 抓取页面 。

    相关经验推荐