文章插图
爬行和抓取 是搜索引擎工作的第一步 ， 完成数据收集任务 。
1、蜘蛛：
搜索引擎用来爬行和访问页面的程序被称为蜘蛛（spider） ， 也称为机器人（bot） 。
2、跟踪链接：
为了抓取网上尽量多的页面 ， 搜索引擎蜘蛛会跟踪页面上的链接 ， 从一个页面爬到下一个页面 ， 就好像蜘蛛在蜘蛛网上爬行那样 ， 这也是搜索引擎蜘蛛这个名称的由来 。
3、吸引蜘蛛：
理论上蜘蛛能爬行和抓取所有页面 ， 但实际上不能 ， 也不会这么做 。 SEO人员想要让自己的更多页面被收录 ， 就要想方设法吸引蜘蛛抓取 。
4、地址库：
为了避免重复爬行和抓取网址 ， 搜索引擎会建立一个地址库 ， 记录已经被发现还没有抓取的页面 ， 以及已经被抓取的页面 。
5、文件储蓄：
【爬行和抓取】 搜索引擎蜘蛛抓取的数据存入原始页面数据库 。 其他的页面数据与用户浏览器得到的HTML是完全一样的 。 每个URL都是这样一个独特的文件编号 。
相关经验推荐
- 摩羯女天蝎女谁更可怕 天蝎女和摩羯女谁更有魅力，摩羯女天蝎女谁魅力大
- 陶白白深度解析摩羯男 陶白白星座分析摩羯，摩羯座女和天秤座男配不
- 腰果有什么好处和功效？腰果的好处和坏处，告诉你答案在这里
- 翠芦莉的养殖方法和注意事项
- 能搞定射手男的星座女 注定和射手座恩爱到老的星座，能让射手座一生痴迷的星座
- 射手座一辈子的情劫 注定会和射手座结婚的星座，射手座爱得最深的两个星座
- 樱木花道和鸣人为什么在动漫中都喜欢吃拉面？答案其实有些让人心酸
- 动漫图集：30岁大叔和6岁萝莉的故事
- 公猫和母猫打架怎么办
- 公猫和母猫没经验怎么办