简介

蜘蛛抓取的流程主要分为四个步骤：抓取、过滤，建立索引、输入结果。这就是从用户搜索一个关键词，到搜索引擎匹配并展示结果的过程。这个过程是复杂而漫长的，也是遵循一定规律的。蜘蛛作为一种程序，被形象的比喻为动物，方便用户理解。接下来就为站长详细描述这个抓取程序的工作流程：

抓取网站内容

网站通过2个方面进行抓取。一是网站提交给百度后，蜘蛛便开始通过提交的url进行抓取，并建立一个表，这些提交的网站url就存在这个表中。大多数人都认为蜘蛛是随意抓取，看到什么抓什么。其实不然，蜘蛛是顺着锚文本和链接进行抓取的。这就要说到第二个抓取方式——外链。通过外界形式进行抓取，也是一种很快的方式。互联网是由很多点组成的，这些点就是指向链接，蜘蛛顺着这些指向链接，并对用户的注重程度进行不同频率的抓取。

过滤

顾名思义，蜘蛛对于提交到列表的url进行过滤。过滤掉一些奇葩用户的网页，以及一些死链接和空白页面。蜘蛛的过滤是有选择的，如果网站大量存在这些有害页面，会影响到蜘蛛的抓取，降低信任度，所以，出现这些页面一定要主动提及，做到亡羊补牢，为时未晚。

建立索引

蜘蛛对于网页中的关键词信息进行识别和存储，并提前做好排名。这些存储的信息，会变成一个虚拟的数据结构，里面包括很多相关数据，比如网页的tag、title、meta、description、外链、抓取记录等。树干和树枝脉络清晰，用来详细的展现给用户搜索结果，这就是索引库。

输出结果

用户搜索后，索引库会映射出一张匹配表，并在这张表中进行筛选。筛选的规则是用户输入关键词体现的需求和网页优劣。打分结果出现后，好的排名就会被展现在**页，供用户选择形成点击和转化。

以上四个步骤就是蜘蛛抓取的全过程。百度根据链接把url加入列表，派遣蜘蛛这个程序进行抓取，符合要求的进入索引库，***后收录，并组合成结构***的数据，接下来返回的搜索结果，就是我们看到的网站排名。

总结

我们在学SEO时，必须懂得搜索引擎的原理，比如说你去一家饭店吃饭，连吃法都不懂那不是贻笑大方了吗？所以我们在学习过程中要学会返璞归真。