爬行是指搜索引擎的蜘蛛在网页上找到链接前进页面，然后“爬”抢过去的抓取页。蜘蛛发现新年的页面后，如浏览器打开网页，把HTML代码存储在数据库中。在英文中两个概念通常是爬行或蜘蛛（在这里是动词）说，根据上下文来区分一下。
显然，爬行和抓取是交织在一起的。抓取是一个过程，实际发生的我们可以观察到，在原来的日志，蜘蛛有完整的记录，如：准确把握时间，状态代码，捕获文件，吸引了更多的文件等。蜘蛛抓取的页面和浏览器读取的文件是完全相同的。
而爬行是一个形象的比喻，实际上不存在，蜘蛛抓取的文件中找到的链接，然后立即跟踪过去这一过程。存储在数据库中的蜘蛛抓取的文件，程序解析文件将存储在网页中链接的URL地址存入数据库，然后蜘蛛从库中的地址，根据一定的规则选择的URL捕获。蜘蛛不是在访问页时看到一个RUL就爬上去。
索引指的是各种精加工的URL信息，如去除重复，分割等，然后把URL信息存储在数据库中，称为索引数据库。真正的搜索是倒排索引，未来将有机会探讨。注意，关于URL信息库中的指标不仅是关键词和页面的内容构成特征（位置，格式），和链接，更新信息。在英语单词就是index。
收录是SEO最关心的最常用的词，事实上，是4个最模糊的概念。被包含的意思是我们可以找到的网页是搜索引擎的索引库。但是，稍后我们将看到，在索引库的URL不能抓，这和SEO有直觉可能是不一样的。
当然，准确把握概念对理解和处理许多SEO问题都有帮助。这里有几个例子。
收录不了的原因是什么？网页不收录是SEO最头痛的问题，不收录就没有排名和流量。太多的人问问网页将不收录在博客论坛，什么原因，也给域名，但问题是没有答案的，甚至愿意花时间去诊断不能回答（除非你列出所有可能的原因，等于没回答），因为缺了一关键：页面抓取了吗？只检查原始日志知道，看到网站是看不出来的，检查流是查不出来的。理解前面的概念就知道了，被抓取不一定被包收录，不收录，并不一定意味着是不抓取。
如果页面上却没有索引和收录，往往是内容有问题（原创？采集？所谓的伪原创？敏感的内容或产品？复制的方向内容找到原因？）。网站的结构应该没有太大问题，搜索引擎是在看到了不适合包含的内容。如果页面没有被抓取，它应该去的网站的链接结构，搜索引擎友好的技术壁垒，域名权重等去找。
晋城龙鼎网络为您解答。
微信联系 
进入手机版 
点击咨询
18503564624
返回顶部