首页 关于我们 中拓产品 新闻中心 知识交流 联系我们
  当前位置:合肥网站优化 -> 新闻中心
 
  公司新闻 行业动态 精选观点
 
搜索引擎爬行和抓取规则解读
关键词:合肥网站优化 点击次数:1192次 更新时间:[2016/9/10] 【打印】 【关闭】
资深的站长们都知道,搜索引擎搜索展现大概分为三个阶段:爬行抓取——预处理——排名。我们想要真正做好SEO,对于搜索引擎规则的了解也是我们合肥网站优化人员不可忽视的。今天我们先为大家来分享下搜索引擎的爬行和抓取规则:
  爬行和抓取
  搜索引擎蜘蛛通过跟踪链接访问页面,获取页面HTML代码存入数据库。爬行和抓取是搜索引擎工作的第一步,完成数据收集任务。
  1、蜘蛛
  搜索引擎用来爬行和访问页面的程序被称为蜘蛛(spider),也称为机器人(bot)。
  蜘蛛代理名称:
  百度蜘蛛:Baiduspider+(+http://www.baidu.com/search/spider.htm) ·
  雅虎中国蜘蛛:Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html) ·
  英文雅虎蜘蛛:Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)
  Google 蜘蛛:Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) ·
  微软 Bing 蜘蛛:msnbot/1.1 (+http://search.msn.com/msnbot.htm)·
  搜狗蜘蛛: Sogou+web+robot+(+http://www.sogou.com/docs/help/webmasters.htm#07) ·
  搜搜蜘蛛:Sosospider+(+http://help.soso.com/webspider.htm) ·
  有道蜘蛛:Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; )
  2、跟踪链接
  为了抓取网上尽量多的页面,搜索引擎蜘蛛会跟踪页面上的链接,从一个页面爬到下一个页面,就好像蜘蛛在蜘蛛网上爬行那样,这也就是搜索引擎蜘蛛这个名称的由来。最简单的爬行遍历策略分为两种,一是深度优先,二是广度优先。
  深度优先搜索
  深度优先搜索就是在搜索树的每一层始终先只扩展一个子节点,不断地向纵深前进直到不能再前进(到达叶子节点或受到深度限制)时,才从当前节点返回到上一级节点,沿另一方向又继续前进。这种方法的搜索树是从树根开始一枝一枝逐渐形成的。
  深度优先搜索亦称为纵向搜索。由于一个有解的问题树可能含有无穷分枝,深度优先搜索如果误入无穷分枝(即深度无限),则不可能找到目标节点。所以,深度优先搜索策略是不完备的。另外,应用此策略得到的解不一定是最佳解(最短路径)。
  广度优先搜索
  在深度优先搜索算法中,是深度越大的结点越先得到扩展。如果在搜索中把算法改为按结点的层次进行搜索, 本层的结点没有搜索处理完时,不能对下层结点进行处理,即深度越小的结点越先得到扩展,也就是说先产生 的结点先得以扩展处理,这种搜索算法称为广度优先搜索法。
  在深度优先搜索算法中,是深度越大的结点越先得到扩展。如果在搜索中把算法改为按结点的层次进行搜索, 本层的结点没有搜索处理完时,不能对下层结点进行处理,即深度越小的结点越先得到扩展,也就是说先产生 的结点先得以扩展处理,这种搜索算法称为广度优先搜索法。
  3、吸引蜘蛛
  哪些页面被认为比较重要呢?有几方面影响因素:
  · 网站和页面权重。质量高、资格老的网站被认为权重比较高,这种网站上的页面被爬行的深度也会比较高,所以会有更多内页被收录。
  · 页面更新度。蜘蛛每次爬行都会把页面数据存储起来。如果第二次爬行发现页面与第一次收录的完全一样,说明页面没有更新,蜘蛛也就没有必要经常抓取。如果页面内容经常更新,蜘蛛就会更加频繁地访问这种页面,页面上出现的新链接,也自然会被蜘蛛更快跟踪,抓取新页面。
  · 导入链接。无论是外部链接还是同一个网站的内部链接,要被蜘蛛抓取就必须有导入链接进入页面,否则蜘蛛根本没有机会知道页面的存在。高质量的导入链接也经常使页面上的导出链接被爬行深度增加。一般来说网站上权重最高的是首页,大部分外部链接是指向首页,蜘蛛访问最频繁的也是首页。离首页点击距离越近,页面权重越高,被蜘蛛爬行的机会也越大。
  4、地址库
  为了避免重复爬行和抓取网址,搜索引擎会建立一个地址库,记录已经被发现还没有抓取的页面,以及已经被抓取的页面。地址库中的uRL有几个来源:
  (1)人工录入的种子网站。
  (2)蜘蛛抓取页面后,从HTML中解析出新的链接uRL,与地址库中的数据进行对比,如果是地址库中没有的网址,就存入待访问地址库。
  (3)站长通过搜索引擎网页提交表格提交进来的网址。
  蜘蛛按重要性从待访问地址库中提取uRL,访问并抓取页面,然后把这个uRL从待访问地址库中删除,放进已访问地址库中。
  大部分主流搜索引擎都提供一个表格,让站长提交网址。不过这些提交来的网址都只是存入地址库而已,是否收录还要看页面重要性如何。搜索引擎所收录的绝大部分页面是蜘蛛自己跟踪链接得到的。可以说提交页面基本t是毫无用处的,搜索引擎更喜欢自己沿着链接发现新页面。
  文件存储搜索引擎蜘蛛抓取的数据存入原始页面数据库。其中的页面数据与用户浏览器得到的HTML是完全一样的。每个uRI,都有一个独特的文件编号。
  爬行时的复制内容检测
  检测并删除复制内容通常是在下面介绍的预处理过程中进行的,但现在的蜘蛛在爬行和抓取文件时也会进行定程度的复制内容检测。遇到权重很低的网站上大量转载或抄袭内容时,很可能不再继续爬行。这也就是有的站长在日志文件中发现了蜘蛛,但页面从来没有被真正收录过的原因。
    以上就是搜索引擎爬行和抓取的规则,想要了解更多欢迎持续关注:http://www.zhong-t.com/
 
 
合肥网络公司中拓科技专业提供合肥企业网站优化、合肥企业网站制作等服务! 版权所有 中拓科技 合肥网站优化建设 皖ICP备11000144号
COPYRIGHT 2010-2017 WWW.ZHONG-T.COM 版权所有
合肥网站优化合肥网站制作就到合肥中拓,专业的合肥网络公司让每一个企业都拥有适合自己的互联网推广方案!