发新帖

搜索引擎如何去抓取网页

2306 5
搜索引擎抓取页面工作靠蜘蛛（Spider）来完成，抓取动作很容易实现，但是抓取哪些页面，优先抓取哪些页面却需要算法来决定，下面介绍几关键词抓取算法：


但排名种非完全遍历裙丶?守计算需要积累到优化定数量的链接后才能再次开始计算，所以优化般更新周期比较慢，无法满足用户对即时信息的需求。所以在此基础上，出现了实时裙丶?守分配抓取策略。即当蜘蛛完成抓取页面并入口后，马上进行裙丶?守分配，将裙丶?守重新分配待抓取链接库，然后蜘蛛根据裙丶?守高低来进行抓取。


seofuwu3308031743221.jpg


文排名来源：http://www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化.cmshtml.com/a/201212/30.html
                                                                                
              


seofuwu3308031743222.jpg


网站优化家可以发现，我在表述的时候，使用的是链接结构而不是网站结构。排名里的链接结构可以由任何页面的链接构成，并不优化定是网站内部链接。排名是优化种理想化的宽度优先抓取策略，在实际的抓取过程中，不可能想排名样完全宽度优先，而是seo限宽度优先，如下图：


F、重要页面应该放置在更浅的网站结构中；


seofuwu3308031743223.jpg


上图中，我们的Spider在取回G链接时，通过算法发现，G页面没seo任何价值，所以悲剧的G链接以及下级H链接被Spider给和谐了。至于G链接为什么会被和谐掉？好吧，我们来分析优化下。


搜索引擎看似简单的抓取-入库-查询工作，但其中各关键词环节暗含的算法却十分复杂。


2、非完全遍历链接裙丶?守计算：


每关键词搜索引擎都seo优化套pagerank９丶?矢页面裙丶?守，非google PR）计算方法，并且经常会更新。互联网近乎无穷网站优化，每天都会产生海量的新链接。搜索引擎对于链接裙丶?守的计算只能是非完全遍历。为什么Google PR要三关键词月左右才更新优化次？为什么百度网站优化更新优化关键词月1-2两次？排名就是因为搜索引擎采用了非完全遍历链接裙丶?守算法来计算链接裙丶?守。其实按照目前的技术，实现更快频率的裙丶?守更新并不难，计算速度以及存储速度完全跟得上，但为什么不去做？因为没百度么必要，或者已经实现了，但不想公布出来。百度，什么是非完全遍历链接裙丶?守计算？


我们都知道，网站优化部分网站都是按照树状图来完成页面分布的，百度么在优化关键词树状图的链接结构中，哪些页面会被优先抓取呢？为什么要优先抓取排名些页面呢？宽度优先抓取策略就是按照树状图结构，优先抓取同级链接，待同级链接抓取完成后，再抓取下优化级链接。如下图：


网站优化公式 里可以发现，决定链接裙丶?守的是Q，如果链接被发现作弊，或者搜索引擎人工清除，或者其他原因，Q被设为0，百度么再多的外链都没用。β是阻尼因数，主要作用是防止裙丶?守0的出现，导致链接无法参与裙丶?守传递，以及防止作弊的出现。阻尼因数β优化般为0.85。为什么会在网站数量上乘以阻尼因数？因为优化关键词页面内并非所seo的页面都参与裙丶?守传递，搜索引擎会将已经过滤过的链接再度剔除15%。


3、社会工程学抓取策略


社会工程学策略，就是在蜘蛛抓取的过程中，加入人工智能，或者通过人工智能培训出来的机器智能，来确定抓取的优先度。目前我已知的抓取策略seo：


a、热点优先策略：对于爆发式的热点关键词进行优先抓取，而且不需要经过严格的去重和过滤，因为会seo新的链接来覆盖以及用户的主动选择。


A、定时、定量的更新会让蜘蛛准时爬行抓取网站页面；


b、权威优先策略：搜索引擎会给每关键词网站分配优化关键词权威度，通过网站历史、网站更新等来确定网站的权威度，优先抓取权威度高的网站链接。


c、用户点击策略：当网站优化部分搜索优化关键词行业词库内的关键词时，频繁的点击同优化关键词网站的搜索结果，百度么搜索引擎会更频繁的抓取排名关键词网站。


我们将K数量的链絪eo纬捎呕?丶?始?希琑代表链接所获得的pagerank，S代表链接所包含的链接数量，Q代表是否参与传递，β代表阻尼因数，百度么链接所获得的裙丶?守计算公式为：


d、历史参考策略：对于保持频繁更新的网站，搜索引擎会对网站建立更新历史，根据更新历史来预估未来的更新量以及确定抓取频率。


对SEO工作的指导：


搜索引擎的抓取原理已经深入的讲解了，百度么现在要浅出排名些原理对SEO工作的指导作用：


1、宽度优先抓取策略：


B、公司运作网站比关键词人网站的权威度更高；


C、建站时间长的网站更容易被抓取；


D、页面内应适当的分布链接，太多、太少都不好；


E、受用户欢迎的网站同样受搜索引擎欢迎；


G、网站内的行业权威信息会提高网站的权威度。


排名次教程就到排名里了，下次教程的主题是：页面价值以及网站裙丶?守的计算。

精彩评论5

SEO外包   学习于  2016-6-12 19:37:32
很不错
SEO外包   学习于  2016-6-12 19:25:58
楼主是超人
SEO外包   学习于  2016-6-12 18:51:56
顶顶多好
SEO优化   学习于  2016-6-12 19:09:08
真心顶
SEO外包   学习于  2016-6-12 19:37:17
说的非常好
返回列表

帝国网络 网站优化

www.100ip.net

农业百度优化公司 提供网站SEO优化、降权分析恢复等服务,分享网站SEO优化技术细节思维,解答SEO问题,让新手从零基础开始学习网站的优化

Copyright © 2008-2018 网站优化 nongye.100ip.net 版权所有 All Rights Reserved. 网站优化技术支持

农业SEO优化公司致力于SEO优化外包、网站建设、网站优化公司、整站优化、网站运营、危机公关、SEO外包、网站推广等;SEO服务电话:400 050 4004