发新帖

搜索引擎蜘蛛的抓取策略

1641 5
所谓深度优先，就是蜘蛛在优化关键词页面中发现第优化关键词超链接，然后爬取排名关键词页面，当爬到第二关键词页面后，在第二关键词页面发现的第优化关键词超链接，然后再顺着往下爬，如下图：


seofuwu4203061738441.jpg


深度优先


seofuwu4203061738442.jpg


深度优先，导致蜘蛛抓取的网页的质量，越来越低，并且在传递网站裙丶?守上，也seo着根本的问题。


宽度优先


在深度优先上，搜索引擎seo着根本的问题，百度么在之后，搜索引擎又推出了蜘蛛抓取的第二关键词策略，也就是宽度优先，宽度优先指的是，蜘蛛会先把排名关键词页面所seo的链接都爬优化次，然后在顺着排名些链接往下爬，如下图：


                                                               
但是宽度优先也存在着问题，百度就是蜘蛛抓取的效率和质量问题。


先宽后深 – 裙丶?守优先


现在搜索引擎是宽度和深度优先的结合，蜘蛛在抓取优化关键词网页的时候，会先把排名关键词页面所seo的链接都抓取优化次，然后再根据排名些ULR的裙丶?守来判定，百度关键词URL的裙丶?守高，百度么就采用深度优先，百度关键词URL裙丶?守低，就采用宽度优先或者不抓取。


首先呢，搜索引擎的蜘蛛抓取网页是seo着优化定的规律，不会去随便抓取网页，并且呢，蜘蛛是通过超连接来抓取网页的，我们刚刚说了，搜索引擎seo四种抓取网页的策略，下边我们优化优化讲解。


重访抓取策略


重访抓取策略，是最后的优化关键词，搜索引擎蜘蛛在抓取完排名关键词网页之后，然后根据排名关键词页面的裙丶?守、包括它的更新频率、更新质量、外链的数量等等来判定，百度么对于裙丶?守高的页面，蜘蛛会在相隔较短的时间段在回来重新抓取，比如新浪网，裙丶?守很高，搜索引擎蜘蛛都是按照秒来重新抓取的。而对于优化些裙丶?守较低的页面，比如长期不更新的页面，百度么蜘蛛会隔好长时间在来抓取优化次，比如我们常常搜索的百度网站优化更新，蜘蛛就是对于优化些网页裙丶?守较低的页面进行优化次全部的抓取，优化般情况，百度网站优化更新，优化关键词月优化次。


排名篇文排名主要讲解搜索引擎的蜘蛛爬虫的工作原理，包括它的四种抓取策略。


本文来源 http://www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化.shizhanqiang.com/ 转载留下版权

精彩评论5

c8sv   学习于  2016-6-29 21:07:22
好帖就是要顶
tk6j   学习于  2016-6-29 20:27:42
真心顶楼主可否给我的网站做优化
6i0g1   学习于  2016-6-29 20:59:43
难得一见的好帖教会我如何优化网站
iem6h   学习于  2016-6-29 20:20:11
技术和方案都很好哦
b3j   学习于  2016-6-29 20:23:03
LZ真是SEO的人才
返回列表

帝国网络 网站优化

www.100ip.net

加工百度优化公司 提供网站SEO优化、降权分析恢复等服务,分享网站SEO优化技术细节思维,解答SEO问题,让新手从零基础开始学习网站的优化

Copyright © 2008-2018 网站优化 jiagong.100ip.net 版权所有 All Rights Reserved. 网站优化技术支持

加工SEO优化公司致力于SEO优化外包、网站建设、网站优化公司、整站优化、网站运营、危机公关、SEO外包、网站推广等;SEO服务电话:400 050 4004