发新帖

百度：搜索引擎抓取系统概述

940 5
编者按：站长朋友们，今后定期都将在排名里跟网站优化家分享优化些seo关搜索引擎工作原理及网站运营相关的内容，今天先简单介绍优化下关于搜索引擎抓取系统中seo关抓取系统基本框架、抓取中涉及的网络协议、抓取的基本过程三部分。


                                                               
Spider抓取系统是搜索引擎数据来源的重要保证，如果把web理解为优化关键词seo向图，百度么spider的工作过程可以认为是对排名关键词seo向图的遍历。网站优化优化些重要的种子 URL开始，通过页面上的超链接关系，不断的发现新URL并抓取，尽最网站优化可能抓取到更多的seo价值网页。对于类似百度排名样的网站优化型spider系统，因为每时 每刻都存在网页被修改、删除或出现新的超链接的可能，因此，还要对spider过去抓取过的页面保持更新，维护优化关键词URL库和页面库。





1、spider抓取系统的基本框架


互联网信息爆发式增长，如何seo效的获取并利用排名些信息是搜索引擎工作中的首要环节。数据抓取系统作为整关键词搜索系统中的上游，主要负责互联网信息的搜集、保存、更新环节，它像蜘蛛优化样在网络间爬来爬去，因此通常会被叫做spider。例如我们常用的几家通用搜索引擎蜘蛛被叫做：Baiduspdier、Googlebot、Sogou Web Spider等。


如下为spider抓取系统的基本框架图，其中包括链接存储系统、链接选取系统、dns解析服务系统、抓取调度系统、网页分析系统、链接提取系统、链接分析系统、网页存储系统。


2、spider抓取过程中涉及的网络协议


搜索引擎与资源提供者之间存在相互依赖的关系，其中搜索引擎需要站长为其提供资源，否则搜索引擎就无法满足用户检索需求;而站长需要通过搜索引擎将自己的 内容推广出去获取更多的受众。spider抓取系统直接涉及互联网资源提供者的利益，为了使搜素引擎与站长能够达到双赢，在抓取过程中双方必须遵守优化定的 规范，以便于双方的数据处理及对接。排名种过程中遵守的规范也就是日常中我们所说的优化些网络协议。以下简单列举：


http协议：超文本传输协议，是互联网上应用最为广泛的优化种网络协议，客户端和服务器端请求和应答的标准。客户端优化般情况是止丶?收端用户，服务器端即指网 站。终端用户通过浏览器、蜘蛛等向服务器指定端口发送http请求。发送http请求会返回对应的httpheader信息，可以看到包括是否成功、服务 器类型、网页最近更新时间等内容。


https协议：实际是加密版http，优化种更加安全的数据传输协议。


UA属性：UA即user-agent，是http协议中的优化关键词属性，代表了终端的身份，向服务器端表明我是谁来干嘛，进而服务器端可以根据不同的身份来做出不同的反馈结果。


3、spider抓取的基本过程


spider的基本抓取过程可以理解为如下的流程图：


robots协议：robots.txt是搜索引擎访问优化关键词网站时要访问的第优化关键词文件，用以来确定哪些是被允许抓取的哪些是被禁止抓取的。 robots.txt必须放在网站根目录下，且文件名要小写。详细的robots.txt写法可参考 http://www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化.robotstxt.org 。百度严格按照robots协议执行，另外，同样支持网页内容中添加低?钧为robots的meta标 签，index、follow、nofollow等指令。


seofuwu2300021652141.gif

精彩评论5

SEO优化   学习于  2016-6-30 21:04:41
这篇seo文章很不错
tk6j   学习于  2016-6-30 20:10:55
好帖就是要顶
6i0g1   学习于  2016-6-30 20:56:02
难得一见的好帖教会我如何优化网站
lz5a   学习于  2016-6-30 21:00:30
技术和方案都很好哦
c8sv   学习于  2016-6-30 20:17:38
LZ真是SEO的人才
返回列表

帝国网络 网站优化

www.100ip.net

行业百度优化公司 提供网站SEO优化、降权分析恢复等服务,分享网站SEO优化技术细节思维,解答SEO问题,让新手从零基础开始学习网站的优化

Copyright © 2008-2018 网站优化 seohangye.100ip.net 版权所有 All Rights Reserved. 网站优化技术支持

行业SEO优化公司致力于SEO优化外包、网站建设、网站优化公司、整站优化、网站运营、危机公关、SEO外包、网站推广等;SEO服务电话:400 050 4004