齐宁：搜索引擎知识网页查重技术

阅读模式 · 学习于 2016-2-23 15:57:19

网页查重技巧来源竽暌冠复制检陈技巧，即断定一个文件内容是否存在抄袭、复制别的一个或多个文件的技巧。

  1993年Arizona大年夜学的Manber(Google现副总裁、工程师)推出了一个sif对象，寻找类似文件。1995年Stanford大年夜学的Brin(Sergey Brin，Google开创人之一)和Garcia-Molina等人在“数字图书不雅”工程中初次提出文本复制检测机制COPS(Copy Protection System)体系与响应算法[Sergey Brin et al 1995]。之后这种检测反复技巧被应用到引擎中，根本的核心技巧既比较类似。

  网页和Ｒ单的文档不合，网页的特别属性具有内容和格局等标记，是以在内容和格局上的雷同类似构成了4种网页类似的类型。
1、两个页面内容格局完全雷同。
2、两个页面内容雷同，但格局不合。
3、两个页面部分内容雷同并且格局雷同。
4、两个页面部分重要雷同但格局不合。

实现办法：

网页查重，起首将网页整顿成为一个具有标题和正文的文档，来便利查重。所以网页查重又叫“文档查重”。“文档查重”一般被分为三个步调，一、特点采取。二、类似度计算和评价。三、消重。

1.特点采取
我们在断定类似物的时刻，一般是才能用不变的特点进行比较，文件查重第一步也是进行特点采取。也就是将文档内容分化，由若干构成文档的特点集合表示，这一步是为了方面后面的特点比较计算类似度。
特点采取有很多办法，我们这里重要说两种比较经典的算法，“I-Match算法”、“Shingle算法”。
“I-Match算法”是不依附于完全的信息分析，而是应用数据集合的统计特点来采取文档的重要特点，将非重要特点摈弃。
“Shingle算法”经由过程采取多个特点词汇，比较两个特点集合的类似程度实现文档查重。


2.类似度计算和评价
  对于引擎来说，反复的网页内容是异常有害的。反复网页的存在意味着这些网页就要被引擎多处理一次。更有害的是引擎的索引制造中可能会在索引库里索引两份雷同的网页。当有人萌芽时，在结不雅中就会出现反复的网页链接。所以无论是大年夜体验照样体系效力检索质量来嗣魅这些重负网页都是有害处的。

特点采取完毕后，就须要进行特点比较，因网页查重第二步就是类似度计算和评价。
I-Match算法的特点只有一个，当输入一篇文档，根据词汇的IDF值(逆文本频率指数，Inverse document frequency缩写为IDF)过滤出一些关键特点，即一篇文┞仿中特别高和特别低频的词汇往往不克不及反竽暌功这篇文┞仿的本质。是以经由过程文档中去掉落高频和低频词汇，并且计算出这篇文档的独一的Hash值(Hash简单的说就是把数据值映射为地址。把数据值作为输入，经计算后即可获得地址值。)，那些Hash值雷同的文档就是反复的。

Shingle算法是采取多个特点进行比较，所以处理起来比较复杂一些，比较的办法是完全一致的Shingle个数。然后除以两个文档的Shingle总数减去一致的Shingle个数，这种办法计算出的数值为“Jaccard 系数”，它可以断定集合的类似度。Jaccard 系数的计算办法集合的交集除以集合的并集。

3.消重
对于删除反复内容，引擎推敲到浩瀚收录身分，所以应用了最简单的最实用的办法。先被爬虫抓取的页面同时很大年夜程度也包管了优先保存原创网页。

网页查重工作是体系中弗成缺氨赡，删除了反复的页面，所以引擎的其他环节也会削减很多不须要的麻烦，节俭了索引存储空间、削减了萌芽成本、进步了PageRank枷⒚效力。便利了引擎用户。

本文首发齐宁收集营销策划 www.qi-ning.com 转载请注明作者信息。感谢！
齐宁 MSN: i@qining.org

5800 · 学习于 2016-6-23 02:40:46

这篇seo文章很不错

6i0g1 · 学习于 2016-6-23 02:24:19

顶顶多好，多学点优化技巧

c8sv · 学习于 2016-6-23 02:25:34

难得一见的好帖教会我如何优化网站

b3j · 学习于 2016-6-23 02:39:23

不错不错这下会优化网站了

qsgpd · 学习于 2016-6-23 02:10:52

LZ真是SEO的人才

昵图网 · 学习于 2021-2-22 20:14:05

稻城网站seo优化公司

爱奇艺 · 学习于 2021-2-26 18:14:03

邯山网站排名优化公司

上海美女郑利 · 学习于 2021-2-26 18:52:59

乐清网站制作优化公司

人鱼线 · 学习于 2021-2-26 21:13:50

什么样的公司网站优化做得好

齐宁：搜索引擎知识网页查重技术

精彩评论25

网站优化案例

关键词排名

精彩图文

网站优化的注意事项（从SEO到用户体验

客服中心

甘肃百度优化公司提供网站SEO优化、降权分析恢复等服务,分享网站SEO优化技术细节思维,解答SEO问题,让新手从零基础开始学习网站的优化

甘肃SEO优化公司致力于SEO优化外包、网站建设、网站优化公司、整站优化、网站运营、危机公关、SEO外包、网站推广等;SEO服务电话:400 050 4004

齐宁：搜索引擎知识 网页查重技术

精彩评论25

网站优化案例

关键词排名

精彩图文

网站优化的注意事项（从SEO到用户体验

客服中心

甘肃百度优化公司 提供网站SEO优化、降权分析恢复等服务,分享网站SEO优化技术细节思维,解答SEO问题,让新手从零基础开始学习网站的优化

甘肃SEO优化公司致力于SEO优化外包、网站建设、网站优化公司、整站优化、网站运营、危机公关、SEO外包、网站推广等;SEO服务电话:400 050 4004

齐宁：搜索引擎知识网页查重技术

甘肃百度优化公司提供网站SEO优化、降权分析恢复等服务,分享网站SEO优化技术细节思维,解答SEO问题,让新手从零基础开始学习网站的优化