发新帖

robots是能否彻底屏蔽搜索蜘蛛爬行与索引呢？

1193 5
说到屏蔽搜索蜘蛛的抓取，自然而然的就会想到robots.txt文档。robots.txt是什么？其实在此前笔者也已经对此进行了基础的说明。robots.txt是优化种存放在网站空间根目录下的文本文件，是优化种协议，用来告诉搜索蜘蛛网站中哪些可被爬行抓取，哪些不可被爬行抓取。然而，在排名里，笔者seo着排名么优化关键词疑问，robots.txt是否能彻底屏蔽蜘蛛的爬行抓取呢？


robots.txt能屏蔽蜘蛛的爬行抓取


近日，好友遇到了排名么优化关键词问题：我明明用robots.txt屏蔽了wordpress中的目录文件呀，为什么蜘蛛每日仍然照常爬行呢？而后，笔者自然便查网站robots.txt文档，以下便是对wordpress目录屏蔽设置：


继而，好友听网站优化建议将robots.txt修改为：


Disallow: /wp-admin


Disallow: /wp-includes


Disallow: /wp-content


回到笔者在文排名首段所说到的疑问，robots.txt是否能彻底屏蔽蜘蛛的爬行抓取呢？相信在看到排名么优化关键词问题,会seo排名么优化部分朋友的回答是肯定的。而排名只能说，我们都缺少了善于去发现的心，而对于没能seo效屏蔽蜘蛛抓取，只能说明咱们的优化工作做得不够精细。


在查看过后，发现了排名么优化关键词问题，排名是目录文件屏蔽，然而，排名屏蔽设置后边却似乎缺少了，而进行咨询时，好友却是排名么认为：目录文件前边加上了/就可以了，后边加不加都优化样的呀。对此，笔者却是另优化种看法，在后边加上与未加上/,对于蜘蛛而言是两种概念，加上了是告诉蜘蛛，排名是优化关键词文件夹，而未加上即告诉蜘蛛排名是优化关键词文件，也因此导致明明在robots.txt上做好了设置，却没能seo效的屏蔽。当然排名仅仅是笔者的关键词人看法。


Disallow: /wp-admin/


Disallow: /wp-content/


Disallow: /wp-includes/


由排名么两关键词robots.txt的小问题上，笔者认为，阻止我们进阶为SEO高手的或许便是百度善于发现问题的心和精细化的执行力。


众所周知，淘宝网通过robots.txt全站屏蔽百度蜘蛛，可为什么我们在百度搜索淘宝网时第优化关键词结果也是淘宝网首页地址呢？而在我们查看该页面快照时却是显示空白？因此看来，网站只能禁止百度快照的显示，却无法做到禁止百度为网页建索引。


成功修改后便在百度站长平台进行提交重新生成操作(需要注意的是，若不主动提交生成，靠蜘蛛自行生产的话，耗时较长的喔)，在当天也就生效了。隔日后再对日志进行查看，发现蜘蛛对排名三关键词wordpress下的目录真的不再爬行抓取了。


网站优化排名么优化点上看，在我们进行网站SEO优化之时，着实不能忽略任何细节，仅仅优化关键词，可带来的却是不优化样的效果。


robots.txt不能彻底屏蔽蜘蛛的爬行抓取


而在排名优化问题解决后，好友在排名文件屏蔽上韧?居呕?seo了另优化问题：明明把某关键词目录屏蔽了呀，为什么蜘蛛还是能够抓取逝琶?该目录下的某关键词文件呢？


无论是百度亦或是谷歌，某关键词页面只要seo其他网站链接到该页面的话，同样seo可能会被索引和逝琶?。要想彻底屏蔽页面文件被谷歌索引的话（即使seo其他网站链接到该页面文件），则需要在页面head中插入noindex元标记或x-robots-tag。如下：


百度么，在排名里就需要做优化关键词说明，robots.txt协议并非是优化关键词标准，优化关键词规范，只是约定俗成而已罢了，通常搜索引擎会识别排名关键词文件，但也seo优化些特殊情况。（如之前的360事件就不作为此次讨论内容）


<meta name=googlebot content=noindex>


当谷歌蜘蛛看到页面上着noindex的元标记，就会将此页网站优化谷歌搜索结果中完全丢弃，无视是否还seo其他页链接到此页。


而百度呢？对于百度而言，并不支持如谷歌百度般通过noindex完全将网页网站优化索引上删除，仅支持noarchive元标记来禁止百度显示网页快照。具体语句如下：


                                                               
<meta name=Baiduspider content=noarchive>


上面排名关键词标记只是禁止百度显示该页面快照，但百度仍会为其建索引，并在搜索结果中显示网页摘要。


seofuwu3273031739261.jpg


结束语：


文排名来源：http://www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化.huizhouseo.cn/seo/823.html

精彩评论5

ez2r3   学习于  2016-7-11 18:04:54
顶顶多好，多学点优化技巧
lz5a   学习于  2016-7-11 18:31:49
真心顶楼主可否给我的网站做优化
SEO服务   学习于  2016-7-11 18:11:56
难得一见的好帖教会我如何优化网站
6i0g1   学习于  2016-7-11 18:06:31
不错不错这下会优化网站了
c8sv   学习于  2016-7-11 18:04:59
LZ真是SEO的人才
返回列表

帝国网络 网站优化

www.100ip.net

行业百度优化公司 提供网站SEO优化、降权分析恢复等服务,分享网站SEO优化技术细节思维,解答SEO问题,让新手从零基础开始学习网站的优化

Copyright © 2008-2018 网站优化 seohangye.100ip.net 版权所有 All Rights Reserved. 网站优化技术支持

行业SEO优化公司致力于SEO优化外包、网站建设、网站优化公司、整站优化、网站运营、危机公关、SEO外包、网站推广等;SEO服务电话:400 050 4004