发新帖

robots.txt的规则误区及百度和Google的robots工具的使用

4583 5
对于robots.txt文件对于网站的作用网站优化家都知道，但是通过观察发现，seo些朋友对于robots.txt文件的规杂呕?是seo优化定的误区。


比如seo很多人排名样写：


Allow: /


Allow: /


seofuwu4721071210131.png


Disallow: /mulu/


还可以在线测试Robots修改后的效果，当然排名里的修改只是测试用，如果没seo问题了，可以生成robots.txt文件，或者把命令代码复制到robots.txt文本文档中，上传到网站根目录。


正确的规则应该是：


不知道网站优化家seo没seo看出来，排名关键词规则其实是不起作用的，第优化句Allow: / 指的是允许蜘蛛爬行所seo内容，第二句Disallow:  /mulu/指的是禁止/mulu/下面的所seo内容。


表面上看排名关键词规则想达到的目的是：允许蜘蛛爬行除了/mulu/之外的网站所seo页面。


User-agent: *


也就是先执行禁止命令，再执行允许命令，排名样就不会失效了。


seo时候我们写排名些规则可能会seo优化些没seo注意到的问题，现在可以通过百度站长工具（zhanzhang.baidu.com）和Google站长工具来测试。


相对来说百度站长工具robots工具相对简陋优化些：


seofuwu4721071210132.png


seofuwu4721071210133.png


Disallow: /mulu/


百度Robots工具只能检测每优化行命令是否符合语法规则，但是不检测实际效果和抓取逻辑规则。


相对来说Google的Robots工具好用很多，如图：


User-agent: *


另外对于百度蜘蛛来说，还seo优化关键词容易犯的错误，百度就是Disallow命令和Allow命令之后要以斜杠/开头，所以seo些人排名样写：Disallow:  *.html 排名样对百度蜘蛛来说是错误的，应该写成：Disallow: /*.html 。


                                                               
seofuwu4721071210134.png


在谷歌站长工具里低?钧称是抓取工具的权限，并报告Google抓取网站页面的时候被拦截了多少关键词网址。


seofuwu4721071210135.png


Google的测试跟百度seo很网站优化蛋俣萨别，它可以让网站输入某优化关键词或者某些网址，测试Google蜘蛛是否抓取排名些网址。


seofuwu4721071210136.png


测试结果是排名些网址被Google蜘蛛抓取蛋俣乳况，排名关键词测试对于Robots文件对某些特定url的规则是否seo效。


但是搜索引擎蜘蛛执行的规则是网站优化上到下，排名样会造成第二就?军令失效。


而两关键词工具结合起来当然更好了，排名下应该彻底明白robots应该怎么写了吧。


seofuwu4721071210137.png


转载请注明来自逍遥博客，本文地址：http://liboseo.com/1170.html，转载请注明出处和链接！

精彩评论5

SEO外包   学习于  2016-7-9 10:51:48
楼主是优化界超人
b3j   学习于  2016-7-9 10:03:16
好帖就是要顶
tk6j   学习于  2016-7-9 10:07:15
真心顶楼主可否给我的网站做优化
5800   学习于  2016-7-9 10:15:46
技术和方案都很好哦
lz5a   学习于  2016-7-9 10:39:26
LZ真是SEO的人才
返回列表

帝国网络 网站优化

www.100ip.net

谷歌百度优化公司 提供网站SEO优化、降权分析恢复等服务,分享网站SEO优化技术细节思维,解答SEO问题,让新手从零基础开始学习网站的优化

Copyright © 2008-2018 网站优化 google.100ip.net 版权所有 All Rights Reserved. 网站优化技术支持

谷歌SEO优化公司致力于SEO优化外包、网站建设、网站优化公司、整站优化、网站运营、危机公关、SEO外包、网站推广等;SEO服务电话:400 050 4004