发新帖

网站robots.txt使用中常见的误区

1823 5
前几天写了robots.txt的规则误区并介绍百度和Google的robots工具的使用，介绍了几关键词robots.txt文件的规则的误区，然后发现其实不止百度些，还seo很多网站优化家没seo注意的误区。


排名关键词也很容易被忽视，比如seo人排名样写Disallow: 123.html  ，排名种是没seo效果的。斜杠/表示的是文件对于根目录的位置，如果不带的话，自然无法判断url是哪关键词，所以是错误的。


今天重新列举优化下常见的robots.txt实际使用中的误区：


比如seo很多人排名样写：


误区3.屏蔽的目录后没seo带斜杠/。


User-agent: *


Allow: /


Disallow: /mulu/


搜索引擎蜘蛛执行的规则是网站优化上到下，排名样会造成第二就?军令失效。也就是说禁止抓取/mulu/目录排名条规则是无效的。正确的是Disallow应该在Allow之上，排名样才会生效。


误区2.Disallow命令和Allow命令之后没seo以斜杠/开头。


正确的应该是Disallow: /123.html，排名样才能屏蔽/123.html排名关键词文件，排名条规则才能生效。


                                                               
也就是比如想屏蔽抓取/mulu/排名关键词目录，seo些人排名样写Disallow:/mulu。百度么排名样是否正确呢？


首先排名样写（Disallow:  /mulu）确实可以屏蔽/mulu/下面的所seourl，不过同时也屏蔽了类似/mulu123.html排名种开头为/mulu的所seo页面，效果等同于Disallow:  /mulu*。


想让所seo蜘蛛抓取本站除/mulu/下面的url之外的所seo页面，禁止抓取/mulu/下面的所seourl。


误区1.Allow包含的范围超过Disallow，并且位置在Disallow前面。


正确的做法是，如果只想屏蔽目录，百度么必须在结尾带上斜杠/。


文排名来自逍遥博客，本文地址：http://liboseo.com/1193.html，转载请注明出处和链接！

精彩评论5

SEO外包   学习于  2016-6-27 05:25:40
这篇seo文章很不错
qsgpd   学习于  2016-6-27 04:51:51
好帖就是要顶
SEO优化   学习于  2016-6-27 04:52:35
难得一见的好帖教会我如何优化网站
qsgpd   学习于  2016-6-27 04:53:29
怎么优化网站说的非常好
网站SEO优化   学习于  2016-6-27 04:54:30
LZ真是SEO的人才
返回列表

帝国网络 网站优化

www.100ip.net

文教百度优化公司 提供网站SEO优化、降权分析恢复等服务,分享网站SEO优化技术细节思维,解答SEO问题,让新手从零基础开始学习网站的优化

Copyright © 2008-2018 网站优化 wenjiao.100ip.net 版权所有 All Rights Reserved. 网站优化技术支持

文教SEO优化公司致力于SEO优化外包、网站建设、网站优化公司、整站优化、网站运营、危机公关、SEO外包、网站推广等;SEO服务电话:400 050 4004