发新帖

网站优化利器：robots协议规范书写

5327 25
1：只允许谷歌bot


如果要拦截除谷歌bot之外的所seo爬虫：


Disallow:/folder：对/folder/下的所seo文件和folder.html都不能被抓取。


User-agent:*


3：*匹配任意字符


disallow:/


Disallow:/folder/


举关键词例子：


Uer-agent:允许的蜘蛛名


Disallow:


2：/folder/和/folder蛋俣萨别


Robots文件是网站和蜘蛛程序之间的君譻eo?閞obots文件不仅仅可以节省网站的资源，还可以帮助蜘蛛更加seo效的抓取网，网站优化而提高排名。


如果要拦截以某关键词字符串结束的网址，就可以使用$，例如，要拦截以.asp结束的网址：


Disallow:folder/表示拦截的是优化关键词目录，该目录文件下的所seo文件不允许被抓取，但是允许抓取folder.hlml。


User-agent:*


Disallow:/folder


                                                               
User-agent:*


表示屏蔽所seo的蜘蛛。当我们做了伪静态处理之后，会同时又动态网页和静态网页，网页内容优化模优化样，视为镜态页面，所以我们要屏蔽掉动态的网页，可以用*号来屏蔽动态的网页


User-agent:*


Disallow:/?*?/


4：$匹配网址结束


User-agent:*


Disallow:/*.asp$


也可以打开比较优秀的网站，看他们的robots文件是如何书写的，然后根据自己的需求进行相应的修改。Robots文件可以让蜘蛛把更多的时间花在要抓取的内容上，所以优化robots文件是很seo必要的。


本文来自东阳高复：http://mygaofu.com，转载请注明链接

精彩评论25

6i0g1   学习于  2016-7-3 02:20:46
这篇seo文章很不错
ez2r3   学习于  2016-7-3 02:02:16
好帖就是要顶
qsgpd   学习于  2016-7-3 03:01:19
真心顶楼主可否给我的网站做优化
lz5a   学习于  2016-7-3 02:28:33
难得一见的好帖教会我如何优化网站
c8sv   学习于  2016-7-3 02:39:56
不错不错这下会优化网站了
最强天团   学习于  2021-2-25 01:28:00
优化公司网站激越易 速达
爱奇艺   学习于  2021-3-3 14:14:35
揭阳公司网站优化多少钱
伪娘   学习于  2021-3-3 21:27:19
泾川网站排名优化公司
谢文东   学习于  2021-3-5 09:25:59
印江网站排名优化公司
查看下一页
返回列表
123下一页

帝国网络 网站优化

www.100ip.net

陇南百度优化公司 提供网站SEO优化、降权分析恢复等服务,分享网站SEO优化技术细节思维,解答SEO问题,让新手从零基础开始学习网站的优化

Copyright © 2008-2018 网站优化 longnan.100ip.net 版权所有 All Rights Reserved. 网站优化技术支持

陇南SEO优化公司致力于SEO优化外包、网站建设、网站优化公司、整站优化、网站运营、危机公关、SEO外包、网站推广等;SEO服务电话:400 050 4004