发新帖

《Robots.txt 协议标准》介绍

2333 5
近期有很多站长咨询，如何精确设置"robots.txt"文件。为懂得决广大年夜站长同慌绫乔的疑问，我们对《Robots.txt 协定标准》进行了翻译，欲望此篇译文可以或许赞助大年夜家对"robots.txt"文件有更深的懂得。


Robots.txt 是存放在站点根目次下的一个纯文本文件。固然它的设置很简单，然则感化却很强大年夜。它可以指定引擎蜘蛛只抓取指定的内容，或者是禁止引擎蜘蛛抓取网站的部分或全部内容。


下面我们就来具体介绍一下它的应用办法：


Robots.txt 文件应当放在网站根目次下，并且该文件是可以经由过程互联网进行拜访的。


例如：


Disallow: /[/td]
        [/tr]
   
[/table]


那么，该文件必须可以或许经由过程 http://www.yourdomain.com/robots.txt 打开并看到琅绫擎的内容。


例一：经由过程"/robots.txt"禁止所有引擎蜘蛛抓取"/bin/cgi/"目次，以及 "/tmp/"目次和 /foo.html 文件，设置办法如下：


格局：


User-agent:


用于描述引擎蜘蛛的名字，在" Robots.txt "文件中，如不雅有多条User-agent记录解释有多个引擎蜘蛛会受到该协定的限制，对该文件来说，至少要有一条User-agent记录。如不雅该项的值设为*，则该协定对任何引擎蜘蛛均有效，在" Robots.txt "文件中，"User-agent:*"如许的记录只能有一条。


Disallow:


用于描述不欲望被拜访到的一个URL，这个URL可所以一条完全的路径，也可所以部分的，任何故Disallow开首的URL均不会被Robot拜访到。


举例：


例二：经由过程"/robots.txt"只许可某个引擎抓取，而禁止其他的引擎抓取。


例一："Disallow:/help"


如不雅您的网站地址是 http://www.yourdomain.com/


是指/help.html 和/help/index.html都不许可引擎蜘蛛抓取。


例二："Disallow:/help/"


是指许可引擎蜘蛛抓取/help.html，而不克不及抓取/help/index.html。


例三：Disallow记录为空


解释该网站的所有页面都许可被引擎抓取，在"/robots.txt"文件中，至少要有一条Disallow记录。


如不雅"/robots.txt"是一个空文件，则对于所有的引擎蜘蛛，该网站都是开放的可以被抓取的。


#:
Robots.txt 协定中的注释符。


举例：



以下为引用的内容：
User-agent: *
Disallow: /bin/cgi/
Disallow: /tmp/
Disallow: /foo.html




如：只许可名为"slurp"的引擎蜘蛛抓取，而拒绝其他的引擎蜘蛛抓取 "/cgi/" 目次下的内容，设置办法如下：



以下为引用的内容：

            
User-agent: *
Disallow: /cgi/

            
User-agent: slurp
Disallow:

            




例三：禁止任何引擎抓取我的网站，设置办法如下：



以下为引用的内容：
User-agent: *
Disallow: /




例四：只禁止某个引擎抓取我的网站


如：只禁止名为“slurp”的引擎蜘蛛抓取，设置办法如下：



[table]
   
        [tr]
            [td]以下为引用的内容：
User-agent: slurp
更多，请参考译文出处：http://www.robotstxt.org/wc/norobots.html

精彩评论5

b3j   学习于  2016-6-20 17:30:38
这篇seo文章很不错
ez2r3   学习于  2016-6-20 17:09:29
楼主是优化界超人
iem6h   学习于  2016-6-20 17:09:43
顶顶多好，多学点优化技巧
5800   学习于  2016-6-20 17:18:29
真心顶楼主可否给我的网站做优化
SEO优化   学习于  2016-6-20 17:47:31
技术和方案都很好哦
返回列表

帝国网络 网站优化

www.100ip.net

技术百度优化公司 提供网站SEO优化、降权分析恢复等服务,分享网站SEO优化技术细节思维,解答SEO问题,让新手从零基础开始学习网站的优化

Copyright © 2008-2018 网站优化 seojishu.100ip.net 版权所有 All Rights Reserved. 网站优化技术支持

技术SEO优化公司致力于SEO优化外包、网站建设、网站优化公司、整站优化、网站运营、危机公关、SEO外包、网站推广等;SEO服务电话:400 050 4004