发新帖

robots.txt 优化使用

4145 23
robots.txt文件的功能异常有限,它并不克不及诱使蜘蛛在你的网站上花费更多的时光或者拜访更多的页面。但你可以发挥robots.txt文件的感化来对本身的网站进行必定的优化处理。


1. 每当一个用户试图拜访一个已经不存在的URL时,办事器就会在日记中记录一个404缺点(无法找到文件)。每当蜘质攀来寻找并不存在的robots.txt文件时,办事器也将在日记中记录一条404缺点,所以你应当在网站根目次下添加一个robots.txt文件,哪怕是一个空白的robots文件也好。


2. 使蜘蛛法度榜样远离某些办事器上的目次——包管办事器机能。避免将所有法度榜样文件被蜘蛛索引,可以节俭办事器资本。


3.robots.txt文件里还可以直接包含在sitemap文件的链接。就像如许:


2. 进入后你可以看到有关你网站的robots.txt的根本信息


Sitemap: http://www.lhxuji.com/sitemap.xml //这个公告对百度有必定的感化


1. https://www.google.com/webmasters/tools/


进入后,选择你要分析的网站,然后选择对象》》分析robots.txt


3.也可以对本身写的robots.txt文件进行相干的测试,填入你写的robots.txt文件和要测试的网站(包含被你阻拦的地址)保障不掉足误。


Google网站治理员里有一个分析robots.txt对象,可以赞助我们分析robots.txt是否成功设置了阻拦Google蜘蛛对特定网页的拜访,以及robots.txt是否有语法缺点等等。


我应用的robots.txt


Sitemap: http://www.lhxuji.com/sitemap.xml


User-Agent: *


Disallow: /wp-content/


robots.txt语法:http://www.baidu.com/search/robots.html

精彩评论23

ez2r3   学习于  2016-7-13 11:00:51
好帖就是要顶
SEO外包   学习于  2016-7-13 11:12:08
真心顶楼主可否给我的网站做优化
ez2r3   学习于  2016-7-13 11:18:31
难得一见的好帖教会我如何优化网站
iem6h   学习于  2016-7-13 10:46:00
怎么优化网站说的非常好
5800   学习于  2016-7-13 11:03:44
不错不错这下会优化网站了
快播   学习于  2021-2-25 03:34:01
优化网站公司
同桌的你   学习于  2021-2-27 19:20:20
滁州公司网站优化客服
申通   学习于  2021-3-5 10:10:15
三河网站优化公司
小米官网   学习于  2021-3-13 18:12:25
北京网站公司站优化好吗