ZL@英文站优化教程

为何我的新站还没有被收录,可能祸首是robots.txt

栏目:英文站杂谈      1,117 views      尚无回复

ZL最近在一直研究一些国外特别是美国的免费空间商。发现有些新站收录正常,有部分新站收录不太正常。无意间发现是robots.txt惹得祸!大家以后申请到空间要看看空间商里有没有放这个。可以对照以下文本说明看看,高手飘过。

=========================================

搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息。
您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中声明该网站中不想被robot访问的部分,这样,该网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜索引擎只收录指定的内容。

robots.txt文件放在哪里?
robots.txt文件应该放在网站根目录下。举例来说,当robots访问一个网站(比如http://www.zhengliang.tk)时,首先会检查该网站中是否存在http://www.zhengliang.tk/robots.txt这个文件,如果机器人找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。
robots.txt文件的格式:
“robots.txt”文件包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:
“<field>:<optionalspace><value><optionalspace>”。
在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow行,详细情况如下:
User-agent:
  该项的值用于描述搜索引擎robot的名字,在”robots.txt”文件中,如果有多条User-agent记录说明有多个robot会受到该协议的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则该协议对任何机器人均有效,在”robots.txt”文件中,”User-agent:*”这样的记录只能有一条。
Disallow:
  该项的值用于描述不希望被访问到的一个URL,这个URL可以是一条完整的路径,也可以是部分的,任何以Disallow开头的URL均不会被robot访问到。例如”Disallow:/help”对/help.html 和/help/index.html都不允许搜索引擎访问,而”Disallow:/help/”则允许robot访问/help.html,而不能访问/help/index.html。任何一条Disallow记录为空,说明该网站的所有部分都允许被访问,在”/robots.txt”文件中,至少要有一条Disallow记录。如果”/robots.txt”是一个空文件,则对于所有的搜索引擎robot,该网站都是开放的。

 

robots.txt语法教程

用几个最常见的情况,直接举例说明:
1. 允许所有SE收录本站:robots.txt为空就可以,什么都不要写。
2. 禁止所有SE收录网站的某些目录:
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/

3. 禁止某个SE收录本站,例如禁止百度:
User-agent: Baiduspider
Disallow: /

4. 禁止所有SE收录本站:
User-agent: *
Disallow: /

5. 加入sitemap.xml路径,例如:
Sitemap: http://www.zhengliang.tk/sitemap.xml
参考资料:常见搜索引擎机器人Robots名字
名称 搜索引擎
Baiduspider http://www.baidu.com
Googlebot http://www.google.com
MSNBOT http://search.msn.com
ia_archiver http://www.alexa.com

不会写可以搜一下robots.txt的工具。

最后需要注意,robots.txt文件名必须是小写,而且放在网站根目录,比如:/robots.txt


标签: , ,

转载注明:转自ZL@英文站优化教程

本站遵循:署名-非商业性使用-禁止演绎 3.0 共享协议

收藏分享: QQ书签 / 百度收藏 / Google书签 / 收藏到鲜果 / Digg / Del.icio.us



发表回复


XHTML: 您可以使用如下代码:<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>