ZL@英文站优化教程

新站

栏目:英文站杂谈      1,084 views

ZL最近在一直研究一些国外特别是美国的免费空间商。发现有些新站收录正常,有部分新站收录不太正常。无意间发现是robots.txt惹得祸!大家以后申请到空间要看看空间商里有没有放这个。可以对照以下文本说明看看,高手飘过。
=========================================
搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息。
您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中声明该网站中不想被robot访问的部分,这样,该网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜索引擎只收录指定的内容。
阅读全文——共1705字