尽管robots.txt对于提高网站排名是很重要的，但不少站长仍然缺少缺对robots文件的了解。如果你还没为你的网站创建robots.txt文件，请通过本文的学习，来为你网站创建robots.txt。如果你网站已经有了robots.txt，那么，阅读完本文，你也应该检查下你的robots.txt，确保其中没有任何错误。

一，什么是robots.txt?
当搜索引擎蜘蛛来抓取你网站时，它会寻找一个特殊的文件，这个文件就叫是robots.txt。它会告诉搜索引擎蜘蛛，这个网站的哪些网页应该被收录，哪些页面不需要被收录。robots.txt是一个简单的纯文本文件，它必须上传到你网站的根目录里面。

例如:http://www.yourwebsite.com/robots.txt

二，如何创建robots.txt文件?
如上所述，robots.txt文件是一种简单的纯文本文件，你可以用记事本来创建和编辑它。robots.txt文件的内容由所谓的”records(记录)”构成的。每一条记录都会告诉所指定的搜索引擎蜘蛛一些信息。每个记录都包含有2部分: （1）User-agent；（2）一行或者多行Disallow。

例如:

User-agent: googlebot
Disallow: /cgi-bin/


这个robots.txt文件将允许“googlebot”(google的蜘蛛)抓取除了/cgi-bin/目录以外的所有网页内容。
Disallow命令的运作和通配符比较相似。如果你在robots.txt里写:

User-agent: googlebot
Disallow: /support

那么”/support-desk/index.html” 和 “/support/index.html” 以及其他所有的”support”开头的目录里的内容都不会被google搜索引擎抓取。

如果Disallow行留空，那么搜索引擎会抓取你网站目录下的所有内容。在任何情况下，你必须要为每个User-agent:写一行Disallow记录。
如果你想给所User-agent:相同的权利，那么，你可以使用下面的代码：

User-agent: *
Disallow: /cgi-bin/

三，我在哪里才能找到User-agent:名称?
你可以通过检测作为向robots.txt请求，在你的记录文件中找到用户代理名称。大多数情况下，所有的搜索引擎蜘蛛应该被赋予同等的权力。如果是那样的话，使用上面所述的”User-agent: *”就可以了。

四，你应该避免的事情
如果robots.txt格式不正确，你网站的内容将有可能不被搜索引擎蜘蛛所收录。所以，一定要确保你的robots.txt格式完全正确：

1.在robots.txt里面不要使用注释：
尽管在robots.txt文件里面允许出现注释，但是它们有可能会迷惑一些搜索引擎蜘蛛。

例如:

“Disallow: support # Don’t index the support directory”

可能被误解为：

“Disallow: support#Don’t index the support directory”.

2.每一行那个的开头不要加空格字符：

例如

错误的写法：

User-agent: *
Disallow: /support

正确的写法应该是：

User-agent: *
Disallow: /support

3 .不要改变每行的顺序：

错误的顺序：

Disallow: /support
User-agent: *

正确的顺序：

User-agent: *
Disallow: /support

4.在Disallow中，不要在一行里写入多个目录

错误的写法：

User-agent: *
Disallow: /support /cgi-bin/ /images/

搜索引擎蜘蛛无法理解那样的格式，正确的写法应该是:

User-agent: *
Disallow: /support
Disallow: /cgi-bin/
Disallow: /images/

5.确保字符的大小写没有错误：

在服务器上，字符是区分大小写的。假设你有个目录叫”Support”，你就不能在robots.txt中写成”support”

6.不要目录下罗列所有文件：
如果你想让搜索引擎忽略某个目录下素有文件，你不必写成:

User-agent:*
Disallow: /support/orders.html
Disallow: /support/technical.html
Disallow: /support/helpdesk.html
Disallow: /support/index.html

你可以用如下的代码来替代.

User-agent: *
Disallow: /support/

7.没有allow的命令:

不要在你的robots.txt中使用Allow命令。只需要列出你不想让搜索引擎收录的文件。如果一个文件在你网站上有链到它的超链接，搜索引擎会自动收录这个文件。

五，其他提示以及窍门：

1.如何让所有的搜索引擎蜘蛛收录所有文件?

你可以使用下面的代码来允许搜索引擎蜘蛛抓取网站所有内容:

User-agent: *
Disallow:

2.如何禁止搜索引擎蜘蛛收录你网站

如果你不像让搜索引擎收录你的网站，你可以使用以下两行代码:

User-agent: *
Disallow: /

3.哪里能够找到更详细的robots.txt例子

如果你想看到关于robots.txt更详细具体的例子，可以浏览下面的其他大型网站的robots.txt

http://www.cnn.com/robots.txt
http://www.nytimes.com/robots.txt
http://www.spiegel.com/robots.txt
http://www.ebay.com/robots.txt

如果你想在搜索引擎上获得较好的排名，那么你的网站就应该拥有一个适合自己的robots.txt文件.只有搜索引擎知道该对你网站做哪些事情后，他们才能给你一个较好的排名。

来源：网络
作者：佚名