什么是robots.txt文件？怎么生成免费的robots.txt文件？

什么是robots.txt文件？怎么生成免费的robots.txt文件？robot协议在Google SEO中到底有什么用？

今天八千电商网就深入聊聊robots.txt文件以及如何用八千电商网免费的robots.txt文件生成器来制作符合搜索引擎SEO优化标准的robots.txt文件。

什么是robots.txt文件

先下个结论，

robots.txt文件协议对搜索引擎的SEO非常重要！

再强调一次，非常重要！

很多上线好几年的网站，就因为robots.txt文件没有设置好，导致一直不被Google收录！

下面是官方的介绍：

robots协议也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据（Metadata，又称元数据）。

翻译成大家能读得懂的语言：

你可以把robots.txt这个文件当做是你网站的保安，他能决定谁能进入你的网站、访问哪些页面等等。

有的人不懂设置robots.txt文件，拒绝所有搜索引擎进入自己的网站，这就是导致网站迟迟不被收录的原因之一。

如何生成robots.txt文件

总的来说，robots.txt文件算是一个技术文档，我们很多新手小白不太会写代码，不懂怎么设置robots.txt文件。

但是不用担心，有八千电商网免费的robots.txt文件生成器，帮你快速解决问题：

进入到配置页面后，你会看到：

其他参数最好都保持不变，如果你网站有sitemap站点地图的话，就可以填入到上面的字段。

什么？不懂什么是站点地图？还没有站点地图？

你可以用八千电商网的免费sitemap站点地图生成器弄一个，这个对SEO也是非常重要的！

既然robots.txt文件作为一个‘看门人’的角色，如果你的网站有些目录内容不希望被搜索引擎收录（比如用户信息、密码页面等等）可以在【受限目录】中添加。

举个例子，我们加上一个叫做yooopaaa-secret的目录，不让任何搜索引擎爬取。

然后点击创建文件：

你可以看到，就生成了一个专业的robots.txt文件了，你还可以点击红色的按钮下载，然后发到你的根目录下。

这个工具还能做很多细致的配置，具体的可以根据你自己的需求，去使用八千电商网免费的robots.txt文件来尝试一下吧！

当然，光是做一个robots.txt文件对应SEO来说只是个起步，想要知道您网站还有什么SEO问题。