建站资讯

免费试用
您的位置: 首页 > AI建站 > 建站资讯

robots.txt协议是什么意思?robots.txt协议有什么作用?

robots.txt协议是网站和搜索引擎的协议。

作为网站优化人员,一定要会看robots文件,也要会写robots文件,那么,robots.txt文件有什么作用?

robots.txt文件的作用有:

(1)引导搜索引擎蜘蛛抓取指定内容或栏目。比如,有的网站部分内容,只有注册会员后,登陆会员功能才能看到更多内容。

(2)网站改版或者URL需要重写优化的时候屏蔽对搜索引擎不友好的链接。

(3)屏蔽死链接、404页面;

(4)屏蔽无内容页面、无价值页面;

(5)屏蔽重复页面,如搜索结果页、评论页面等;

(6)屏蔽任何不想收录页面;

(7)引导蜘蛛抓取网站地图。

网站设置robots.txt可以集权到网站重要页面,保护网站安全。

知道了robots.txt的作用和设置robots.txt的必要性后,我就要知道robots.txt怎么写?

User-agent:Baiduspider

Disallow:/

禁止百度抓取

User-agent:*

Disallow:/

不允许所以蜘蛛抓取


User-agent:Baiduspider

Disallow:/baidu/

禁止访问/baidu/里面的所有文件夹

User-agent:*

Disallow:/baidu/huaxia.js

紧张蜘蛛抓取某个文件夹下面的某个内容

知道了这些,我们就根据robots.txt文件的写法和实际需要。把写好的robots.txt文件,通过FTP网站后台打开上传网站跟目录就可以了。

为了方便各位朋友学习,robots.txt文件我们举例写一下,供需要学习的朋友参考:

User-agent: *

Disallow: /baidu/huaxia.js

指定所有搜索引擎蜘蛛抓取站点根目录下/baidu/文件夹下的huaxia.js文件

User-agent: *

Allow: /baidu/ccc

Disallow: /baidu/

禁止所有搜索引擎抓取baidu文件夹

但可以抓取百度文件夹下含有ccc的文件及文件夹

User-agent: *

Disallow: /*.js$

禁止抓取站点根目录所有js文件

User-agent: *

Disallow: /*.css$

禁止抓取站点根目录下所有css文件

User-agent: *

Disallow: /*?*

禁止蜘蛛抓取所有动态路径

Sitemap: 域名/sitemap.xml

网站地图写法

robots.txt书写规格

robots.txt文件书写注意事项:

英文符号下写;

冒号后要有空格;

首个字母要大写;

/ 网站根目录(网站所有)

其实,robots.txt文件,只要熟悉理解代码,书写和应用很简单。


上一篇:seo公司品牌哪家好?国内抖音SEO优化公司排名推荐
下一篇:外贸 seo怎么网站优化?外贸seo实战流程方法是什么?
15分钟在线开通试用:网易外贸通服务,送京东购物卡,来电咨询享额外优惠    
立即体验

海量外贸大数据

50亿+海关数据,1.2亿全球企业信息

全触点营销获客方案

超高触达率邮件营销,全链路外贸获客沉 淀管理解决方案

专业企业服务

年深厚企业服务经验,一对一专家服务

电话咨询:4006-138-163

购买咨询

在线客服

电话咨询

致电专属客服
咨询邮箱解决方案

4006-138-163

电话咨询

微信扫一扫
在线开通企业域名后缀邮箱

微信咨询

微信咨询

申请试用

申请试用

返回顶部