WORDPRESS大牛也未必知道的Robots优化规范

我就爱WORDPRESS

WORDPRESS企业新人站长通常没有听过robots.txt,现在复制到百度搜索一下相关的解决吧,如果你不想复制那大挖用一句话为您解释一下robots.txt的作用,他的作用就是当搜索引擎进入到你的网站时候,会第一时候检索robots.txt文件。

所以可想而知如果你的站点内没有robots.txt,搜索引擎会多么失望。当搜索蜘蛛未发现robots.txt文件,会随机产生一个404错误日志在服务器上,从而增加服务器的负担,因此robots.txt文件重要程度大家一定不能忽视。那接下来的问题是,它为什么要检索robots.txt文件,robots.txt里面是放了什么内容呢。下面我们就来和大家简单说说。

在我们建站时WordPress会自动生成一个robots.txt文件,默认在浏览器中输入:http://你的域名/robots.txt,会显示如下内容:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

这段代码的意思是告诉搜索引擎不要抓取哪些后台文件文件。

但这是远远不够的,这里分享一段比较完整的WordPress站点robots.txt给大家内容如下,大家可以直接覆盖到文件里自用
里面详情的描述了哪些后台文件不可读。

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /attachment/

下面分别解释一下各项代码的作用给大家方便理解:

Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/

用于告诉搜索引擎不要抓取后台程序文件页面。

Disallow: /*/comment-page-*和Disallow: /*?replytocom=*

禁止搜索引擎抓取评论分页等相关链接。

Disallow: /category/*/page/和Disallow: /tag/*/page/

禁止搜索引擎抓取收录分类和标签的分页。

Disallow: /*/trackback

禁止搜索引擎抓取收录trackback等垃圾信息

Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed

禁止搜索引擎抓取收录feed链接,feed只用于订阅本站,与搜索引擎无关。

Disallow: /?s=*和Disallow: /*/?s=*\

禁止搜索引擎抓取站内搜索结果

Disallow: /attachment/

禁止搜索引擎抓取附件页面,比如毫无意义的图片附件页面。

上面只是些基本的写法,当然还有很多,但是对于新手WORDPRESS站长来讲已经够用了。

本文由 我就爱WORDPRESS 作者:我就爱WORDPRESS 发表,其版权均为 我就爱WORDPRESS 所有,文章内容系作者个人观点,不代表 我就爱WORDPRESS 对观点赞同或支持。如需转载,请注明文章来源。
6
我就爱WORDPRESS

发表评论